 討論區主頁 軟體流程改善
CMMI 評鑑存在若干問題，大家不妨一起思考如何改善 ! | 無發表權 |
| 樹狀顯示 | 新的在前 | 前一個主題 | 下一個主題 | 頁尾 |
| 發表者 | 討論內容 |
|---|---|
| tyrone | 發表時間: 2005-03-20 10:42 |
網站管理員   註冊日: 2003-04-19 來自: CSQA 發表數: 342 |
CMMI 評鑑存在若干問題，大家不妨一起思考如何改善 ! 以下是在中國大陸賽迪網所發表的一篇文章, 僅供大家參考 !
*********************************************** [ CMM 評估的各環節分析及其存在的若干問題 ] 作者： http://image.ccidnet.com/ad_files/home/images/blank.gif 來源： http://www.csdn.net 前言：本文部分內容參考了2000年2月IEEE雜誌上的一篇文章。該文作者從採購方和軟體企業方分析了SCE中存在的若干問題，最後發問：“CMM評估還可信嗎？” 中國軟體企業的CMM評估，一開始就充滿了浮躁、做秀和功利的氣息。整個CMM評估的過程，我們看到的是好大喜功的政府行業主管部門、一貫愛湊熱鬧的新聞媒體、有賺白不賺的仲介機構、證書隨身帶的主任評估師和願意花錢買吆喝的軟體企業。CMM評估的這種濃厚的功利性，使得“Gaming the Assessment”成為軟體企業上上下下的共識和“不宣之秘”。希望本文對國內軟體業界正確對待CMM起到應有作用，不要像某些軟體企業一樣找個“證書隨身帶”、“一手交錢，一手交證”的主任評估師。畢竟，提高企業的核心競爭力是最重要的。 1 評估人員的資質 SEI對主任評估師的資質要求比較嚴格，但是評估是由一個評估小組來進行的。 問題1：評估組員的資質很難滿足。 通常，評估組員很難達到SEI所要求的軟體工程的技術和管理背景。 問題2：評估人員多是管理人員，技術素質普遍較弱。 這個問題也包括主任評估師，由於多年脫離軟體發展實踐工作，主任評估師甚至在提問時有意回避技術問題，而是反復詢問管理問題。因為評估人員的技術素質普遍較弱，因此對於CMM中涉及工程部分的關鍵實踐解釋能力很差。甚至在對企業員工面試時，當員工提到技術方面問題時，評估人員會將話題岔開，又轉到管理問題上。 2 評估的時間壓力 一般評估的時間都在一周左右，要執行的工作相當多，時間壓力很大。原來的評估方法中要求單個面試的方式，後來迫於時間壓力，新版本中增加了“Group Interview”（團體面試）。 問題3：團體面試本來是為了節省時間，實際上往往掩蓋了問題，不能發現真實情況。 聯想測試部門的面試，就是團體面試的方式。 對於評估小組而言，由於時間緊張，他們往往不願意運用自己的洞察力和專業判斷力，而是滿足於在檢查清單上一項一項劃勾，也就是俗稱的“Checklist強迫症”。 問題4：“Checklist強迫症”也給了軟體企業一個鑽空子的機會。 軟體企業可以努力使文檔做得更加“方便評估小組的工作”。 3 CMM問卷 在CMM評估中，用到的是同一套問卷。連美國人都批評到，“不可想像對於醫生、建築師或者律師採用同一套試卷來考察，而對於軟體企業的評估使用的確實一套不變的問卷。想想看，這些軟體企業可能是在為我們的國防系統進行開發！” 問題5：同一套成熟度問卷。 CMM評估允許企業在評估前對員工作出培訓，而這個培訓的作用往往被扭曲了。很多軟體企業甚至“教唆”員工在成熟度問卷上如何回答的“更成熟”一點。 4 文檔 因為CMM評估要求文檔應該有線上版本（這樣才可以被配置管理軟體所管理和控制），所以企業在將文檔轉換為線上版本時，就可以對文檔作出修飾。因為知道評估小組的時間很緊張，軟體企業可以把文檔弄得故意非常複雜，評估小組有時候看到複雜得文檔，會不願意去深究，認為既然寫了這麼多，看在頁數得份上，也應該滿足要求。 問題6：過分依賴文檔。 5 項目的選擇 選擇什麼項目給評估小組看，這裏大有學問。軟體企業可以把自己最“成熟”的項目、最優秀的員工組成一個“Goldern Project”來供評估小組檢查。那麼，這樣的評估可信性就大打折扣。比如，國內某軟體企業明明是自己一個20多人的“中央研究院”過了CMM某個級別，在媒體宣傳時卻故意混淆視聽，有意無意造成整個企業通過某個級別的錯覺。 問題7：選擇什麼專案，選擇什麼部門，這其中太多貓膩。 6 事先“培訓”員工 甚至有這樣的現象，員工在接受面試之前，塞給他一本企業的CMM指導手冊，甚至要求他故意在手冊上作點筆記、把手冊弄得髒一點，以顯得認真閱讀過了。 問題8：“培訓”員工作假。 這裏最嚴重的問題，實際上是主任評估師的技術素質。電腦技術領域日新月異的發展，很多主任評估師是只知道“管理”，對於技術的理解可能僅僅限於5－10年前的技術。IEEE雜誌文章的作者建議，在評估時應該同時“Conduct on-site technical evaluations”，觀察企業的開發人員實際完成技術工作的方式。作者特別舉了一個企業的例子，紙面上的同行評審與實際中的同行評審的天淵之別。 Paul在給聯想評估時，竟然沒有向測試部門提問，這個事實太令我失望了。其他領域不論，我真的不信對於測試領域竟然無話可問！
凡所有相皆是虛妄。見諸相非相。即見如來。 |
| cheng | 發表時間: 2005-03-23 11:37 |
Just popping in  註冊日: 2003-08-28 來自: 發表數: 15 |
Re: CMMI 評鑑存在著若干問題，大家不妨一起思考如何改善 ! 林兄, 您以下的這篇文章也頗值得大家閱讀及討論: [ CMMI評鑑的迷思 ]
--------------------------------------------------------- 為促進我國資訊服務業的發展，行政院相關部門公開宣示：「從2008年開始，參與政府大型資訊服務標案的廠商，需通過能力成熟度整合模型CMMI ML3以上的評鑑」，期望經由CMMI的洗禮，讓我國資訊服務業的能力可以獲得大幅度的提升；然而，是否通過了CMMI ML3的評鑑，真的能夠確保產出軟體產品的品質符合要求？或者說，具有通過CMMI ML3評鑑證明的公司，就是軟體品質與專案成功的保證嗎？ 由於許多人對於CMMI的錯誤解讀，而誤認為CMMI是軟體產品開發問題的所有解答。其實，CMMI並沒有這麼大的魔力，因為在本質上，一如ISO 9000品質管理制度，CMMI是一個過程改善(Process Improvement)的方法與工具，只是CMMI與ISO 9000兩者的差異在於：ISO 9000讓公司或組織自行定義品質的目標，並自訂一套朝著此一目標前進的程序與做法；而CMMI則是已為組織訂定一套組織發展與成熟的目標與途徑，使用該模型的組織，是循著這套既定的目標與途徑改善組織的能力與體質。 除了上述的誤解之外，另一個對資訊服務的獲取者(Acquirer)在辦理資訊服務委外時要釐清的問題是，截至目前為止，鮮少有中、大型公司是整個通過CMMI某個成熟度等級評鑑的，以國內目前狀況為例，資訊工業策進會只是「軟體工程研究所」通過CMMI ML3，而凌群電腦公司亦只是其「研究發展處」通過CMMI ML3而已(有關於通過CMMI 評鑑的公司的名稱、部門及通過之能力成熟度等級的資訊，可在SEI的網站上查�ohttp://seir.sei.cmu.edu/pars/pars_list_iframe.asp)。因此，這對於資訊服務的獲取者而言，其實是一項風險，因為，如果承包商負責執行專案的團隊並不屬於通過CMMI鑑評的部門，或者僅有一兩位成員是來自於這個部門，那麼對於專案的成功或是專案產品與服務的品質是沒有太大意義的。 再者，整個CMMI評鑑制度，除非組織自己提出，否則並不如ISO 9000有所謂的「複評機制」，此意味著一個通過CMMI ML2或者CMMI ML3的公司，如果沒有真正落實制度，建立良好的文化，那麼若通過CMMI評鑑時期的人員大量跳槽、離職後，組織將僅留「通過CMMI評鑑」之名，而無該CMMI能力成熟度等級之實，甚至可能會發生「通過CMMI評鑑之公司的營業登記證轉讓」的弊端，這對於獲取者而言，若將資訊服務專案之成敗，完全繫於CMMI評鑑等級之上，無疑是很大的風險。 其實，推動建立CMMI評鑑制度的美國國防部亦早已經注意到這種現象，因此在實務上，美國國防部及其他政府部門除要求投標廠商應俱備CMMI 能力成熟度三級以上之外，在開標之前，還會針對這些具有CMMI 評鑑三級以上的投標廠商進行稽核，也就是到現場訪視廠商，透過程序文件的審查，以及對其他專案的產出、具體事證的分析，以了解該公司是否真正具備有相對的能力。這些做法實可做為我國在推動類似政策時的一個參考。 目前CMMI評鑑在政府的政策宣示與輔助下，似乎已逐漸在國內蔚為風潮，然而，為了保護使用者、客戶及獲取者的權益，政府亦應在「投標廠商能力評估與稽核制度」的建立上，投入相對的努力，以協助資訊服務委外獲取者了解投標廠商的能力，做出最佳的選擇。經由「廠商能力評估與稽核制度」，除了可以讓取得CMMI評鑑的資訊服務提供廠商維持既有的能力，甚至不斷向上持續追求卓越外，亦可以鼓勵中小型的廠商在擁有核心技術之餘，同時注重與培養自己的軟體工程能力成熟度，如此，必可為我國的資訊服務業建立完整的國際競爭優勢。 |
| 訪客 | 發表時間: 2005-06-30 09:28 |
|
Re: CMMI 評鑑存在著若干問題，大家不妨一起思考如何改善 ! 「從2008年開始，參與政府大型資訊服務標案的廠商，需通過能力成熟度整合模型CMMI ML3以上的評鑑」--- 這是真的嗎? 請問這是行政院的政策? 還是公共工程委員會的決策? 或只是經濟部的目標或建議? (經濟部管不到政府採購的事呀? )
多年以前，曾經有政府採購標案以投標廠商必須通過ISO9000 認證做為限制資格，結果被掌管政府採購的行政院公共工程委員會明文糾正，還做為「政府採購法」宣導文件的「錯誤行為」範例之一，理由為何? 因為政府認為負責認證ISO9000的機構評鑑素質不一，恐會導致競爭不公平。以下是公共工程委員網站公告的內容: [ 行政院公共工程委員會 函 ] 發文日期：中華民國 八十八年六月十四日 發文字號：(八八)工程管字第八八○八三九九號 根據政府採購法 第三十六條 第三十七條 其他 主旨: 各機關請勿以ISO 9000系列驗證證書為投標資格限制,請查照辦理。 說明: 一、 依據標準法第三條第二款、第三款並參照同法第十四條之規定，驗證機構需獲得經濟部委託之「中華民國品質管理及環境管理認證委員會」﹙以下簡稱認證委員會﹚之認可，其出具之驗證證書方符合標準法之規定。 二、 經本會調查，各外國驗證機構在台分支機構或代理商，均尚未取得認證委員會之認可。 三、 有關機關辦理採購訂定投標資格限制時，應依政府採購法第三十六條、第三十七條規定辦理。 因此，兩年多前行政院訂定「政府機關資訊作業委外原則」時，也只能將廠商獲得ISO9000、CMMI等認證及專業人員證照做為評選加分的項目。我認為「從2008年開始，參與政府大型資訊服務標案的廠商，需通過能力成熟度整合模型CMMI ML3以上的評鑑」如果只是經濟部的目標或建議，雖然用意良好，但因為牽涉到修法，而經濟部又不是主管政府採購的單位，恐怕實施不易。 何況林兄在上文提到的「軟體公司可能僅有部分單位通過CMMI評鑑」及「通過CMMI評鑑的單位可能人員已大幅異動」... 等問題，也會導致未來實施上的困難。 總而言之，企業導入CMMI評鑑應著眼於提升軟體發展組織成熟度的競爭力效益，穩健踏實地執行，而不要盲目地為評鑑而評鑑。 經濟部工業局輔導國內軟體業者導入CMMI評鑑，可能有其目標與執行績效的壓力，但也應慎防演變如前文所述中國大陸「CMMI評鑑流於形式及浮濫」的現象。 |
|
| Fred | 發表時間: 2005-12-03 00:51 |
Not too shy to talk  註冊日: 2005-04-11 來自: 發表數: 25 |
Re: CMMI 評鑑存在著若干問題，大家不妨一起思考如何改善 ! 本討論主題前文曾經提到的「軟體公司可能僅是部分單位通過CMMI評鑑」及「通過CMMI評鑑的單位可能人員已大幅異動」的問題，如今果然在政府標案中發生了。
據我所知，到目前為止台灣其實還沒有任何一家軟體公司完全通過CMMI評鑑，都是僅有某一部門通過而以，但對外卻大膽宣揚該公司已經通過CMMI Level X 評鑑，而政府採購單位也不明就理的被矇騙了。 最近行政院工程會對外公告資訊服務委外標案，在目前還沒有一家軟體公司通過CMMI評鑑的情況下，竟明文要求" 投標商必須通過CMMI Level 2 評鑑 "，結果僅有一家只是 [ 內部某一部門通過CMMI Level 2 評鑑 ] 的財團法人機構大膽去投標，居然也順利得標了。像這種僅有某部門通過CMMI評鑑的機構也能算符合投標廠商資格嗎 ? 另一個行政院部會就比較有知識，因為知道目前還沒有一家軟體公司通過CMMI評鑑，於是要求" 投標商的 [ 執行本案團隊 ] 必須通過CMMI Level 2 評鑑 "，結果也是 [ 內部某部門通過CMMI Level 2 評鑑 ] 的軟體公司順利得標了。但是事實上那家軟體公司通過CMMI評鑑的部門主管早已離職半年(被挖角去當CMMI輔導顧問了)，幾位重要幹部及成員也已經陸續離職或異動，因此當初通過CMMI Level 2 評鑑的 [ 執行本案團隊 ] 其實人事已非，請問要求" 投標商 [ 執行本案團隊 ] 必須通過CMMI Level 2 評鑑 " 當做投標資格還有意義嗎 ? |
| cheng | 發表時間: 2006-01-06 10:43 |
Just popping in 註冊日: 2003-08-28 來自: 發表數: 15 |
Re: CMMI 評鑑存在若干問題，大家不妨一起思考如何改善 ! 各位好，關於Fred先生提出的問題，本人已於94.12.9.在經濟部工業局舉辦的「政府資訊採購與CMMI座談會」當場向行政院工程會、研考會等代表官員反應，提醒政府相關單位注意，以免將來引發更多爭議。
那天出席的行政院工程會蘇明通副處長也引據相關法令說明，目前政府機關資訊採購標案的確不可以將CMMI評鑑當做投標廠商資格，但可以做為採構單位評選廠商的評分參考(予以加分處理)。 據本人的瞭解，美國政府機構(尤其國防部)的資訊委外標案，常會要求投標廠商必須通過CMMI Level X 的評鑑，但還是會針對投標商進行實地訪查，以求嚴謹與務實，或許可以供我們政府相關單位參考。 不過，本人還是比較認同94.6.30. "訪客" 的建言：企業導入CMMI評鑑應出自於生產力改善的組織自發性需要，「著眼於提升軟體組織成熟度的落實執行與獲得實質效益，不要盲目地為了評鑑而評鑑 ... 也應慎防因急功好利而使CMMI評鑑流於形式及浮濫的現象。」 中華民國資訊軟體品質協會理事長 程家麒 敬請賜教 |
| Member | 發表時間: 2006-04-19 09:49 |
Not too shy to talk 註冊日: 2005-04-07 來自: 發表數: 29 |
Re: CMMI 評鑑存在若干問題，大家不妨一起思考如何改善 ! 目前據知國內已有許多公司(或機構)的軟體相關部門通過 CMMI Level X 評鑑，其中也有不少是由經濟部工業局補助經費委託資策會和軟體協會推動完成輔導及評鑑，但是有誰能告訴我們目前到底有哪些公司(或機構)的什麼部門通過 CMMI Level X 評鑑 ?
常常看到工業局或資策會(或軟協)公布" XX 公司通過CMMI Level X 評鑑 "，也常看到某些公司公開宣稱" 本公司已通過 CMMI Level X 評鑑 " (有誇大宣傳之嫌)，但這是事實嗎 ? 這些公司(或機構)真的都是全部組織通過 CMMI Level X 評鑑嗎 ? 事實是: 都只是內部某部門通過評鑑而已 ! 既然工業局或資策會或軟協公布的資訊都不正確完整，我們要到哪裡才能查詢到" 目前台灣到底有哪些公司(或機構)的什麼部門通過 CMMI Level X 評鑑 " 的正確完整資訊呢 ? ( 難道非得要到美國 SEI 的官方網站才能看到英文的正確完整資訊嗎 ? ) |
| Terry | 發表時間: 2006-04-24 10:51 |
Just popping in 註冊日: 2005-04-11 來自: 發表數: 19 |
Re: CMMI 評鑑存在若干問題，大家不妨一起思考如何改善 ! 我認為負責軟體產業輔導的[經濟部工業局網站]應公布正確完整的資訊，否則也應該由工業局委託推動CMMI輔導的[資策會和軟體協會網站]公布，如果拿公帑的單位都不公布，至少應該由資策會主導的[SPIN-TAIWAN 網站]公布SEI發布的正確完整資訊啊 !
至於經濟部宣示：「從2008年開始，參與政府大型資訊服務標案的廠商，需通過能力成熟度整合模型CMMI ML3以上的評鑑」--- 我認為不可能的，因為： 1. 經濟部管不到政府採購， 2. 掌管政府採購的行政院公共工程委員會已經公開且明文表示：「依照法令政府機關資訊採購標案，不可將CMMI評鑑當做投標的廠商資格」(請參閱前面的討論文章)， 3. 政府為什麼要訂於2008年，而不是2007年? -- 因為根據過去的台灣經驗，2008年總統改選後政府的政務人事就會大改組，屆時沒有人需要去面對這個政策支票兌現的問題 ...... |
| 樹狀顯示 | 新的在前 | 前一個主題 | 下一個主題 | 頁首 |
| 無發表權 | |