この記事で分かること
- 開発の定量データを集めた資料が、いつ発行を終えたか
- 工数や工期の分析に使われている母数が、何件か
- 外の平均が古くなったとき、比べる先をどこに置くか
開発会社から見積書が届いたとき、金額と期間を見て、高いのか安いのか、期間が妥当なのか。業界の平均と比べて確かめたくなりませんか。
外から借りられる物差しは、2022年で止まっています。
5,546プロジェクトのデータ集は、2022年版で発行が終わっている
その物差しにあたるのが、IPAの「ソフトウェア開発分析データ集」です(IPA、ソフトウェア開発分析データ集2022)。2005年から「ソフトウェア開発データ白書」として発行され、2020年に名称が変わりました(同データ集、概要)。集めたデータは5,546プロジェクトです。
そのページに、こう書かれています。「事業終了に伴い「ソフトウェア開発分析データ集」の今後の発行予定はございません」(同データ集、お知らせ)。
最新版は、2022年9月26日に公開された2022年版です。そのあと新しい版は出ていません。
この告知が載った日も分かります。ページの更新履歴に、2025年1月8日に「お知らせ」を追加し、2025年8月28日に更新したとあります(同データ集、更新履歴)。発行が止まったのは2022年9月で、終わったと分かるのは2025年1月です。その2年3か月あまり、ページに発行終了の記載はありませんでした(同データ集、更新履歴)。
妥当性を確かめる用途は、原典が正面から書いている
この資料を何に使うものとして作ったかは、原典が書いています。「分析データ集を外部ベンチマークとして活用することにより、プロジェクト計画立案時の参考にしたり、プロジェクト計画の妥当性を確認することができます」(同データ集、活用のメリット)。
誰に向けたものかも挙がっています。「ユーザー企業およびベンダー企業でソフトウェア開発現場に携わり、プロジェクトから収集したデータの精査・分析を実施する方、開発プロジェクトデータの組織的活用サイクルを推進する管理部門の方」(同データ集、本書の対象者)。発注する側も入っています。
活用のメリットは、二つ挙がっています。一つ目がいまの妥当性の確認で、二つ目はこうです。「分析データ集での分析方法や結果を参考にすることで、自社の強み、弱みを知り、組織の成熟度に応じた定量的管理を適切に進めることが可能となります」(同データ集、活用のメリット)。
借りられるものは、数字だけではありません。分析の方法も挙がっています。古くなるのは数字で、方法は残ります。
原典の言い方は「プロジェクト計画の妥当性」で、金額だけを指していません。「ベンチマークとして使用できる基本的項目」として挙げているのは、工数・工期・規模・生産性・信頼性の五つです(同データ集、分析データ集2022)。見積書から読めるのは、はじめの三つです。残る二つは、出来上がったあとに分かります。
見積書の妥当性を外の数字で確かめる方法は、公的に用意されていました。それが2022年版で最後になっています。
基本的な項目の母数は、5,546件ではなく1,479件
ここで、母数の読み方に注意が要ります。
原典の説明はこうです。「2004年から蓄積した業種全体の開発データ(5,546件)の主な要素の経年推移のグラフを掲載。収集データのプロファイルや、ベンチマークとして使用できる基本的項目(工数、工期、規模、生産性、信頼性等)について、直近6年間のデータ1,479件から算出した分析結果を掲載」(同データ集、分析データ集2022)。
比べるのに使う数字は、1,479件から出ています。5,546件が使われているのは、経年推移のグラフと、一部のデータの分析です(同データ集、分析データ集2022)。
業種編3編(金融・保険業、情報通信業、製造業)も、同じ1,479件からの算出です(同データ集、業種編3種)。業種ごとの件数は、原典に書かれていません。原典は3業種を選んだ理由を「プロジェクト数の多い」ためと説明しています(同データ集、概要)。
同時に公開されているものも数えられます。ダウンロードできるファイルは8件です。本編、業種編3編、サマリー版、マンガ解説38編、グラフデータ、正誤表(同データ集、ダウンロード)。サマリー版はPowerPointです。原典は「編集可能な形式で公開することで再利用が容易」と書いています(同データ集、サマリー版)。グラフデータはZIPで公開されていて、掲載されているグラフの数値が入っています(同データ集、グラフデータ)。
前の版と今回の版を比べると、信頼性も生産性も下がっている
五つのうち、原典が中心に置いたのは信頼性です。2020年版から編集の方針が変わったと書かれています。「過去のデータ白書であまり見られていない図表などは省略しコンパクトにすることで読みやすくし、開発プロセスに依存しない普遍的なメトリクスである信頼性を中心に分析しました」(同データ集、概要)。
原典は、その信頼性の傾向の変化も書いています。「前回の分析データ集2020では 信頼性は向上するも生産性は低下 が特徴でした。そして、今回の分析データ集2022では 信頼性も生産性も低下 という傾向になりました」(同データ集、概要)。
原典が分析例として挙げているのは、新規プロジェクトの信頼性です。そこで原典は、信頼性を「リリース後の不具合密度」と括弧で示しています。規模はSLOC(ソースコードの行数)で測り、散布図と箱ひげ図にしています(同データ集、分析例)。そこに「これらのデータを前回の分析データ集2020と比較すると、信頼性の低下が傾向として見られます」とあります(同データ集、分析例)。
2年で、傾向の向きが変わっています。
外の平均そのものが、変わります。2022年版から今日までは4年近くあり、その間の分析は出ていません。2022年の数字を見積書に当てるなら、その4年に何があったかは分からないままです。
原典のベンチマークの定義には、組織内が入っている
では比べる先をどこに置くか。原典の脚注が、そこを広く取っています。
「ベンチマーク:特定のITプロジェクトのパフォーマンスが、組織内外のITプロジェクトと比較してどのレベルに位置するかを評価するため、比較対象として利用する組織内外の参照情報」(同データ集、脚注1)。
組織内が入っています。外の平均だけがベンチマークではない、と原典が定義しています。
もう一つの脚注も、比べる先を限定していません。「ベンチマーキング:良い成績を収めているプロジェクト群と比較し、それらのやり方(開発プロセス、マネジメント・プロセス、組織の特性等)を参考にして、自組織の業務改善及び組織の改善を進めること」(同データ集、脚注2)。「良い成績を収めているプロジェクト群」がどこにあるかは、書かれていません。
原典が信頼性を中心に置いたのは、開発の進め方によらない項目だからです(同データ集、概要)。進め方が違っても、リリース後にどれだけ不具合が出たかは同じ形で数えられます。自社の過去と突き合わせるときも、そこは動きません。
自社が過去にやった開発も、その群に入ります。
明日からできること
決めるのは、次の開発で何を記録するかです。
いま動いている開発と、直近で終わった開発について、四つを書き出します。工数、工期、規模、リリース後の不具合の件数。原典が基本的項目として挙げている五つのうち、生産性と信頼性は、ほかの数字から出す値です(同データ集、分析データ集2022)。信頼性は原典が「リリース後の不具合密度」としているので、この四つから出せます。生産性の測り方は、原典に書かれていません。
2件あれば比べられます。3件目から、自社の幅が見えてきます。
原典は、人に見せる形も用意しています。サマリー版はPowerPointで編集できるので、自社の四つを同じ枠に入れて関係者に渡せます(同データ集、サマリー版)。グラフデータには掲載グラフの数値が入っているので、自社の値を重ねる先にもなります(同データ集、グラフデータ)。
見積書が届いたときに見るのは、その表です。外の平均と合っているかではなく、自社の過去とどこが違うかを見ます。工数や工期に差があれば、理由を開発会社に確かめます。理由が分かれば、そのまま受けるか、条件を変えてもらうかを決められます。
2022年版は、いまも公開されていてダウンロードできます(同データ集、ダウンロード)。使うときは、2022年時点の1,479件だと分かって使うことになります。
記録を取るのは、担当者の仕事に足すことになります。それでも四つで済むのは、原典の項目から逆に数えた結果です。