PoCの評価指標と成功基準の決め方
PoCの評価指標は、「この検証で何が分かれば、次の段階に進む・進まないを決められるか」から逆算して決めます。指標は技術・業務・事業の3層に分けて考え、始める前に現状値と合格ラインを書面にしておくと、検証後に「よく分からなかったので延長」となる事態を防げます。
この記事では、大企業の新規事業担当者が、スタートアップや社内の事業部門と組んでPoC(技術検証・実証)を行う場面を想定し、評価指標と成功基準の決め方をまとめます。新規事業全体のKPIや撤退基準は新規事業のKPIの置き方と撤退基準、段階ごとの投資判断の仕組み(ステージゲート)は別の記事で扱っています。ここでは1回のPoCの中身に絞ります。
なぜPoCの評価基準が曖昧になるのか
PoCが次に進まないまま終わる理由の多くは、技術ではなく判断の側にあります。よくあるのは次のような状態です。
- 「まずやってみる」ことが目的になり、何を確かめるのかが書かれていない
- 技術部門は精度、現場は使い勝手、経営層は収益性を見ており、評価の物差しがそろっていない
- 比べる相手(現状の業務のやり方)の数値を取っていないため、結果が良いのか悪いのか言えない
- 合格ラインが決まっておらず、結果を見てから基準を議論する
特許庁が公開しているオープンイノベーション促進のためのモデル契約書(AI編)のPoC契約でも、目的の条項は「対象技術を対象用途に利用することの可否を判断するため」と書かれ、検証作業の内容を別紙で特定する形になっています。PoCは「判断のための材料を集める作業」だという前提を、関係者全員で最初に確認します。契約面の論点はPoCの契約:モデル契約書で押さえる点を参照してください。
評価指標は3層で考える
1. 技術の層:狙った性能が出るか
- 精度、処理時間、稼働率、処理できるデータ量など
- 実験室ではなく、実際の現場のデータや環境で出るか
技術の層だけで合格・不合格を決めると、「精度は出たが現場で使われない」という結果を見落とします。
2. 業務の層:現場の仕事が変わるか
- 作業時間、手戻りや誤りの件数、対応できる件数など
- 現場の担当者が実際に使い続けたか、使わなかった場合の理由
ここで重要なのは、PoCの前に現状の数値を測っておくことです。「作業時間が短くなった」と言うには、短くなる前の時間が必要です。現状値を記録している部署がなければ、PoC開始前の数週間を使って測る期間を設けます。
3. 事業の層:お金を払う価値があるか
- 業務の層の改善をお金に換算した効果と、導入・運用にかかる費用の比較
- 社外の顧客向けなら、顧客が費用を負担する意思があるか(有償での試行に応じるか、見積もりを求めるか)
PoCの段階で事業性を正確に出すことはできませんが、「この改善幅なら、この価格でも採算が合う」という関係を仮に置いておくと、次の段階の議論が具体的になります。
成功基準の置き方
現状値と目標値を並べて書く
指標ごとに、現状値、目標値、測り方(誰が、いつ、どのデータで)を1行ずつ書きます。
| 層 | 指標の例 | 現状値 | 合格ライン | 測り方 |
|---|---|---|---|---|
| 技術 | 判定の正解率 | (人手での正解率) | (人手と同等以上など) | 検証用データで週1回測定 |
| 業務 | 1件あたりの処理時間 | (PoC前に測定) | (現状から何割短縮) | 作業ログから集計 |
| 事業 | 年間の削減効果 | (業務の層から換算) | (導入費用を何年で回収できるか) | 経理部門と試算 |
表の数値は各社で決めるものです。大切なのは、表を検証開始前に埋め、関係者が合意した日付とともに残すことです。
合格・条件付き・不合格の3段階にする
「合格か不合格か」の2択にすると、ぎりぎりの結果が出たときに判断が止まります。次のように3段階を事前に決めておきます。
- 合格:全ての必須指標が合格ラインを超えた。次の段階(本開発、共同開発、導入)の予算申請に進む
- 条件付き:技術は合格だが業務の層が未達など。原因と追加検証の範囲・期間・費用を決めて1回だけやり直す
- 不合格:必須指標が大きく下回った。終了し、分かったことを記録に残す
「やり直しは1回まで」のように回数の上限を決めておくと、PoCが延々と続く状態を防げます。
必須指標と参考指標を分ける
指標を増やしすぎると、どれかは必ず未達になり、どれかは必ず達成します。判断に使う必須指標は3つ程度に絞り、それ以外は参考指標として記録だけします。
検証の設計で気をつけること
比較の条件をそろえる
新しい方法と現状の方法を、同じ期間・同じ種類の案件で比べます。PoCの期間だけ協力的な担当者が付いたり、簡単な案件だけを回したりすると、結果が良く見えすぎます。
期間と対象の範囲を決める
期間が短すぎると季節や案件の偏りが出て、長すぎると判断が遅れます。業務の繁閑を考えて期間を決め、対象の部署・拠点・データの範囲を書面に残します。
データの取り扱いを先に決める
PoCでは、自社の業務データや顧客データを相手先に渡すことがあります。どのデータを、どの目的で、どこまで渡すかを事前に決め、個人情報が含まれる場合は社内の担当部署と確認します。論点は新規事業での個人情報の取り扱いで整理しています。
判断のしかた
判断者と期限を決めておく
誰が、いつまでに、何を見て判断するかをPoCの開始前に決めます。特許庁のモデル契約書(AI編)のPoC契約では、事業会社が報告書の確認完了日から2か月以内に、共同研究開発に進むかどうかの検討結果を相手方に通知する条項が置かれています。社外のパートナーと組む場合、判断の遅れは相手の資金繰りにも影響するため、社内の意思決定の日程も含めて逆算しておきます。
報告書の形式をそろえる
報告書には、指標ごとの結果、事前に決めた合格ラインとの比較、判断の区分(合格・条件付き・不合格)、分かったことと分からなかったこと、次の段階に進む場合の課題と費用の見込みを入れます。形式をそろえておくと、複数のPoCを並べて比べることもできます。
不合格も成果として扱う
不合格の結果は、「この方法では解決できない」という情報です。何が原因だったか(技術、業務の前提、データの質など)を残しておけば、別のテーマや別の相手とのPoCで同じ失敗を避けられます。担当者の評価をPoCの合否だけで決めると、不合格を報告しにくくなるため、評価の仕組みとあわせて考える必要があります。
社内での進め方の注意
- 検証の目的と成功基準は、開始前に決裁者の了承を得ておく。後から基準が変わると、結果の解釈が争いになる
- 現場部門の協力者には、PoC期間中の作業負担を具体的に伝え、上長の了承を取っておく
- 技術部門、現場、経営企画など評価に関わる部門を最初の打合せから入れる
- 結果が良かった場合の次の予算と体制を、PoC中に並行して準備しておく。合格してから予算化を始めると、次の段階に進むまでに長い空白ができやすい
まとめ
- PoCは判断の材料を集める作業であり、「何が分かれば次に進めるか」から指標を逆算する
- 指標は技術・業務・事業の3層で考え、必須指標は3つ程度に絞る
- 現状値を測り、合格ラインと測り方を開始前に書面で合意する
- 結果は合格・条件付き・不合格の3段階で判断し、やり直しの回数に上限を置く
- 判断者と期限を決め、不合格の結果も記録として残す
参考資料
進め方に迷ったら、相談してください
起業家ポータル のメンバーが話を伺います。初回の相談は無料です。
同じ工程の記事
MVPの要件定義の進め方:検証に必要な範囲だけを決めて合意する
MVPの要件定義は、すべての機能を決め切る作業ではなく、検証したい仮説から逆算して「作るもの」「作らないもの」「できたと判断する基準」を決め、関係者と合意する作業です。進め方の手順、非機能要件の最低ライン、要件シートの項目例を整理します。
アジャイル開発の進め方と発注側の役割:スプリントごとに何をするか
アジャイル開発は、短い期間の開発を繰り返し、動くものを見ながら優先順位を変えていく進め方です。IPAの資料をもとにスクラムの基本の流れを整理し、発注側がスプリントごとに担う役割、予算と進み具合の管理、うまくいかない場面の対処を解説します。
プロトタイプでのユーザーテストの進め方
プロトタイプのユーザーテストは、5人程度の対象者に2〜3個の操作課題を実際にやってもらい、つまずく箇所を観察するのが基本です。準備、進行、記録、結果の整理と、ヒアリングとの違いを解説します。
新規事業での個人情報の取り扱い:取得から漏えい対応まで
新規事業で個人情報を扱うときは、利用目的の特定と公表、安全管理、委託先の監督、第三者提供の同意、漏えい時の報告を設計段階から組み込みます。個人情報保護委員会の資料をもとに、工程ごとの確認点を解説します。