要点

AI ワークフローを導入した後、何を測るかを決めていないと、成果を説明できません。利用回数だけが増えても、回答が使われていない、確認に時間がかかっている、リスクが増えている可能性があります。

ダッシュボードでは、量、品質、効率、リスク、改善の五つを追う必要があります。

利用量だけでは足りない

よくある指標は、質問数、アクティブユーザー数、生成回数です。これらは導入初期の関心を見るには便利ですが、業務改善を示すには不十分です。

重要なのは、AI の回答が実際に使われたか、差し戻されたか、人の確認がどの程度必要だったか、どの文書がよく参照されたかです。

追うべき主要指標

第一に成功率です。回答がそのまま利用された、軽微な修正で使われた、使えなかった、という分類を作ります。第二に人工介入率です。人の確認が必要な割合が高い場合、リスク設計が正しい可能性もありますが、文書不足の可能性もあります。

第三に節省時間です。検索、要約、下書き作成、報告書作成にかかる時間を導入前後で比較します。第四にリスクイベントです。誤回答、古い文書の参照、権限違反、レビュー漏れを記録します。

改善に使うダッシュボード

ダッシュボードは成果報告だけでなく、改善の入口です。よく聞かれる質問は FAQ にする。回答できない質問は文書を追加する。古い文書が参照されているなら更新ルールを見直す。この循環が AI ワークフローの価値を高めます。

FAQ

最初から細かい指標を全部測るべきですか。

いいえ。初期は質問数、成功率、人工介入率、節省時間の四つで十分です。

成功率はどう定義しますか。

回答が業務で使えたかを基準にします。完全利用、修正後利用、差し戻し、利用不可に分けると見やすくなります。

主要引用元

  • Digital Agency, Government of Japan. “Government AI GENAI.” 2026-05-29. https://www.digital.go.jp/en/policies/genai
  • Digital Agency, Government of Japan. “Launch of Large-Scale Pilot Project of Government AI GENNAI targeting 180,000 Employees.” 2026-03-06; updated 2026-03-13. https://www.digital.go.jp/en/news/2d69c287-2897-46d8-a28f-ea5a1fc9bce9
  • Digital Agency, Government of Japan. “Release of Government AI GENAI as Open Source Software (OSS).” 2026-04-24. https://www.digital.go.jp/en/news/907c8e5d-2f4f-4bd7-9400-37c9f4221d7d
  • U.S. Office of Management and Budget. “M-24-10: Advancing Governance, Innovation, and Risk Management for Agency Use of Artificial Intelligence.” 2024-03-28. https://www.whitehouse.gov/wp-content/uploads/2024/03/M-24-10-Advancing-Governance-Innovation-and-Risk-Management-for-Agency-Use-of-Artificial-Intelligence.pdf
  • NIST. “Artificial Intelligence Risk Management Framework (AI RMF 1.0).” 2023-01. https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
  • ISO. “ISO/IEC 42001:2023 Artificial intelligence — Management system.” 2023. https://www.iso.org/standard/42001