AIワークフローリスクチェックリスト
AIワークフローを実ユーザーに出す前に、このチェックリストでリスクを確認します。
主なリスク領域
リスク管理はポリシー文書に隠すのではなく、ワークフロー上で見える形にするべきです。
- 人による承認
- 根拠表示
- 低信頼時のフォールバック
- モデル/プロバイダ前提
- 監査ログ
ユーザーに出す前に確認すること
パイロット前に、AIが何を判断できるか、人が何を承認するか、何をログに残すか、信頼度が低い時にどう動くかを確認します。
- 判断境界
- レビュアー役割
- 根拠表示
- フォールバック経路
- 監査イベント形式
よくある失敗パターン
多くの失敗はモデル単体ではなく、プロダクト上の失敗です。確認経路がない、データ境界が弱い、責任者が曖昧、フォールバックがない、といった問題です。
- AI出力が最終結果のように見える
- 低信頼ケースの責任者がいない
- 根拠データが見えない
- ログで何が起きたか説明できない
- プロンプト変更が追跡されない
リスクチェック出力
- 判断境界: AIが提案できること、更新できること、人が承認すべきこと。
- フォールバック計画: 信頼度が低い、データ不足、API失敗時の動き。
- 監査ログ: プロンプト版、モデル出力、レビュアー判断、システム動作を示すイベント。
- パイロット条件: 実ユーザーまたは本番データを扱う前に必要な条件。
よくある質問
- すべてのAIワークフローに人の確認が必要ですか？
- すべてではありません。ただし顧客影響、金銭影響、不確実なデータがあるワークフローでは、人の確認経路を定義すべきです。
- 何をログに残すべきですか？
- 入力、根拠、プロンプトまたはワークフロー版、モデル出力、信頼度または検証状態、人の判断、最終システム動作です。