引用付き社内ナレッジ検索の始め方
金融、保険、専門サービスのチームでは、重要な知識がPDF、フォルダ、スライド、規程文書、過去案件資料に分散しています。検索機能はあっても、必要な答えを見つけるには時間がかかります。
AIナレッジ検索は有効ですが、答えが根拠に紐づいていることが重要です。流暢に答えても引用がないモデルは、誤答に規制や契約上のコストが伴うチームにとって負債になります。技術的な仕事は「チャットボットを作る」ことではなく、チームが監査できる検索システムを作ることです。
引用が重要な理由
根拠のない回答は信頼しにくいものです。有効な社内ナレッジシステムでは、どの文書を使ったか、どこから答えたか、何を確認すべきかを表示します。
コンプライアンスが重要なチームでは、AIは方針を作り出すのではなく、業務を支援するべきです。引用は失敗モードも変えます。モデルが間違っているとき、ユーザーは「なぜ」を見ることができます—検索されたチャンクが古い、曖昧、論点違いだった、など。この診断可能性が、ナレッジシステムをブラックボックスから「チームが改善できる道具」に変えます。
実用的な回答オブジェクトの引用契約:
```json
{
"answer": "...",
"citations": [
{
"doc_id": "policy-2024-03",
"title": "引受ガイドライン 2024",
"page": 17,
"snippet": "...",
"score": 0.82,
"version": "rev-3",
"approved_at": "2024-03-12"
}
],
"confidence": 0.74,
"unresolved": false
}
```
すべての回答は再現可能であるべきです。同じ質問、同じ索引バージョン、同じ引用。自分の出力を再現できないシステムは、業務上擁護できません。
最初に適した範囲
最初のスプリントでは、1つの文書群と1つのチームに集中します。
承認済み文書を索引化する
自然文で検索する
引用付きの回答要約を返す
根拠スニペットを表示する
質問と不足文書を記録する
これにより、より多くのリポジトリへ広げる前に安全なパイロットができます。
最初のスプリントの実務的なベースライン構成:
取り込み。 1つの情報源(SharePoint、Google Drive、S3、ファイルサーバ)から取得し、必要に応じてOCR(Tesseract、Azure Document Intelligence、AWS Textract)を実行し、正規化済みMarkdownをオブジェクトストレージへ保存するワーカー。
チャンク分割。 見出し・段落・表を意識した分割で400〜800トークン。構造が崩れる場所のみオーバーラップ。元のページ番号、見出し、文書バージョンをチャンクとともに保存。
埋め込みと保存。 OpenAI `text-embedding-3-large` 等を使い、pgvectorまたはマネージドベクターDB(Pinecone、Weaviate、Qdrant)へ。生テキストとメタデータはPostgresに残し、チャンクを常に再構成可能にする。
検索。 ハイブリッド検索:BM25(Postgres全文検索またはOpenSearch)+ベクター類似度の合算、上位30件をリランカー(Cohere Rerank、またはクロスエンコーダ)で並べ直す。
生成。 上位5〜8チャンクを渡し、インライン引用必須で回答を作る小さなプロンプト。取得集合に存在しない `doc_id` を引用した出力は破棄する。
画面。 最小のNext.jsまたはStreamlitアプリで、回答、引用チップ、ホバーで引用チャンクのプレビューを表示。
アクセス制御は省略できません。各チャンクは元文書と同じ権限を持ち、検索段階で要求ユーザーの権限で必ずフィルタしてから生成へ渡します。「モデルが機密ファイルを要約してしまった」のほうが、「答えが見つからなかった」よりはるかに高くつくインシデントです。
測定すること
回答までの時間、引用の有用性、繰り返し質問、不足文書、利用者の信頼度を測ります。
パイロットで成立する具体的な指標:
引用精度。 返した引用のうち、本当にその主張を含むものの割合。最初の1か月は週50〜100件をハンドラベルで検証。
回答カバレッジ。 実際のユーザー質問のうち、有効な引用付き回答が出た割合と「わかりません」の割合。「わかりません」は機能であり、リグレッションではありません。追跡はしますが、ペナルティにしないこと。
未回答トピック上位。 未回答質問をクラスタリングする。これは文書コーパスの欠落であり、しばしば回答そのものより価値があります。
レビュアー上書き率。 専門家レビュアーがAI回答を読んだとき、編集/却下する頻度。下がっていれば信頼を獲得しています。
レイテンシ。 P50/P95を測る。中規模コーパスで、完全な引用付き回答が4〜6秒以内が現実的な目標。
根拠を信頼できれば、単なる検索ボックスではなく、実用的な社内アシスタントになります。そこに至る道は地味で具体的です。小さなコーパス、強い検索、必須の引用、見える失敗、毎週測定可能な改善ループ。