「AIを業務に入れたいが、回答品質が心配で踏み込めない」という相談が、2026年に入ってから明確に増えています。Stanford大学のAI Index 2026では、主要な大規模言語モデル26種類について、誤った前提に追従してしまうタイプのハルシネーション（事実と異なる出力）発生率が22〜94%と幅広く報告され、用途や設計によって品質が大きくぶれることが改めて示されました。中小企業基盤整備機構が2026年3月に公表した実態調査でも、中小企業のAI導入率は20.4%、検討中を合わせて39.0%と前向きな一方で、「回答が正しいか不安」「業務に乗せる前のチェック方法がわからない」という声が並んでいます。
先に、この記事の要点をまとめます。
- AIの回答品質は、導入前に10項目のチェックで確かめられる。順番を間違えると「動くが信用できないAI」が残る
- 品質は「知識を絞るRAG・プロンプトの固定・人間レビュー」の3層で作る。モデル選定だけでは決まらない
- 評価は20問の質問セットから。正解・部分正解・誤り・回答拒否の4分類で数えるだけで輪郭が見える
このコラムは、AIを社内ナレッジや顧客対応に組み込む前に、経営者・情シス責任者・現場リーダーが必ず確認しておきたい10項目をまとめた、導入前チェックリストです。テストの順番を間違えると、「動くけれど信用できない」AIが社内に居続けることになります。
なぜ「回答品質」が経営課題になるのか？
AIの誤回答は会議資料・商談・契約書に紛れ込みます。訂正に割ける人員が少ない中小企業ほど被害が大きく、品質担保の有無がAI投資の成果を分けるからです。
AIの誤った回答は、単なる技術問題ではなく経営リスクです。実際に報じられている失敗パターンとして、社内会議資料に存在しない統計が引用される、商談中に提示した競合分析に事実誤認が含まれ受注機会を失う、契約書ドラフトに実在しない条文が混入する、といった失敗例が国内外で報告されています。中小企業の場合、誤情報を訂正する人員リソースが限られているため、被害が表面化したときの影響が相対的に大きくなります。
McKinseyの2025年調査では、生成AIの活用が全社EBIT（利払い・税引き前利益）に5%以上貢献している企業は約6%にとどまります。導入そのものではなく、「品質を担保した上で業務に組み込めているか」が成果を分けています。だからこそ、導入の初期段階で品質評価の物差しを持っておくことが必要です。
導入前に何を確認すべきか？——10項目チェックリスト
用途の絞り込み・正答の定義・評価セット・発生率の測定・出典提示・想定外対応・機密の境界・人のレビュー・改善サイクル・撤退基準の10項目です。上から順に確認します。
| # | 確認項目 | 何を見るか |
|---|---|---|
| 1 | 想定用途を1業務に絞れているか | 「とりあえずAI」ではなく、最初の1業務を文章で書けるか |
| 2 | 正答の定義があるか | 「正しい回答」とは何か、合否基準を人間が事前に文章化しているか |
| 3 | 評価用の質問セットを20問以上用意したか | 実務で実際に聞かれる質問を抽出しているか |
| 4 | ハルシネーションの発生率を測定したか | 評価セットに対し、誤情報の混入割合を数値で記録したか |
| 5 | 出典提示の有無を確認したか | 回答に根拠となる社内資料・URLを示せる設計か |
| 6 | 想定外の質問への振る舞いを決めたか | 「わかりません」と答えさせる範囲を定義しているか |
| 7 | 機密情報の境界を引けているか | 学習・送信してよい情報の範囲を社内で合意しているか |
| 8 | 業務上の判断を人がレビューする手順があるか | 最終確認者と差し戻しフローが決まっているか |
| 9 | ログと改善サイクルを設計したか | 誤回答が出たときに、誰がいつ修正するか決まっているか |
| 10 | 撤退基準を決めたか | 何%以下なら停止するか、何カ月で見直すかを書面化したか |
10項目すべてに自信を持って「はい」と答えられない場合、まだ全社展開のタイミングではありません。まずはAIツールで始めるスモールDXのように、1〜3業務に絞った小さな実証から始めるのが現実的です。ここからは、各項目を「なぜ必要か」「どう確認するか」の順で掘り下げます。
1. 想定用途を1業務に絞れているか
「とりあえずAIで何か」という状態では、良し悪しを判定する基準そのものが作れません。「経理規程に関する社内問い合わせの一次回答」のように、対象業務を1文で書けるかを確認します。書けなければ、ツール検討より業務の選定が先です。
2. 正答の定義があるか
同じ回答でも、要点が合っていれば正解とするのか、社内の言い回しまで一致させるのかで評価は変わります。測定を始める前に、「何をもって正しいとするか」を人間が文章にしておきます。ここが曖昧なままだと、後のすべての測定がぶれます。
3. 評価用の質問セットを20問以上用意したか
デモで数問試しただけの「良さそう」は、本番の質問のばらつきに耐えません。実務で実際に聞かれた質問から20問以上を抽出できているかを確認します。具体的な作り方は後述します。
4. ハルシネーションの発生率を測定したか
「たまに間違える気がする」という感覚ではなく、評価セットに対して誤情報が混ざった回答の割合を数値で記録します。この数値が、導入判断にも、項目10の撤退基準にも使う物差しになります。測っていなければ「品質を確認した」とは言えません。
5. 出典提示の有無を確認したか
回答に根拠となる社内資料やURLを示せる設計なら、利用者がその場で真偽を確かめられます。出典のない断定回答しか返せない構成は、業務利用ではリスクが高いと判断してください。
6. 想定外の質問への振る舞いを決めたか
何でも答えるAIより、「わかりません」「担当者に確認してください」と言えるAIのほうが業務では信頼されます。範囲外の質問に回答を拒否させる設計があるか、その範囲を自社で定義したかを確認します。
7. 機密情報の境界を引けているか
学習や送信に使ってよい情報の範囲を、社内で合意できているかです。個人情報・取引先情報・未公表の経営情報の扱いは、ツール選定より先に決める必要があります。社内ルールの整え方は中小企業のAI業務利用ルール整備6ステップが参考になります。
8. 業務上の判断を人がレビューする手順があるか
AIの出力を誰が確認し、問題があればどう差し戻すか。最終確認者の名前とフローが決まっているかを見ます。「みんなで気をつける」は手順ではありません。
9. ログと改善サイクルを設計したか
誤回答は必ず出ます。問題は、出たときに誰がいつ元資料やプロンプトを直すかが決まっているかどうかです。回答ログを残し、月次で見直す運用があるかを確認します。
10. 撤退基準を決めたか
「正答率が何%を下回ったら停止する」「何カ月後に継続可否を見直す」を書面にしておくと、使われないまま社内に残り続けるAIを抱え込む事態を避けられます。導入前に決めるからこそ効く項目です。
AI導入前チェック10項目の進め方フロー：想定用途の絞り込みから正答の定義・評価セット・発生率測定・出典提示・想定外対応・機密境界・人のレビュー・改善サイクル・撤退基準まで順に確認する
回答品質はどうやって作るのか？——3つの基本構造
「参照する知識を絞る（RAG）」「プロンプトで振る舞いを固定する」「人間のレビュー導線を残す」の3層です。モデルが優秀かどうかだけでは品質は決まりません。
1. 知識を絞る（RAG設計）
汎用モデルに何でも聞かせるのではなく、社内資料・規程・FAQに知識を限定して参照させる手法がRAG（検索拡張生成）です。社内文書RAGを受託で作るときに発注前に決めることもあわせて参考になります。資料をベクトル化して検索し、見つかった範囲だけを根拠に回答させることで、出力の根拠が明確になり、ハルシネーション抑制にもつながります。ゼットリンカーでも、製造業向けRAGシステムの構築のように、社内文書を根拠つきで参照する仕組みを受託で構築してきました。
2. プロンプトと役割を固定する
「親切に答える」だけでは品質はぶれます。「どの資料を優先するか」「答えられない場合は何と返すか」「専門用語をどう扱うか」「金額・法律・医療に関する内容は人間に振るか」など、振る舞いをプロンプトで明確に固定する必要があります。
3. 人間のレビュー導線を残す
特に顧客対応では、最終送信を人間が確認できる導線を残すことが基本です。AIに問い合わせ対応を任せる前に決めるべきことでも書いたとおり、AIは下書きを担当し、判断を人が担当する設計が現時点では最も事故が少ないです。自分で手順を考えて動くAIエージェントを業務に入れる場合はこの考え方がいっそう重要になるため、AIエージェントを業務に入れる前に知っておきたい失敗の理由と始め方もあわせてご覧ください。
社内ナレッジを学習させる前に何を整えるべきか？
最新版と旧版、決裁済みと検討中、社外公開可と社内のみ。この3つの線引きが最低限必要です。
「とりあえず社内資料を全部AIに食わせる」というアプローチは失敗しやすい代表例です。古い手順書、退職者の私的メモ、過去のキャンペーン案などが混ざっていると、AIはそれらを正解として学習・参照します。
ナレッジを学習させる前に必ず整理したいポイントは、AIナレッジBot導入前チェックリストに詳しくまとめています。あわせて、属人化したノウハウを資産に変える考え方は社員の頭の中にあるノウハウをAIナレッジで会社の資産に変える方法を参照してください。要点を先に挙げると、最新版と旧版の区別、決裁済みと検討中の区別、社外公開可と社内のみの区別、この3つの線引きが最低限必要です。
評価セットはどう作ればよいか？——20問から始める
実務の質問・曖昧な質問・範囲外の質問・古い情報の質問・言い換え質問の5種類を混ぜ、期待回答を先に人間が書いておきます。
回答品質を測るには、合否を判定できる質問セットが必要です。最低20問、できれば50問を用意します。
- 業務で実際に聞かれた質問（チャット、メール、電話メモから抽出）
- わざと曖昧にした質問（「あの件どうなった？」など）
- 範囲外の質問（医療・法律・金銭判断など、AIに任せたくない領域）
- 古い情報を聞く質問（廃止された制度や旧価格など）
- 同じ意図を別の言い回しで聞く質問（用語の揺れに耐えるか）
20問それぞれに「期待される回答の要点」を人間が先に書いておきます。AIの出力と突き合わせて、正解・部分正解・誤り・回答拒否の4分類で集計するだけで、品質の輪郭は見えてきます。
集計は難しく考える必要はありません。次のような分類表をスプレッドシートで作れば十分です。
| 判定 | 意味 | 例 |
|---|---|---|
| 正解 | 期待した要点をすべて満たす | 手順・担当・注意点まで正しい |
| 部分正解 | 要点の一部が欠落・不正確 | 手順は正しいが旧様式を案内している |
| 誤り | 事実と異なる内容を含む | 存在しない規程を引用する |
| 回答拒否 | 答えずに人への確認を促す | 範囲外の質問に「担当に確認してください」と返す |
範囲外の質問への「回答拒否」は、誤りではなく望ましい振る舞いとして数えます。この4分類の割合を記録しておくと、導入判断にも、項目10の撤退基準にもそのまま使えます。
自社で評価しきれないときはどうするか？
評価セット設計・RAG構築・ログ分析の実績がある開発会社に伴走を頼むのが現実的です。検証は1業務・1〜3カ月の小さな単位で切り出せます。
評価セットの作成、RAGの構造設計、プロンプトの調整、ログの分析を、すべて社内人員だけで進めるのは負担が大きいのも事実です。AI開発会社に伴走を依頼する場合は、評価セットの設計力・RAGの構築実績・運用ログの分析体制を備えているかを基準に選ぶのが安全です。
進め方の目安としては、評価セットの設計と検証環境の準備に2〜4週間、試験運用と測定に1〜3カ月です。その先、社内文書RAGを本格的にフルスクラッチで構築する場合は、初期300〜500万円・初期リリースまで約3〜5ヶ月が目安になります（※2026年7月時点のゼットリンカーの受託レンジに基づく目安。資料量・権限設計・連携範囲で変動します）。
ゼットリンカーでも、社内ナレッジ向けのよりどころベーすで、資料ごとの公開範囲管理、出典付き回答、回答ログの確認といった、品質に直結する機能を組み込んで提供しています。社内向けのナレッジ運用と、外向けの問い合わせ対応では設計の重みづけが変わるため、用途を分けて検討するのが現実的です。
CTA：品質を担保したAI導入を相談する
「AIを入れたいが、回答品質を担保できる自信がない」という段階こそ、外部の伴走者を入れる価値が大きいフェーズです。ゼットリンカーでは、評価セットの設計、RAGの構築、運用ログの監視まで含めた伴走をご相談いただけます。お問い合わせフォームから、現状の業務と検討中のユースケースをお聞かせください。
FAQ
Q. ハルシネーションをゼロにすることはできますか？
A. 現在の技術では完全にゼロにはなりません。ただし、参照知識を絞るRAG設計、プロンプトの厳格化、人間レビューの組み合わせにより、業務で許容できる水準まで下げることは可能です。「出さない」「人が必ず確認する」を選べる設計にしておくことが現実解です。
Q. どのモデルを使うかで品質はどれくらい変わりますか？
A. 用途によって差が出ます。Stanford AI Index 2026では主要モデルのハルシネーション率に大きな幅があると報告されています。ただし、業務用途では「モデル選定」よりも「知識の絞り方」と「プロンプト設計」のほうが、品質への寄与が大きい場面が多いです。
Q. 評価セットは一度作れば終わりですか？
A. 業務が変われば評価セットも変えます。月1回、ログを見て新しい質問パターンや誤回答パターンを追加するのが現実的です。3カ月放置すると、現場の質問と評価セットがずれてしまいます。
Q. 補助金は使えますか？
A. 旧IT導入補助金（現：デジタル化・AI導入補助金2026）は登録済みのパッケージツール導入が対象の中心で、フルスクラッチ開発はそのままでは対象になりにくい制度です。制度との付き合い方は2026年度のデジタル化・AI導入補助金でまとめています。
Q. 小さく始めるとはどの規模ですか？
A. 1業務、1チーム、20〜50問の評価セット、1〜3カ月の検証期間が目安です。最初から全社展開しないことが、品質を担保する一番の近道です。
運営・編集
株式会社ゼットリンカー