RAGの回答品質を確認する評価表と記入例

現場の質問で、変更前後を比べる

同じ質問、同じ対象文書、同じ利用者権限で変更前後を比較すると、どの変更が改善につながったかを振り返れます。質問と期待する参照資料を先に決め、結果を見てから合格条件を変えないよう記録します。

以下は評価方法を説明するための架空の例です。実案件の検証結果や改善率ではありません。

回答の正しさ、根拠資料の妥当性、権限、所要時間、回答不能時の動作を分けて記録します。たとえば、文章が自然でも参照資料が旧版なら、業務で使えるとは判断できません。権限違反は平均点に埋めず、公開判断の条件として別に扱います。

失敗例に合わせた変更が、他の質問を悪化させることもあります。改善に使った質問に加え、別の質問や対象文書でも確認します。評価日、構成の版、質問数、判定者、判定ルールを残すと、文書更新後も比較できます。

回答品質の評価と業務効果は別に測定します。検索時間、詳しい人への問い合わせ回数、再確認の手間、利用されなかった理由を記録してください。数値を公表するときは対象人数・期間・測定方法も添え、聞き取りによる感想と実測を区別します。

当社へのご相談では、うまく答えられなかった質問をいくつか挙げていただけると、確認すべき箇所を整理しやすくなります。内容に機密情報が含まれる場合は、まず情報の種類と困りごとだけをお知らせください。

検討シートとAI相談用プロンプト

分かる項目を記入。未定・未測定・未確認も、そのまま残せます。

プロンプトをコピーして、お使いのAIに貼り付けて相談。

AIがまとめた相談文を確認し、お問い合わせ欄へ貼り付け。

AIを使わず、そのままご相談いただくこともできます。実名・個人情報・パスワード・機密資料は記入せず、AIに共有できる範囲でお使いください。

記入用シート

入力内容は自動送信・自動保存されません。ページを離れる前にコピーまたは保存してください。

AIに貼り付けるプロンプト

上の記入内容を反映します。AIが質問をしながら、社内説明と問い合わせの文章を整理できるようにしています。回答の事実関係はご自身で確認してください。

まとまっていなくても、お気軽にご相談ください。

「何から始めればよいか分からない」「この進め方でよいか聞きたい」だけでも大丈夫です。シートの完成、仕様書、予算の確定は必要ありません。

いま困っていることを伺い、必要な確認事項と次の進め方を一緒に整理します。モックは、そのまま使用できる程度まで作り込んだ画面で認識を合わせるためのものです。対象範囲や本番利用に必要な対応は、ご相談時に確認します。

いまの状況から無料で相談する →

ガイドの記入内容は自動で送られません。共有したい部分だけお問い合わせ欄に貼り付けてください。