RAGチャットボット導入の基盤構築

担当業務

• RAG導入前チャットボットの評価基盤の構築
• RAGASを用いた評価コード実装およびスコアリングの実施
• 評価結果の整理および性能傾向の分析

コメント

「このチャットボット、本当に使えるのか」——そこに答えを出すところから始めた案件です。

RAG導入前の段階で、まず現状の応答品質を数値で把握する必要がありました。評価フレームワーク（RAGAS）を用いた評価コードをゼロから実装し、複数の指標でスコアリングを実施。結果を整理・分析することで、どこが強くどこに改善余地があるかを可視化しました。

ただ動かすだけでなく、「RAG導入後と比較できる基盤」として設計したことがポイントです。コードを再利用可能な形で整備したことで、今後の性能改善サイクルを仕組みとして回せる状態を作りました。

感覚ではなくデータで意思決定できる環境を整えた案件です。