ペンシルベニア大学 · Chris Callison-Burch 教授 · 2025年5月 – 2025年8月
DARPA SciFy と OpenScholar のための検索拡張生成（RAG）
DARPA SciFy と OpenScholar における科学的質問応答を対象に、検索拡張生成（RAG）ワークフローを設計・評価しました。リトリーバーのランキング品質と再現可能な評価に重点を置いています。
貢献
- 密ベクトル検索（dense retriever）の上にスコアベースのフィルタリングを実装し、生成器に渡される無関係なコンテキストを削減。
- ドメインデータセットを整備・標準化し、リトリーバーや生成器を差し替えても同一のエビデンスプール上で評価できるようにした。
- 再利用可能な学習・評価スクリプトとラボ向けドキュメントを作成し、他の研究者が結果を再現できるようにした。
手法
- 対照学習によるリトリーバーのファインチューニング
- スコアベースのパッセージフィルタリング
- RAG 評価ハーネス
- ドメインデータセットのキュレーション
PythonPyTorchHugging FaceRetrievalRAGNLP