生成AIエンジニアLab

生成AIの最新技術を、ハンズオンで解き明かす実践ラボです。
次の一歩を描きながらAI時代のキャリアを模索する羅針盤を目指します。

カテゴリ： RAG

RAGの実装において、「検索精度の頭打ち」と「情報の鮮度・権限管理」は大きな課題です。
単一のベクトル検索だけでは、文脈が不足したチャンクを取り違えたり、権限外のドキュメントを参照したりするリスクがあります。
本記事では、この課題を解決するためのデータ構造設計（メタデータ設計）を解説します。

メタデータの「2つの扱い方」

メタデータ設計の最大の論点は、「メタデータを本文（ベクトル化対象）に含めるべきか否か」です。情報の性質によって以下の「レベル1」と「レベル2」を使い分けるのが良いでしょう。
続きを読む
コメント（0） このエントリーをはてなブックマークに追加

PDFファイルを参照するRAGシステムを構築する場合、PDFの前処理は重要です。その後のチャンク設計や検索品質に直結します。

一方でドキュメントの前処理の選択肢は急速に増えています。テキスト抽出、Doclingのような変換ツール、さらにLLMやVLMがPDFを直接解釈し、Markdownに変換するパターンも現実的な選択肢になっています。

そこで本記事では、READocの論文を参考に、RAG用途のPDF前処理の視点で代表的なツールを比較し、2025年時点での使い分けの指針を整理します。
続きを読む
コメント（0） このエントリーをはてなブックマークに追加

RAGは、LLMに外部ドキュメントを参照させることで、精度と信頼性を高める代表的なアーキテクチャです。その中核にあるのが「Embeddingモデルを使ったベクトル検索」です。
しかし、Embedding検索は構造的にできない領域があります。

この記事では、OpenAIの最新Embeddingを前提に、RAGにおけるEmbedding検索のできることとできないことを整理します。この記事を読み終えると、Embeddingでどこまで頑張れるのかがイメージできるようになるはずです。

※OpenAI の最新 Embedding（embedding-3 系）は詳細なアーキテクチャ非公開ですが、代表的な研究として、MSMARCOで23.4%改善したcpt-textというモデルがあります。続きを読む
コメント（0） このエントリーをはてなブックマークに追加

AIエージェント設計とは何か

AIエージェントとは、複雑なタスクや目標を達成するために、「必要な行動を自ら決定し、自ら実行する」システムのことを指します。

たとえばChatGPTも、必要に応じてネット検索を行って回答を生成しますが、企業でAIエージェントを活用する場合には、企業固有の情報を活用できなければ意味がありません。 業務マニュアルを検索したり、データベースを参照したり、業務的な観点で判断して回答することが求められます。

つまり、LLM（大規模言語モデル）を業務用途に特化した応答ができるように設計することがAIエージェントの設計業務です。

続きを読む
コメント（0） このエントリーをはてなブックマークに追加

RAGの評価フレームワークであるRAGASについて解説します。

RAGシステムの評価は人間の目視評価が主流

従来のRAG（Retrieval-Augmented Generation）システムの評価は、人間の目視評価が主流でした。生成された回答の品質を人間が個別に評価する手法です。しかし、このアプローチにはいくつかの課題があります。

目視評価の課題
・時間とコスト：大量のデータを評価するには多くの時間とコストがかかる
・一貫性の欠如：評価者間の主観的な違いにより、一貫した評価が難しい

これらの課題を解決するために、RAGを自動評価できるRagas（Retrieval augmented generation assessment）が登場しました。
続きを読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ