生成AIエンジニアLab

生成AIの最新技術を、ハンズオンで解き明かす実践ラボです。
次の一歩を描きながらAI時代のキャリアを模索する羅針盤を目指します。

カテゴリ： 生成AI

RAGの実装において、「検索精度の頭打ち」と「情報の鮮度・権限管理」は大きな課題です。
単一のベクトル検索だけでは、文脈が不足したチャンクを取り違えたり、権限外のドキュメントを参照したりするリスクがあります。
本記事では、この課題を解決するためのデータ構造設計（メタデータ設計）を解説します。

メタデータの「2つの扱い方」

メタデータ設計の最大の論点は、「メタデータを本文（ベクトル化対象）に含めるべきか否か」です。情報の性質によって以下の「レベル1」と「レベル2」を使い分けるのが良いでしょう。
続きを読む
コメント（0） このエントリーをはてなブックマークに追加

PDFファイルを参照するRAGシステムを構築する場合、PDFの前処理は重要です。その後のチャンク設計や検索品質に直結します。

一方でドキュメントの前処理の選択肢は急速に増えています。テキスト抽出、Doclingのような変換ツール、さらにLLMやVLMがPDFを直接解釈し、Markdownに変換するパターンも現実的な選択肢になっています。

そこで本記事では、READocの論文を参考に、RAG用途のPDF前処理の視点で代表的なツールを比較し、2025年時点での使い分けの指針を整理します。
続きを読む
コメント（0） このエントリーをはてなブックマークに追加

RAGは、LLMに外部ドキュメントを参照させることで、精度と信頼性を高める代表的なアーキテクチャです。その中核にあるのが「Embeddingモデルを使ったベクトル検索」です。
しかし、Embedding検索は構造的にできない領域があります。

この記事では、OpenAIの最新Embeddingを前提に、RAGにおけるEmbedding検索のできることとできないことを整理します。この記事を読み終えると、Embeddingでどこまで頑張れるのかがイメージできるようになるはずです。

※OpenAI の最新 Embedding（embedding-3 系）は詳細なアーキテクチャ非公開ですが、代表的な研究として、MSMARCOで23.4%改善したcpt-textというモデルがあります。続きを読む
コメント（0） このエントリーをはてなブックマークに追加

LangGraphは、複数の LLM呼び出しをグラフ構造で管理するためのライブラリです。ノード（関数）とエッジ（遷移条件）を組み合わせて、エージェントの思考フローを明示的に書けるのが特徴です。

Ollamaは、Gemma3などのLLMをローカル環境で簡単に実行できるツールです。従来はOpenAI APIなどのクラウドサービスに依存していたLLMを、完全にオフライン環境で動作させることが可能です。

本記事では、Ollamaで動かすローカルLLMとLangGraphを連携させ、「質問に応じて情報源を選び、最終回答を生成するミニAgent」を作ります。

続きを読む
コメント（0） このエントリーをはてなブックマークに追加

AIエージェント設計とは何か

AIエージェントとは、複雑なタスクや目標を達成するために、「必要な行動を自ら決定し、自ら実行する」システムのことを指します。

たとえばChatGPTも、必要に応じてネット検索を行って回答を生成しますが、企業でAIエージェントを活用する場合には、企業固有の情報を活用できなければ意味がありません。 業務マニュアルを検索したり、データベースを参照したり、業務的な観点で判断して回答することが求められます。

つまり、LLM（大規模言語モデル）を業務用途に特化した応答ができるように設計することがAIエージェントの設計業務です。

続きを読む
コメント（0） このエントリーをはてなブックマークに追加

↑このページのトップヘ