生成AIエンジニアLab

生成AIの最新技術を、ハンズオンで解き明かす実践ラボです。
次の一歩を描きながらAI時代のキャリアを模索する羅針盤を目指します。

カテゴリ: RAG

AIエージェント設計とは何か

AIエージェントとは、複雑なタスクや目標を達成するために、「必要な行動を自ら決定し、自ら実行する」システムのことを指します。

たとえばChatGPTも、必要に応じてネット検索を行って回答を生成しますが、企業でAIエージェントを活用する場合には、企業固有の情報を活用できなければ意味がありません。 業務マニュアルを検索したり、データベースを参照したり、業務的な観点で判断して回答することが求められます。

つまり、LLM(大規模言語モデル)を業務用途に特化した応答ができるように設計することがAIエージェントの設計業務です。

続きを読む

RAGの評価フレームワークであるRAGASについて解説します。

RAGシステムの評価は人間の目視評価が主流

従来のRAG(Retrieval-Augmented Generation)システムの評価は、人間の目視評価が主流でした。生成された回答の品質を人間が個別に評価する手法です。しかし、このアプローチにはいくつかの課題があります。

目視評価の課題
・時間とコスト:大量のデータを評価するには多くの時間とコストがかかる
・一貫性の欠如:評価者間の主観的な違いにより、一貫した評価が難しい

これらの課題を解決するために、RAGを自動評価できるRagas(Retrieval augmented generation assessment)が登場しました。
続きを読む

本記事では、Azure AI Document IntelligenceとLangChainを活用したRAG(Retrieval-Augmented Generation)の構築手順を解説します。
特に、AI Document IntelligenceによるドキュメントのMarkdown変換と、LangChainを用いたチャンク分割の方法をご紹介します。

Azure AI Document Intelligenceとは

Azure Document Inteligenceとは、pdf や画像ファイルから情報抽出するOCRサービスです。取得可能な情報として、テキスト、テーブル、段落、座標、レイアウト情報を抽出できます。一般的な文章の文字起こしや、領収書や請求書などの読み取りなど様々なデータの処理が可能です。

様々な事前学習済みのモデルが提供されており、例えばLayoutモデルを用いると、文書構造(レイアウト情報)を保ったまま、Markdown の形式で抽出することが可能です。
Markdown の形式で抽出し、#、##等の見出しで分割することで、セマンティックチャンキングが可能となります。

続きを読む

本記事では、Azure AI SearchとLangChainを使用して、RAGシステムを構築する方法を解説します。

RAGは生成AIの精度を向上させるための有力な技術であり、Azure AI Searchの強力な検索機能とLangChainを組み合わせることで、効率的で高精度な情報検索と生成が可能になります。

前の記事:Azure AI Document IntelligenceとLangChainを活用したRAGの実装

Azure AI Searchとは

Azure AI Searchはクラウド型の検索サービスです。キーワード検索、ベクトル検索、ハイブリッド検索、セマンティック検索(意味的な再ランク付け)を利用できます。

Azure AI Searchでは、インデックス内に複数のJSON形式のドキュメントを格納する形式でデータを保存します。インデックスは、フィールド名、データ型(String, Int, Double等)、フィールド属性(検索可能,フィルター可能,ソート可能,キー等)を設定して作成します。 
続きを読む

AIエージェントは、知識を事前学習に依存しがちですが、実際の業務や未知の環境では 「その場で学び、適応する力」 が求められます。

本記事では、NeurIPS 2024 に採択された論文「Mars: Situated Inductive Reasoning in an Open-World Environment」を取り上げ、AIエージェントにおけるメモリ設計の考え方を検討します。

Marsの提案 ― 経験を「ルール」と「スキル」に変換する

論文では、環境Marsを提案し、AIエージェントの手法として、Skill LibraryとInduction from Reflection(IfR)でルール抽出&活用を実施しています。その際、単に経験を記憶するのではなく、「抽象化」して再利用することに注目しています。

ルール(世界モデル):経験から導かれる一般的な因果関係
スキル(成功パターン):ゴール達成に有効だった手順

AIは「経験 → 抽象化 → 応用 → 失敗から修正 → 知識化」という学習サイクルを繰り返し、未知の状況でも柔軟に推論できるようになります。

続きを読む

↑このページのトップヘ