AIエージェントの評価方法を解説します。

目次

【第Ⅰ～Ⅲ部】振り返り

続きを読む

AIエージェントの評価方法と評価指標を解説します。

目次※本記事では、第Ⅲ部まで解説します。

【第Ⅰ部】基礎：AIの評価は新人研修と同じ

AIエージェントの評価は、「新入社員の研修期間」に例えると、直感的に理解できます。
従来のソフトウェアテスト（バグがないか確認すること）とは少し違う、エージェント特有の評価の全体像を解説します。
続きを読む

RAGは、LLMに外部ドキュメントを参照させることで、精度と信頼性を高める代表的なアーキテクチャです。その中核にあるのが「Embeddingモデルを使ったベクトル検索」です。
しかし、Embedding検索は構造的にできない領域があります。

この記事では、OpenAIの最新Embeddingを前提に、RAGにおけるEmbedding検索のできることとできないことを整理します。この記事を読み終えると、Embeddingでどこまで頑張れるのかがイメージできるようになるはずです。

※OpenAI の最新 Embedding（embedding-3 系）は詳細なアーキテクチャ非公開ですが、代表的な研究として、MSMARCOで23.4%改善したcpt-textというモデルがあります。続きを読む

LangGraphは、複数の LLM呼び出しをグラフ構造で管理するためのライブラリです。ノード（関数）とエッジ（遷移条件）を組み合わせて、エージェントの思考フローを明示的に書けるのが特徴です。

Ollamaは、Gemma3などのLLMをローカル環境で簡単に実行できるツールです。従来はOpenAI APIなどのクラウドサービスに依存していたLLMを、完全にオフライン環境で動作させることが可能です。

本記事では、Ollamaで動かすローカルLLMとLangGraphを連携させ、「質問に応じて情報源を選び、最終回答を生成するミニAgent」を作ります。

続きを読む

「AIを使って稼ぎたい。でも何をやればいいのか分からない…」
そんな悩みを持つあなたに向けて、ローカルLLMを利用した“副業アイデア製造機”を作ってみました。

ローカルLLMには、Gemma3を採用しました。Gemma3は軽量なローカルLLMでありながら、Chatbot Arenaでo1-previewモデルより上位の評価を受けています。人間の評価において、最新のクラウド型モデルと遜色ない会話ができます。また、短いトークン数での文章理解や知識蒸留で工夫されており、メモリ効率が極めて高いことが特徴です。

本アプリは、あなたのパソコン上で、Gemma3モデル２機が、Streamlit上で自動対話させることで、【ひらめき → 深掘り → 要約】をループしながら、アイデアを連続で生み出します。

この記事では、副業アイデア製造機の使い方を解説します。

続きを読む

AIエージェント設計とは何か

AIエージェントとは、複雑なタスクや目標を達成するために、「必要な行動を自ら決定し、自ら実行する」システムのことを指します。

たとえばChatGPTも、必要に応じてネット検索を行って回答を生成しますが、企業でAIエージェントを活用する場合には、企業固有の情報を活用できなければ意味がありません。 業務マニュアルを検索したり、データベースを参照したり、業務的な観点で判断して回答することが求められます。

つまり、LLM（大規模言語モデル）を業務用途に特化した応答ができるように設計することがAIエージェントの設計業務です。

続きを読む

続きを読む

続きを読む