新規事業のつくり方

新しいことを学ぶことが好きです。今は機械学習や自然言語処理に興味があります。

カテゴリ： RAG

DeepSeek-R1-Distill（ローカルLLM）を用いたRAGの実装方法を解説します。

参考書籍：
LLMのファインチューニングとRAG ―チャットボット開発による実践―
LLMのファインチューニングとRAG ―チャットボット開発による実践―
新納浩幸
オーム社
2024-05-15


３つの基礎知識

ローカルLLMとは

ローカル LLMとは、クラウド環境ではなく、PCなどのローカル環境で稼働するLLMを指します。
推論時のインターネット接続が不要で、外部への情報漏洩リスクが少なく、API使用料がありません。小型モデルの場合、GPUと一定以上のメモリを持つPC（もしくはColab環境）を利用すれば無料で動かせます。
動作に必要なメモリ量は、7Bパラメータで8GB、14Bパラメータで16GBがざっくりの目安です。
続きを読む
このエントリーをはてなブックマークに追加

本記事では、Azure AI SearchとLangChainを使用して、Retrieval-Augmented Generation (RAG) システムを構築する方法を解説します。

RAGは生成AIの精度を向上させるための有力な技術であり、Azure AI Searchの強力な検索機能とLangChainの柔軟な処理フレームワークを組み合わせることで、効率的で高精度な情報検索と生成が可能になります。

Azure AI Searchとは

Azure AI Searchはクラウド型の検索サービスです。キーワード検索、ベクトル検索、ハイブリッド検索、セマンティック検索(ランク付け)を利用できます。

Azure AI Searchでは、インデックス内に複数のJSON形式のドキュメントを格納する形式でデータを保存します。インデックスは、フィールド名、データ型(String, Int, Double等)、フィールド属性(検索可能,フィルター可能,ソート可能,キー等)を設定して作成します。 
続きを読む
このエントリーをはてなブックマークに追加

OpenAIのRAG（Retrieval Augmented Generation、検索拡張生成）を紹介します。
RAGの手法により、企業の社内文書や最新ニュースなど、GPTが学習していない独自の知識を元に、回答することが可能です。

RAG(Retrieval Augmented Generation)とは

質問文に対し、検索した参考情報(Context)を付けてLLMに質問する仕組みがRAGです。RAGは質問タスクを、Contextの検索タスクに変換していると言えます。

RAGの典型的な処理の流れは、以下の通りです。
①外部データ準備：社内文書などの外部データを収集、前処理する。
②インデックス作成：収集した外部データを、チャンク分割、ベクトル化して検索システム（ベクトルDB）に登録する。
③検索：質問文をベクトル化して、類似度等で検索処理を行う。
④回答生成：検索結果と質問文を生成AIのプロンプトとしてに与えて、LLMに回答文書を生成させる。
続きを読む
このエントリーをはてなブックマークに追加

Azure AI Document Intelligenceを活用したLangChainとの連携によるRAG（Retrieval-Augmented Generation）の具体的な手順を解説します。本記事では、AI Document IntelligenceによるドキュメントのMarkdown変換と、LangChainを用いたチャンク分割の方法を中心にご紹介します。

Azure AI Document Intelligenceとは

Azure Document Inteligenceとは、pdf や画像ファイルから情報抽出するOCRサービスです。取得可能な情報として、テキスト、テーブル、段落、座標、レイアウト情報を抽出できます。一般的な文章の文字起こしや、領収書や請求書などの読み取りなど様々なデータの処理が可能です。

様々な事前学習済みのモデルが提供されており、例えばLayoutモデルを用いると、文書構造（レイアウト情報）を保ったまま、Markdown の形式で抽出することが可能です。
Markdown の形式で抽出し、#、##等の見出しで分割することで、セマンティックチャンキングが可能となります。

続きを読む
このエントリーをはてなブックマークに追加

RAGの評価フレームワークであるRAGASについて解説します。

RAGシステムの評価は人間の目視評価が主流

従来のRAG（Retrieval-Augmented Generation）システムの評価は、人間の目視評価が主流でした。生成された回答の品質を人間が個別に評価する手法です。しかし、このアプローチにはいくつかの課題があります。

目視評価の課題
・時間とコスト：大量のデータを評価するには多くの時間とコストがかかる
・一貫性の欠如：評価者間の主観的な違いにより、一貫した評価が難しい

これらの課題を解決するために、RAGを自動評価できるRagas（Retrieval augmented generation assessment）が登場しました。
続きを読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ