本記事では、Azure AI Document IntelligenceとLangChainを活用したRAG（Retrieval-Augmented Generation）の構築手順を解説します。
特に、AI Document IntelligenceによるドキュメントのMarkdown変換と、LangChainを用いたチャンク分割の方法をご紹介します。

Azure AI Document Intelligenceとは

ローカル LLMとは、クラウド環境ではなく、PCなどのローカル環境で稼働するLLMを指します。

推論時のインターネット接続が不要で、外部への情報漏洩リスクが少なく、API使用料がありません。小型モデルの場合、GPUと一定以上のメモリを持つPC（もしくはColab環境）を利用すれば無料で動かせます。
動作に必要なメモリ量は、7Bパラメータで8GB、14Bパラメータで16GBがざっくりの目安です。

OpenAIのRAG（Retrieval Augmented Generation、検索拡張生成）を紹介します。

RAGの手法により、企業の社内文書や最新ニュースなど、GPTが学習していない独自の知識を元に、回答することが可能です。

質問文に対し、検索した参考情報(Context)を付けてLLMに質問する仕組みがRAGです。RAGは質問タスクを、Contextの検索タスクに変換していると言えます。

RAGの典型的な処理の流れは、以下の通りです。