利用モデル：DeepSeek-R1-Distill-Qwen-14B-Japanese

RAG構築の具体的な解説

import requests
from bs4 import BeautifulSoup

# 青空文庫にリクエストしてHTMLを取得する
response = requests.get('https://www.aozora.gr.jp/cards/000879/files/43017_17431.html')

# レスポンスのHTMLからBeautifulSoupオブジェクトを作る
soup = BeautifulSoup(response.content, 'html.parser')

# 不要なタグを除去
for script_or_style in soup(['script']):
    script_or_style.extract()

# すべてのテキストを抽出
input_text = soup.get_text()

テキスト抽出後は、行ごとに分割し、各行の前後にある空白やタブ文字を取り除きます。その後、行の中にあるダブルスペースでも追加で分割し、不要な空白があれば取り除いています。最後に中身のあるテキストだけを\nで改行しながらまとめ、mikan.txtとして書き出しています。

# 行を分割して、前後の空白文字（スペース、タブ、改行など）を除去
split_lines = (single_line.strip() for single_line in input_text.splitlines())

# ダブルスペースで分割して前後の空白を削除
split_phrases = (phrase.strip() for single_line in split_lines for phrase in single_line.split("  "))

# 空ではないフレーズを改行でつなぐ
processed_text = '\n'.join(phrase for phrase in split_phrases if phrase)

# 前処理済みテキストをファイルに保存
output_text = 'mikan.txt'
with open(output_text, 'w', encoding='utf-8') as file:
    file.write(processed_text)

print(output_text,"に出力しました")

2. テキスト分割とベクトル化

テキストが整形できたら、LangChainのRecursiveCharacterTextSplitterを用いて、テキストを小さなチャンクに分割します。1チャンク200文字とし、前のチャンクと次のチャンクが20文字だけ重なるよう指定しています。こうすることで、長めの文がチャンクの境界で分断されたときでも、ある程度文脈を保ちやすくなります。

with open('mikan.txt','r',encoding='utf-8') as f:
    text = f.read()

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size = 200,   # チャンクの文字数
    chunk_overlap  = 20,  # チャンクオーバーラップの文字数
)

texts = text_splitter.split_text(text)

from langchain.embeddings import HuggingFaceEmbeddings

# Hugging Faceの埋め込みモデルE5を設定
embeddings = HuggingFaceEmbeddings(
    model_name = "intfloat/multilingual-e5-large",
    model_kwargs = {'device':'cuda:0'},
    encode_kwargs = {'normalize_embeddings': False}
)

3. FAISSへの格納とRetrieverの構築

# LangChainコミュニティ版のFAISS VectorStoreをimport
from langchain_community.vectorstores import FAISS

# 文字列リストをベクトル化して、FAISSのインデックスを作成（ベクトルストア作成）
db = FAISS.from_texts(texts, embeddings)

# FAISSのインデックスをローカル保存
db.save_local('mikan.db')

# ローカル保存したFAISSインデックスの読み込み
db = FAISS.load_local('mikan.db',embeddings, allow_dangerous_deserialization=True)

最後に、db.as_retriever()メソッドを呼ぶことで、このFAISSインデックスを「Retriever」と呼ばれる検索器として取り扱えるようにしています。ここでは、検索キーワード（ユーザの質問）に対して類似度が高いものを上位3件返す設定をしています。

#  類似文書上位3件を取得できる検索器の構築
retriever = db.as_retriever(search_kwargs={'k':3})

# 検索のお試し実行
docs = retriever.get_relevant_documents("小娘が汽車から投げた果物は何ですか？")

4. DeepSeek-R1のロードとRetrievalQAチェーンの構築

DeepSeek-R1の14Bパラメータ版をHugging Faceからロードします。次に、transformersのpipelineを使って推論パイプラインを組み立てたら、max_new_tokens=128やtemperature=0.01といった設定で応答の長さやランダム性の度合いを調整します。

import torch
from transformers import pipeline
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

#  モデルの準備
model = AutoModelForCausalLM.from_pretrained("cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese", device_map="auto", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.01,
    repetition_penalty=2.0,
)

Retrieverから取得したテキストと、プロンプトを用意します。

#  プロンプトの準備
template  = """
コンテキストを理解し、400文字以内で回答してください。

コンテキスト: {context}

質問: {question}

回答:
"""

from langchain.prompts import PromptTemplate

prompt = PromptTemplate(
    template=template,
    input_variables=["context", "question"],
    template_format="f-string"
)

次に、LangChainのRetrievalQAチェーンを構築します。内部では、Retrieverによって検索されたテキストをLLMに渡す仕組みが組み込まれています。このとき、chain_type="stuff"を選ぶと、複数の関連文書をシンプルにひとつにまとめて入力として渡す形になります。これでRAGの構築が完了しました。

from langchain.chains import RetrievalQA
from langchain_huggingface import HuggingFacePipeline

#  RetrievalQAチェーン作成
qa = RetrievalQA.from_chain_type(
    llm=HuggingFacePipeline(pipeline=pipe),
    retriever=retriever,
    chain_type="stuff",
    chain_type_kwargs={"prompt": prompt},
    verbose=True,
)

5. クエリからRAGの実行

それでは、構築したRAGシステムに質問をしてみます。qa.invoke(query)に質問文を渡すと、内部でRetrieverが関連度の高い文章を検索し、そのテキストをプロンプトと組み合わせてDeepSeek-R1が回答を生成します。

#  実行例
query = "小娘が汽車から投げた果物は何ですか？"
answer = qa.invoke(query)
print(answer['result'])

#出力例
"""
答え：みかん
"""

まとめ