生成AIエンジニアLab

生成AIの最新技術を、ハンズオンで解き明かす実践ラボです。
次の一歩を描きながらAI時代のキャリアを模索する羅針盤を目指します。

カテゴリ： 生成AI

DeepSeek-R1は、中国のAI企業DeepSeekが開発した大規模言語モデルです。オープンソースですが、数学やコーディングのタスクで、OpenAI-o1と同等の性能を達成しています。

DeepSeek-R1には、蒸留された小型モデルがいくつか提供されてます。サイバーエージェントやLightblue社が、それぞれ日本語でファインチューニングを行い、Hugging Faceで公開してくれています。

今回は日本語でファインチューニングされたDeepSeek-R1の蒸留モデルのうち、パラメータ数が7B・14B・32Bのモデルについて、日本語の出力を比較しました。

利用環境：Google Colab（Python3, A100 GPU）

①7Bモデル（DeepSeek-R1-Distill-Qwen-7B-Japanese）

モデル概要

続きを読む
このエントリーをはてなブックマークに追加

OpenAIのRAG（Retrieval Augmented Generation、検索拡張生成）を紹介します。
RAGの手法により、企業の社内文書や最新ニュースなど、GPTが学習していない独自の知識を元に、回答することが可能です。

RAG(Retrieval Augmented Generation)とは

質問文に対し、検索した参考情報(Context)を付けてLLMに質問する仕組みがRAGです。RAGは質問タスクを、Contextの検索タスクに変換していると言えます。

RAGの典型的な処理の流れは、以下の通りです。
①外部データ準備：社内文書などの外部データを収集、前処理する。
②インデックス作成：収集した外部データを、チャンク分割、ベクトル化して検索システム（ベクトルDB）に登録する。
③検索：質問文をベクトル化して、類似度等で検索処理を行う。
④回答生成：検索結果と質問文を生成AIのプロンプトとしてに与えて、LLMに回答文書を生成させる。
続きを読む
このエントリーをはてなブックマークに追加

OpenAI APIのParallel function Callingを解説します。

LangChainとLangGraphによるRAG・AIエージェント［実践］入門 エンジニア選書
LangChainとLangGraphによるRAG・AIエージェント［実践］入門 エンジニア選書
大嶋 勇樹
技術評論社
2024-11-09


Parallel function callingとは

Function Callingとは、事前に関数のメタデータを定義（どのような時に使うか、引数は何か）して、Chat Completions APIをリクエストすると、OpenAI APIが関数を実行すると判断した場合、レスポンスに「関数名と引数」を含めたJSONオブジェクトが返却される機能です。

ユーザーの入力に応じて、必要な関数を自律的に判断できます。Chat Completions APIのtool_choice="auto"に設定すると、関数の呼び出しが不要とOpenAI APIが判断した場合、通常のGPTの回答が出力されます。

2023年11月に、Parallel function callingとしてバージョンアップし、OpenAI APIが複数の関数の呼び出しを返却することができるようになりました。

続きを読む
このエントリーをはてなブックマークに追加

RAGの評価フレームワークであるRAGASについて解説します。

RAGシステムの評価は人間の目視評価が主流

従来のRAG（Retrieval-Augmented Generation）システムの評価は、人間の目視評価が主流でした。生成された回答の品質を人間が個別に評価する手法です。しかし、このアプローチにはいくつかの課題があります。

目視評価の課題
・時間とコスト：大量のデータを評価するには多くの時間とコストがかかる
・一貫性の欠如：評価者間の主観的な違いにより、一貫した評価が難しい

これらの課題を解決するために、RAGを自動評価できるRagas（Retrieval augmented generation assessment）が登場しました。
続きを読む
このエントリーをはてなブックマークに追加

はじめに

クラウドエンジニアは、現代のIT業界で需要が高い職種の一つです。その中でも、Microsoft AzureとAmazon Web Services（AWS）は、世界的に広く使われているクラウドプラットフォームであり、多くの企業が採用しています。この記事では、AzureとAWSの特徴を比較しながら、初心者がどちらを学ぶべきかを考える際のポイントや、キャリアの方向性に応じた選択肢を解説します。

AzureとAWSの違い

1. 市場シェアと成長

  • AWSはクラウド市場で最大のシェアを持ち、特にスタートアップやテクノロジー企業で広く採用されています。

  • Azureは、エンタープライズ市場や大企業、金融業界で急速に成長しており、Microsoft製品との統合が強みです。

ざっくりですが、AWSは7割、Azureは3割程度の求人比率であり、AWSのほうが市場全体ではやや優勢ですが、Azureも、生成AI周りなど特定の業界で高い需要があります。

続きを読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ