新規事業のつくり方

新しいことを学ぶことが好きです。今は機械学習や自然言語処理に興味があります。

カテゴリ: LLM(大規模言語モデル)

RAGの評価フレームワークであるRAGASについて解説します。

RAGシステムの評価は人間の目視評価が主流

従来のRAG(Retrieval-Augmented Generation)システムの評価は、人間の目視評価が主流でした。生成された回答の品質を人間が個別に評価する手法です。しかし、このアプローチにはいくつかの課題があります。

目視評価の課題
・時間とコスト:大量のデータを評価するには多くの時間とコストがかかる
・一貫性の欠如:評価者間の主観的な違いにより、一貫した評価が難しい

これらの課題を解決するために、RAGを自動評価できるRagas(Retrieval augmented generation assessment)が登場しました。
続きを読む

生成AIの急速な発展により、未経験者でも生成AIエンジニアとしてのキャリアを築けるチャンスが広がっています。本記事では、現役の生成AIエンジニアが、現在の市場環境を解説し、未経験から生成AIエンジニアになる方法を解説します。

生成AIの市場規模は急拡大する

電子情報技術産業協会(JEITA)によると、生成 AI 市場の世界需要額は年平均 53.3%(日本は47.2%)で成長し、2030 年には 2,110億ドル(日本は1.8兆円)となる見込みです。

参考記事:JEITA、生成 AI 市場の世界需要額見通しを発表

市場規模の内訳は、生成AI関連アプリケーションが圧倒的に多く(世界で92%,日本で86%)、基盤モデルを搭載したシステム開発のニーズが今後急激に増加すると考えられます。

2030年までの7年間で、市場規模が15~20倍になるというのは凄まじく、生成AIを開発・活用する企業が増加することは確実で、生成AIエンジニアの需要も高まっていくでしょう。

続きを読む

OpenAIのRAG(Retrieval Augmented Generation、検索拡張生成)を紹介します。
RAGの手法により、企業の社内文書や最新ニュースなど、GPTが学習していない独自の知識を元に、回答することが可能です。

RAG(Retrieval Augmented Generation)とは

質問文に対し、検索した参考情報(Context)を付けてLLMに質問する仕組みがRAGです。RAGは質問タスクを、Contextの要約タスクに変換していると言えます。

RAGは、「DB登録」「検索」「生成」の3つのステップを経て、質問に対する答えを生成します。
「DB登録」では、社内文書を分割(チャンク)してベクトルDBに格納します。ベクトル化にはLLMが用いられることが多いです。
「検索」では、質問文との類似度を検索(Retrieval)し、関連文書を抽出します。
「生成」では、抽出した関連文書を元に、LLMが自然な回答文章を作ります。
続きを読む

OpenAI APIのParallel function Callingを解説します。特定の関数やメソッドを呼び出させる機能です。AIとプログラミングの融合って感じです。



Parallel function callingとは

Function Callingとは、事前に関数のメタデータを定義(どのような時に使うか、引数は何か)して、Chat Completions APIをリクエストすると、OpenAI APIが関数を実行すると判断した場合、レスポンスに「関数名と引数」を含めたJSONオブジェクトが返却される機能です。

ユーザーの入力に応じて、必要な関数を自律的に判断できます。Chat Completions APIのtool_choice="auto"に設定すると、関数の呼び出しが不要とOpenAI APIが判断した場合、通常のGPTの回答が出力されます。

2023年11月に、Parallel function callingとしてバージョンアップし、OpenAI APIが複数の関数の呼び出しを返却することができるようになりました。

続きを読む

Azure OpenAI Service上のGPT-4を、Pythonから利用する方法を解説します。

Azure OpenAI Serviceは、OpenAIのChatGPTやGPT-4などのモデルを、Microsoft Azure環境で利用できるサービスです。

開発者は、GPTモデルをREST APIとして利用できます。タスクとしては、テキスト生成、質問応答、文章要約、感情分析などが実現できます。また、Azureの拡張性とセキュリティ機能を利用することで、企業向けの開発が可能です。

Azure OpenAI Serviceを利用するためには、Azureサブスクリプションの登録に加え、「Azure OpenAI Serviceのアクセス申請」が必要になります。
(追記:2023年9月に、GPT-4のWaiting Listの申請が不要になりました)続きを読む

↑このページのトップヘ