生成AIエンジニアLab

生成AIの最新技術を、ハンズオンで解き明かす実践ラボです。
次の一歩を描きながらAI時代のキャリアを模索する羅針盤を目指します。

カテゴリ： 生成AI

RAGの評価フレームワークであるRAGASについて解説します。

RAGシステムの評価は人間の目視評価が主流

従来のRAG（Retrieval-Augmented Generation）システムの評価は、人間の目視評価が主流でした。生成された回答の品質を人間が個別に評価する手法です。しかし、このアプローチにはいくつかの課題があります。

目視評価の課題
・時間とコスト：大量のデータを評価するには多くの時間とコストがかかる
・一貫性の欠如：評価者間の主観的な違いにより、一貫した評価が難しい

これらの課題を解決するために、RAGを自動評価できるRagas（Retrieval augmented generation assessment）が登場しました。
続きを読む
このエントリーをはてなブックマークに追加

本記事では、Azure AI Document IntelligenceとLangChainを活用したRAG（Retrieval-Augmented Generation）の構築手順を解説します。
特に、AI Document IntelligenceによるドキュメントのMarkdown変換と、LangChainを用いたチャンク分割の方法をご紹介します。

Azure AI Document Intelligenceとは

Azure Document Inteligenceとは、pdf や画像ファイルから情報抽出するOCRサービスです。取得可能な情報として、テキスト、テーブル、段落、座標、レイアウト情報を抽出できます。一般的な文章の文字起こしや、領収書や請求書などの読み取りなど様々なデータの処理が可能です。

様々な事前学習済みのモデルが提供されており、例えばLayoutモデルを用いると、文書構造（レイアウト情報）を保ったまま、Markdown の形式で抽出することが可能です。
Markdown の形式で抽出し、#、##等の見出しで分割することで、セマンティックチャンキングが可能となります。

続きを読む
このエントリーをはてなブックマークに追加

本記事では、Azure AI SearchとLangChainを使用して、RAGシステムを構築する方法を解説します。

RAGは生成AIの精度を向上させるための有力な技術であり、Azure AI Searchの強力な検索機能とLangChainを組み合わせることで、効率的で高精度な情報検索と生成が可能になります。

前の記事：Azure AI Document IntelligenceとLangChainを活用したRAGの実装

Azure AI Searchとは

Azure AI Searchはクラウド型の検索サービスです。キーワード検索、ベクトル検索、ハイブリッド検索、セマンティック検索(意味的な再ランク付け)を利用できます。

Azure AI Searchでは、インデックス内に複数のJSON形式のドキュメントを格納する形式でデータを保存します。インデックスは、フィールド名、データ型(String, Int, Double等)、フィールド属性(検索可能,フィルター可能,ソート可能,キー等)を設定して作成します。 
続きを読む
このエントリーをはてなブックマークに追加

本記事は、IT業界未経験で転職を考えている人向けの記事です。

最近のChatGPTなどの生成AIの発展を見て、IT業界に興味を持ち、転職を考えられている方もいらっしゃるかと思います。

ただ、IT業界の仕事について、「そもそも自分に向いてるのかな？」と不安に思うこともあるかもしれません。ここでは、これからIT業界で活躍できるかどうかの判断軸を、整理してみました。転職を考える際の判断の参考にしてください。

参考記事：未経験から生成AIエンジニアになる方法
続きを読む
このエントリーをはてなブックマークに追加

生成AIの急速な発展により、プログラム未経験者から生成AIエンジニアとしてのキャリアを築けるチャンスが広がっています。本記事では、現役の生成AIエンジニアが、現在の市場環境を概観し、未経験から生成AIエンジニアになる方法を解説します。

生成AIの市場規模は急拡大する

電子情報技術産業協会（JEITA）によると、生成 AI 市場の世界需要額は年平均 53.3%(日本は47.2%)で成長し、2030 年には 2,110億ドル(日本は1.8兆円)となる見込みです。

参考記事：JEITA、生成 AI 市場の世界需要額見通しを発表

市場規模の内訳は、生成AI関連アプリケーションが圧倒的に多く(世界で92%,日本で86%)、基盤モデルを搭載したシステム開発のニーズが今後急激に増加すると考えられます。

2030年までの7年間で、市場規模が15~20倍になるというのは凄まじく、生成AIを開発・活用する企業が増加することは確実で、生成AIエンジニアの需要も高まっていくでしょう。
続きを読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ