新規事業のつくり方

新しいことを学ぶことが好きです。今は機械学習や自然言語処理に興味があります。

本気でAI人材になりたい！高年収で将来性が非常に高いAIエンジニア職に就きたい！

現在の仕事に不満があったり、キャリアの停滞感を感じているなら、このページで紹介する転職サービスは必見です。ここでは、現役のAIエンジニアが市場動向を分析し、選ぶ使いやすい転職サイト・転職エージェントを厳選してご紹介します。

目次
AI業界の待遇を概観する
生成AI市場の急成長と高値で売れる経験
AIエンジニアは激務なのか
AIエンジニアの将来性
AIエンジニアになるメリット
転職エージェントを活用して効率的に転職しよう
AIエンジニア向け転職エージェント選びのコツ
転職サイト・転職エージェントを利用する時期は？
おすすめの転職サイト・転職エージェント
　「現職ITエンジニアの年収アップをサポート！」TechClipsエージェント
　「手厚いサポートと情報量で満足度No.1！」 : マイナビIT AGENT
おわりに
続きを読む
このエントリーをはてなブックマークに追加

本記事では、Azure AI SearchとLangChainを使用して、Retrieval-Augmented Generation (RAG) システムを構築する方法を解説します。

RAGは生成AIの精度を向上させるための有力な技術であり、Azure AI Searchの強力な検索機能とLangChainの柔軟な処理フレームワークを組み合わせることで、効率的で高精度な情報検索と生成が可能になります。

Azure AI Searchとは

Azure AI Searchはクラウド型の検索サービスです。全文検索、ベクトル検索、ハイブリッド検索、セマンティック検索( ランク付け)を利用できます。

Azure AI Searchでは、インデックス内に複数のJSON形式のドキュメントを格納する形式でデータを保存します。インデックスでは、フィールド名、データ型(String, Int, Double等)、フィールド属性(取得可能,フィルター可能,ソート可能,キー等)を設定して作成できます。 
続きを読む
このエントリーをはてなブックマークに追加

生成AIは、時々間違った情報を作り出してしまうことがあります。これを「ハルシネーション」と呼びます。この記事では、ハルシネーションがどうして起こるのか、そしてそれを防ぐ方法を説明します。

ハルシネーションが起こる理由

ハルシネーションは、大きく3つの原因で起こります。

1. LLMの学習データが原因

LLMの学習データが、ハルシネーションの大きな原因になります。

誤情報の含有: LLMが学習するデータに古い情報や誤った情報が含まれている場合、モデルはその情報を学習し、誤った答えを生成することがあります。LLMはデータ内のパターンを学習するため、誤情報であってもそれを再現してしまう可能性があります。

知識の限界: LLMが学習するデータに特定分野の知識が十分に含まれていない場合、正確な答えを出せないことがあります。この場合、モデルは他の類似した情報に基づいて推測するため、誤った情報を生成するリスクが高まります。
続きを読む
このエントリーをはてなブックマークに追加

RAG (Retrieval Augmented Generation) システムの設計における失敗ポイントと、ケーススタディから得られた教訓を報告されている論文を紹介します。

タイトル：Seven Failure Points When Engineering a Retrieval Augmented Generation System

RAGシステムが失敗する理由

一般的にRAGシステムの精度が低い原因は、検索に起因する部分が大きいと言われています。RAGは、ユーザーのクエリから検索するわけですが、クエリが曖昧だと解釈が難しいですし、一方複雑なクエリも、それはそれで正確に回答するのは難しいです。

また、参照するドキュメントも様々な落とし穴があります。ドキュメントが章ごとに分かれており、内容が正しく、明確な文章で記載されていれば問題ありません。しかし、情報が古かったり、ドキュメントの形式がばらばらだったり、ページ構成が複雑だと、検索で引っ掛けるのが難しくなります。
続きを読む
このエントリーをはてなブックマークに追加

Azure AI Document Intelligenceを活用したLangChainとの連携によるRAG（Retrieval-Augmented Generation）の具体的な手順を解説します。本記事では、AI Document IntelligenceによるドキュメントのMarkdown変換と、LangChainを用いたチャンク分割の方法を中心にご紹介します。

Azure AI Document Intelligenceとは

Azure Document Inteligenceとは、pdf や画像ファイルから情報抽出するOCRサービスです。取得可能な情報として、テキスト、テーブル、段落、座標、レイアウト情報を抽出できます。一般的な文章の文字起こしや、領収書や請求書などの読み取りなど様々なデータの処理が可能です。

様々な事前学習済みのモデルが提供されており、例えばLayoutモデルを用いると、文書構造（レイアウト情報）を保ったまま、Markdown の形式で抽出することが可能です。
Markdown の形式で抽出し、#、##等の見出しで分割することで、セマンティックチャンキングが可能となります。

続きを読む
このエントリーをはてなブックマークに追加

RAGの評価フレームワークであるRAGASについて解説します。

RAGシステムの評価は人間の目視評価が主流

従来のRAG（Retrieval-Augmented Generation）システムの評価は、人間の目視評価が主流でした。生成された回答の品質を人間が個別に評価する手法です。しかし、このアプローチにはいくつかの課題があります。

目視評価の課題
・時間とコスト：大量のデータを評価するには多くの時間とコストがかかる
・一貫性の欠如：評価者間の主観的な違いにより、一貫した評価が難しい

これらの課題を解決するために、RAGを自動評価できるRagas（Retrieval augmented generation assessment）が登場しました。
続きを読む
このエントリーをはてなブックマークに追加

生成AIの急速な発展により、未経験者でも生成AIエンジニアとしてのキャリアを築けるチャンスが広がっています。本記事では、現役の生成AIエンジニアが、現在の市場環境を解説し、未経験から生成AIエンジニアになる方法を解説します。

生成AIの市場規模は急拡大する

電子情報技術産業協会（JEITA）によると、生成 AI 市場の世界需要額は年平均 53.3%(日本は47.2%)で成長し、2030 年には 2,110億ドル(日本は1.8兆円)となる見込みです。

参考記事：JEITA、生成 AI 市場の世界需要額見通しを発表

市場規模の内訳は、生成AI関連アプリケーションが圧倒的に多く(世界で92%,日本で86%)、基盤モデルを搭載したシステム開発のニーズが今後急激に増加すると考えられます。

2030年までの7年間で、市場規模が15~20倍になるというのは凄まじく、生成AIを開発・活用する企業が増加することは確実で、生成AIエンジニアの需要も高まっていくでしょう。

続きを読む
このエントリーをはてなブックマークに追加

SQLiteの環境構築から使い方までを解説します。

SQLデータ分析・活用入門 データサイエンスの扉を開くための技術 MySQL/PostgreSQL 両対応
SQLデータ分析・活用入門 データサイエンスの扉を開くための技術 MySQL/PostgreSQL 両対応
西潤史郎
ソシム
2019-09-12



RDBMSとは

RDBMSは、リレーショナルデータベース管理システム (Relational Database Management System) の略称です。リレーショナルデータベースを管理するためのソフトウェアのことを指します。代表的なRDBMSには、Oracle Database、MySQL、PostgreSQL、SQLiteなどがあります。

RDBMSの特徴は以下になります。
1. データを表形式で管理し、テーブル間の関連性（リレーション）を定義できる。
2. SQL言語を使用してデータの操作や検索が行える。
3. データの整合性を保つために、トランザクション管理機能やACID特性（原子性、一貫性、独立性、耐久性）を備えている。
4. データの同時アクセスを制御し、不整合を防ぐためのロック機構を持つ。
5. バックアップやリカバリ機能により、データの安全性と可用性を確保できる。

続きを読む
このエントリーをはてなブックマークに追加

これからAzureの環境構築する人に向けて、Azure独自のネットワーク関連の用語をまとめました。

分類 サービス名 説明
仮想ネットワークの基本コンポーネント 仮想ネットワーク（Vnet） Azure 上で論理的に分離されたネットワーク環境。主に、仮想マシン同士の通信で利用。Azure Portalで、「アドレス空間」と「サブネット」を定義する。また、内部的に DHCP サーバーやサブネット間の自動的なルーティング機能を保持。
サブネット 仮想ネットワークを小さなセグメントに分割し、ネットワークの構成を管理しやすくします。
ネットワークインターフェース（NIC） プライベートIPアドレスとパブリックIPアドレスの両方を仮想マシンに割り当てる。
仮想マシン どの仮想ネットワーク、どのサブネットに配置するかを設定する。
IP アドレス パブリックIPアドレス インターネットから直接アクセスできる IP アドレス。
プライベートIPアドレス 仮想ネットワーク内でのみ使用される IP アドレス。
ネットワークセキュリティ ネットワークセキュリティグループ（NSG） Azureの仮想ネットワーク上のファイアウォール。仮想マシンのネットワークインターフェースや仮想ネットワークのサブネットに適用し、IPアドレス・Service Tagの送受信の制御、トラフィックの許可や拒否といったルールを設定する。
外部接続 Private Link グローバル IP アドレスを使わずに、プライベートエンドポイントに割り当てられたプライベート IP アドレスを経由して、仮想ネットワークから Azure PaaSにアクセスする。
プライベートエンドポイント 仮想ネットワーク内のAzure PaaSのプライベート IP アドレスに接続するネットワークインターフェース。
サービスエンドポイント プライベート IP アドレスのままで Azure PaaSのパブリック IP アドレスに接続するネットワークインターフェース。
DNS プライベートDNSゾーン 仮想ネットワーク内の名前解決サービス。
続きを読む
このエントリーをはてなブックマークに追加

OpenAIのRAG（Retrieval Augmented Generation、検索拡張生成）を紹介します。
RAGの手法により、企業の社内文書や最新ニュースなど、GPTが学習していない独自の知識を元に、回答することが可能です。

RAG(Retrieval Augmented Generation)とは

質問文に対し、検索した参考情報(Context)を付けてLLMに質問する仕組みがRAGです。RAGは質問タスクを、Contextの要約タスクに変換していると言えます。

RAGは、「DB登録」「検索」「生成」の３つのステップを経て、質問に対する答えを生成します。
「DB登録」では、社内文書を分割(チャンク)してベクトルDBに格納します。ベクトル化にはLLMが用いられることが多いです。
「検索」では、質問文との類似度を検索（Retrieval）し、関連文書を抽出します。
「生成」では、抽出した関連文書を元に、LLMが自然な回答文章を作ります。
続きを読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ