新規事業のつくり方

新しいことを学ぶことが好きです。今は機械学習や自然言語処理に興味があります。

OpenAIのRAG(Retrieval Augmented Generation、検索拡張生成)を紹介します。
RAGの手法により、企業の社内文書や最新ニュースなど、GPTが学習していない独自の知識を元に、回答することが可能です。

RAG(Retrieval Augmented Generation)とは

質問文に対し、検索した参考情報(Context)を付けてLLMに質問する仕組みがRAGです。RAGは質問タスクを、Contextの要約タスクに変換していると言えます。

RAGは、「DB登録」「検索」「生成」の3つのステップを経て、質問に対する答えを生成します。
「DB登録」では、社内文書を分割(チャンク)してベクトルDBに格納します。ベクトル化にはLLMが用いられることが多いです。
「検索」では、質問文との類似度を検索(Retrieval)し、関連文書を抽出します。
「生成」では、取得したチャンクを元に、LLMが自然な回答文章を作ります。
続きを読む

書籍「レジリエンスの心理学」を読みました。本書の内容から受けた示唆を元に、人間の心理をデータサイエンスの観点から考察を試みました。

レジリエンスの心理学
金子書房
2022-10-14





続きを読む

Azure OpenAI Service上のGPT-4を、Pythonから利用する方法を解説します。

Azure OpenAI Serviceは、OpenAIのChatGPTやGPT-4などのモデルを、Microsoft Azure環境で利用できるサービスです。

開発者は、GPTモデルをREST APIとして利用できます。タスクとしては、テキスト生成、質問応答、文章要約、感情分析などが実現できます。また、Azureの拡張性とセキュリティ機能を利用することで、企業向けの開発が可能です。

Azure OpenAI Serviceを利用するためには、Azureサブスクリプションの登録に加え、「Azure OpenAI Serviceのアクセス申請」が必要になります。
(追記:2023年9月に、GPT-4のWaiting Listの申請が不要になりました)続きを読む

本気でAI人材になりたい!高年収で将来性が非常に高いAIエンジニア職に就きたい!

現在の仕事に不満があり、現状を何とか変えたい。そんなあなたに最適な転職サイトをご紹介します。

もしあなたがAI人材になりたいならば、このページで紹介する転職サービスは必見です。
現役のAIエンジニアが、使いやすい転職サイト・転職エージェントをご紹介します。

目次
AI業界の待遇を概観する
AIエンジニアは激務なのか
AIエンジニアの将来性

AIエンジニアになるメリット
転職エージェントを活用して効率的に転職しよう
AIエンジニア向け転職エージェント選びのコツ
転職サイト・転職エージェントを利用する時期は?
おすすめの転職サイト・転職エージェント
 「現職ITエンジニアの年収アップをサポート!」TechClipsエージェント
 「手厚いサポートと情報量で満足度No.1!」 : マイナビIT AGENT
おわりに
続きを読む

WSL2のUbuntuで独自の証明書を登録する方法をまとめました。

WSL2のインストール

WSL2は、Widows上でLinuxを動作させるための実行環境です。Windows Subsystem for Linux 2の略称になります。WSL1もありますが、基本はWSL2を選んでおけば大丈夫です。

インストール方法は、PowerShellを管理者として実行し、以下のコマンドを叩くだけです。
wsl --install

後は、PCを再起動し、ユーザ名とパスワードを設定すれば完了です。

続きを読む

目次
1.AIエンジニアの仕事内容
2.AIエンジニアに向いている人とは?
3.AIエンジニアになるメリットとは
4.AIエンジニアの将来性とは
5.AIエンジニアに必要なスキル
6.AIエンジニアになるための勉強法
7.AIエンジニアになるため大学は必要か
8.AIエンジニアを目指しプログラミングスクールに通うべきか
9.AIエンジニアになる方法はAIエンジニアの仕事をすること
10.AIエンジニアに未経験から転職できるのか?
11.AIエンジニアの求人と選び方
12.AIエンジニアの採用は2020年度から本格化
13.AIエンジニアにおすすめの転職エージェント
14.AIエンジニアになる3ステップ
さいごに

続きを読む

「GPT-4」という高性能な言語モデルが登場しました。
質問を投げると、人間のように問題解決してくれます。

「LLM(Large Language Models)」と言われる大規模言語モデルは、大量のテキストデータを使ってトレーニングされています。回答では大量に覚えたテキストデータから引っ張って来るわけですが、上手く汎化されており、新たなステージに入ったことを感じます。なぜあんなに自然な文章を書けるのが不思議です。今更ながらですが、LLMの記事を書いてみました。

続きを読む

機械学習界隈で、最強アルゴリズムの一角を占めていたランダムフォレスト。ディープラーニングが登場した後急速に存在感をなくすものの、その利便性と強力さから多くのデータサイエンティストが現役利用中。

scikit-learnでのランダムフォレスト、分類モデルと重要度評価の実装方法まとめました。

決定木の問題点

決定木は、上から順に条件分岐を作って分類モデルを作る手法です。ルールが可視化できる、正規化や標準化などのデータ加工が不要など、素晴らしいアルゴリズムです。
しかし、決定木は過学習を起こしやすいという問題点がありました。

前の記事:Pythonの決定木分析できのこ派とたけのこ派を予測する続きを読む

未経験からAIエンジニアに就職したい人に向けて、自分の体験談を交えて解説します。

転職エージェントから言われた言葉

新卒で入社した会社で、ずっと企画の仕事をしてきました。
企画職とは、顧客やユーザーにヒアリングして「困ってること」を聞き出し、自社で解決できそうな課題を選んで具体化する仕事です。

「問題発見」と「問題解決」を一緒に行うところがポイントで、いろいろ仮説を立ててひたすらリサーチを繰り返していました。辛い局面もありましたが、好奇心が強い方だったので、新しいことを調べたり新しい人と会うことは楽しかったです。
(某社の2年目社員に完全論破されたり、某社の女性マネージャーに詰められたこともすべて良い思い出です)

続きを読む

Universal Sentence Encoderは、文をベクトル化する手法です。

Googleの研究者達が開発したもので、2018年にTensorflow Hubで公開されました。
多言語に対応しているところが特徴で、日本語と英語で同じ意味なら、ほぼ同じベクトルに変換してくれます。
また、文中の単語の意味や語順を考慮した文章ベクトルを、ニューラルネットワークによるend-to-endな学習で獲得できるので、意味を解釈したベクトルに変換可能です。

関連記事:Python(gensim)と日本語Word2Vecで単語ベクトル可視化

続きを読む

↑このページのトップヘ