新規事業のつくり方

新しいことを学ぶことが好きです。今は機械学習や自然言語処理に興味があります。

機械学習界隈で、最強アルゴリズムの一角を占めていたランダムフォレスト。ディープラーニングが登場した後急速に存在感をなくすものの、その利便性と強力さから多くのデータサイエンティストが現役利用中。

scikit-learnでのランダムフォレスト、分類モデルと重要度評価の実装方法まとめました。

決定木の問題点

決定木は、上から順に条件分岐を作って分類モデルを作る手法です。ルールが可視化できる、正規化や標準化などのデータ加工が不要など、素晴らしいアルゴリズムです。
しかし、決定木は過学習を起こしやすいという問題点がありました。

前の記事：Pythonの決定木分析できのこ派とたけのこ派を予測する続きを読む
コメント（0） このエントリーをはてなブックマークに追加

「GPT-4」という高性能な言語モデルが登場しました。
質問を投げると、人間のように問題解決してくれます。

「LLM（Large Language Models）」と言われる大規模言語モデルは、大量のテキストデータを使ってトレーニングされています。回答では大量に覚えたテキストデータから引っ張って来るわけですが、上手く汎化されており、新たなステージに入ったことを感じます。なぜあんなに自然な文章を書けるのが不思議です。今更ながらですが、LLMの記事を書いてみました。

続きを読む
このエントリーをはてなブックマークに追加

未経験からAIエンジニアに就職したい人に向けて、自分の体験談を交えて解説します。

転職エージェントから言われた言葉

新卒で入社した会社で、ずっと企画の仕事をしてきました。
企画職とは、顧客やユーザーにヒアリングして「困ってること」を聞き出し、自社で解決できそうな課題を選んで具体化する仕事です。

「問題発見」と「問題解決」を一緒に行うところがポイントで、いろいろ仮説を立ててひたすらリサーチを繰り返していました。辛い局面もありましたが、好奇心が強い方だったので、新しいことを調べたり新しい人と会うことは楽しかったです。
（某社の２年目社員に完全論破されたり、某社の女性マネージャーに詰められたこともすべて良い思い出です）

続きを読む
このエントリーをはてなブックマークに追加

Universal Sentence Encoderは、文をベクトル化する手法です。

Googleの研究者達が開発したもので、2018年にTensorflow Hubで公開されました。
多言語に対応しているところが特徴で、日本語と英語で同じ意味なら、ほぼ同じベクトルに変換してくれます。
また、文中の単語の意味や語順を考慮した文章ベクトルを、ニューラルネットワークによるend-to-endな学習で獲得できるので、意味を解釈したベクトルに変換可能です。

関連記事：Python(gensim)と日本語Word2Vecで単語ベクトル可視化

続きを読む
このエントリーをはてなブックマークに追加

駆け出しのAIエンジニアが、転職面接で落ちなくなる方法を解説します。

体系的な方法論がないと面接に落ちる

転職面接で落ちる第一の理由に、「コミュニケーション能力」が不足しているため、とよく言われます。確かにその通りなのですが、エンジニア面接におけるコミュニケーション能力とは、目の前の問題に対して、どのように考えて、どう対処したかという思考を言語化できているかを見られています。

つまり、体系的な方法論に基づいて、合理的な解決策を実行しているかどうかが問われているのです。

続きを読む
このエントリーをはてなブックマークに追加

RANGE(レンジ) 知識の「幅」が最強の武器になるという本を読みました。

RANGE（レンジ）　知識の「幅」が最強の武器になる
RANGE（レンジ）　知識の「幅」が最強の武器になる
デイビッド・エプスタイン
日経BP
2020-03-26


RANGEとは日本語で言うと「幅」です。著者は変化の激しい現代では、経験の幅が重要であると説いています。専門性がないと不安になったり、コンプレックスを抱きやすいものですが、ゼネラリストの希望になるような本です。

続きを読む
このエントリーをはてなブックマークに追加

テキストから画像を生成するAIは、「Text2Image」と呼ばれています。
今回は2021年に発表された、「Big Sleep」を試してみました。

BigSleepとは

「Big Sleep」は、「BigGAN」と「CLIP」を組み合わせたものです。テキストから画像を生成できます。Python向けライブラリとして利用できます。

BigGANとは

「BigGAN」は、1000カテゴリの画像を生成するモデルです。名前の通り、GANのネットワークを大規模化しています。DeepMindが開発しました。

2018年から「敵対的生成ネットワーク（GAN）」が流行りました。
GANは、「識別モデル」と「生成モデル」を互いに競い合わせることで精度を高めていく、教師なし学習です。生成モデルは、本物画像に似た画像を生成し、識別モデルが偽画像か本物画像かを見分けられるように学習していきます。BigGANはGANの発展形の一つです。

CLIPとは

「CLIP（Contrastive Language-Image Pre-training）」は、画像分類モデルです。画像とテキストの４億ペアを事前学習させています。OpenAIが開発しました。

学習方法としては、画像-テキストのペアのベクトルの内積を最大化し、ペアではないベクトルの内積を最小化するようにベクトルを調整していきます。その結果、画像からもテキストからも、その特徴を表現するベクトルを取得できます。
続きを読む
このエントリーをはてなブックマークに追加

単語分散表現とは、単語の意味をベクトルで表現することです。単語埋め込み（Word Embedding）とも呼ばれます。単語を100～300の次元数で表現することが多いです。

単語分散表現の手法には、Word2Vec（2013年）やfastText（2016年）があります。これらの手法は、ある前提を置いて学習されています。
続きを読む
このエントリーをはてなブックマークに追加

21世紀に最も重要なスキルは何でしょうか。

様々な答えがあると思いますが、おそらく多くの人が、「試す力」と答えるでしょう。仮説を立てて検証して答えを導くという手法は、自然科学分野の根幹であり、サービス企画や新規事業開発の最適解であり、GAFAの成長エンジンです。世界で最も試行錯誤している組織は、おそらくGoogleでしょう。

機械学習は、データに対する試行錯誤をコンピュータ上で何万回何億回も高速でできます。だから技術として高速で成長できています。加えてそれらの検証結果が、論文やネット上で公開されているのだから、恐ろしいまでのスピードになっています。

使い方によっては数百億円の価値を生む資産が、インターネットに転がっているのです。情報が公開されている以上、勝負ポイントは「手を動かした時間量」が全てです。
続きを読む
このエントリーをはてなブックマークに追加

現在IT業界で働いている方、これからIT業界で働く方向けに、IT業界のマネジメント職種マップを作成しました。

これまでいくつかのマネジメント業務に携わりました。案件によって求められるスキルや要求内容が異なったので、自分の経験値をベースに周辺知識を加えて整理しました。

エンジニアのためのマネジメントキャリアパス ―テックリードからCTOまでマネジメントスキル向上ガイド
エンジニアのためのマネジメントキャリアパス ―テックリードからCTOまでマネジメントスキル向上ガイド
Camille Fournier
オライリージャパン
2018-09-26

続きを読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ