新規事業のつくり方

新しいことを学ぶことが好きです。今は機械学習や自然言語処理に興味があります。

カテゴリ: Pythonで機械学習

初心者向けにgensimとWord2Vecの利用方法と、類似単語の可視化を解説します。

Word2Vecは、自然言語処理の一つで大量のテキストデータを解析し、各単語の意味をベクトル表現をする手法です。単語の意味の近さや類似度などを計算することが出来ます。

Gensimとは

gensimは、統計的機械学習を使用した、教師なしトピックモデリングと自然言語処理のためのオープンソースライブラリです。無料で使えるPython向けライブラリです。

主な機能としては、fastText、word2vecとdoc2vecアルゴリズム、潜在意味解析(LSA、LSI)、潜在ディリクレ配分(LDA)、TF-IDFなどです。ライセンスはLGPLです。

gensim公式:https://radimrehurek.com/gensim/index.html
続きを読む

ロジスティック回帰分析は、2値の分類モデルを作るアルゴリズムです。そして、分類結果の発生確率を予測できます。例えばある人が「ガンである確率 90%」 のような予測ができます。

また、モデルの中身を数式として理解できるので、ディープラーニングのようにブラックボックスになりません。つまり、どの説明変数がモデルの判定に重要かが人間でも分かります。

一方、ロジスティック回帰は、線形分離可能なクラスに対してのみ高い性能が発揮されます。非線形の問題はうまく学習できないという重回帰分析と同じ問題を抱えています。
加えて、ロジスティック回帰の説明変数は、数量データのみ利用可能です。カテゴリデータは基本的に推奨されません。

過去記事:ランダムフォレストで特徴量の重要度を評価する
続きを読む

機械学習界隈で、最強アルゴリズムの一角を占めていたランダムフォレスト。ディープラーニングが登場した後急速に存在感をなくすものの、その利便性と強力さから多くのデータサイエンティストが現役利用中。

scikit-learnでのランダムフォレスト、分類モデルと重要度評価の実装方法まとめました。

決定木の問題点

決定木は、上から順に条件分岐を作って分類モデルを作る手法です。ルールが可視化できる、正規化や標準化などのデータ加工が不要など、素晴らしいアルゴリズムです。
しかし、決定木は過学習を起こしやすいという問題点がありました。

前の記事:Pythonの決定木分析できのこ派とたけのこ派を予測する続きを読む

「決定木」は、おそらく世界で最も利用されている機械学習アルゴリズムです。教師ありの学習データから、階層的に条件分岐のツリーを作り、判別モデルを作ることができます。

今回は決定木の活用例として、きのこ派とたけのこ派を予測する人工知能を作りました。プログラム言語は、Pythonとscikit-learnです。

過去記事:AIエンジニアが教えるゼロから機械学習の勉強法続きを読む

データサイエンスや機械学習では、グラフ作成ツールとしてMatplotlibが大変利用されています。なぜMatplotlibを使うのか、なぜグラフを作成するのか、その理由とグラフの作成方法をまとめました。

過去記事
※scikit-learn編:Python機械学習(AI)のデータ処理(pandas/scikit-learn)

Matplotlibとは

Matplotlibは、グラフ描画のためのPython用ライブラリです。データをいろんなグラフで可視化することが出来ます。折れ線グラフや散布図などたくさんのグラフが用意されています。

グラフの持つ力はすごいです。グラフは事実を分かりやすく人に伝えることが出来ます。例えば、横軸にビタミンCの摂取量、縦軸に肌の健康度を取り、棒グラフを作成したところ、右肩上がりなグラフができたとします。そのグラフを広告で大々的に打てば、明日には女性陣がビタミンCを買い込んですぐに売り切れてしまうでしょう。事実を目で見える形で示すこと、これがグラフの持つ力です。

matplotlibは、そんなグラフを簡単に無料で作ることが出来ます。
続きを読む

↑このページのトップヘ