カテゴリ: Pythonで機械学習
実務で使うとこだけ!Python機械学習(AI)のデータ処理(Pandas/scikit-learn)
機械学習のデータ処理周りの実務で、よく使う関数をまとめました。
目次
はじめに
Pandasとは
scikit-learnとは
NumPyは使わないの?
機械学習の言語はpythonでいいの?
機械学習(AI開発)の流れ
1.データの準備
データフレームを定義する(DataFrame)
csvファイルを読み込む(read_csv)
2.データの前処理
<欠損値編>
欠損値をカウントする(isunull)
欠損値を削除する(dropna)
欠損値を補完する(Imputer)
<文字列編>
文字列データを数値に変換する(map)
<外れ値編>
グラフを作成する(plot)
列の平均値/中央値を出力する(mean/median)
列の最大値/最小値を確認する(max/min)
3.データの基礎分析
データから特定の列だけを選択する(iloc/ix)
データフレームに列を追加する(’カラム名’)
4.特徴量設計
データを標準化する(StandardScaler)
相関係数を出力する(corr)
特徴量データと出力データに分割する(iloc)
学習データとテストデータに分割する(train_test_split)
続きを読む
目次
はじめに
Pandasとは
scikit-learnとは
NumPyは使わないの?
機械学習の言語はpythonでいいの?
機械学習(AI開発)の流れ
1.データの準備
データフレームを定義する(DataFrame)
csvファイルを読み込む(read_csv)
2.データの前処理
<欠損値編>
欠損値をカウントする(isunull)
欠損値を削除する(dropna)
欠損値を補完する(Imputer)
<文字列編>
文字列データを数値に変換する(map)
<外れ値編>
グラフを作成する(plot)
列の平均値/中央値を出力する(mean/median)
列の最大値/最小値を確認する(max/min)
3.データの基礎分析
データから特定の列だけを選択する(iloc/ix)
データフレームに列を追加する(’カラム名’)
4.特徴量設計
データを標準化する(StandardScaler)
相関係数を出力する(corr)
特徴量データと出力データに分割する(iloc)
学習データとテストデータに分割する(train_test_split)
続きを読む
人工知能(AI)を自社に導入したい人はscikit-learnを利用しよう
上司から一言「人工知能について何か考えてみてくれないか」
翻訳すると、「外部環境として他社のAIの事例を調べ、内部環境として自社のビジネスプロセスを分析し、AIを導入できそうな領域を特定し、人工知能の開発方法を検討し、導入後にどのくらい収益に貢献するかのストーリーを作ってくれ」 ということです。
数あるムチャ振りの中で、最もムチャ振りな仕事と言えるでしょう。このセリフを言われたら、こう返してください。
「それなら〇〇さんが人工知能に詳しいみたいですよ。」
※〇〇には潰したい人の名前を入れましょう
逃げられなかった人へ
おめでとうございます。あなたは流行の最先端です。一緒にAIバブルに踊りましょう。
参考書籍
続きを読む
翻訳すると、「外部環境として他社のAIの事例を調べ、内部環境として自社のビジネスプロセスを分析し、AIを導入できそうな領域を特定し、人工知能の開発方法を検討し、導入後にどのくらい収益に貢献するかのストーリーを作ってくれ」 ということです。
数あるムチャ振りの中で、最もムチャ振りな仕事と言えるでしょう。このセリフを言われたら、こう返してください。
「それなら〇〇さんが人工知能に詳しいみたいですよ。」
※〇〇には潰したい人の名前を入れましょう
逃げられなかった人へ
おめでとうございます。あなたは流行の最先端です。一緒にAIバブルに踊りましょう。
参考書籍
続きを読む
Pythonで人工知能のWebサービスを実装する方法
Pythonで人工知能を使ったWebサービスを作ってみます。具体的には、その人がニートかどうかを予測するプログラムです。
今は洗練された機械学習のオープンソースやWebフレームワークが用意されていて、とても簡単に実装できます。初心者の方でも1ヶ月ほど勉強すれば十分出来るようになるのではないでしょうか。
なお今回のWebサイトは、cssなどのデザインが超適当です。。。
順番はこんな感じです。
1.Pythonをインストールする
2.FlaskとWTFormsをインストールする
3.データを用意する
4.予測モデルを実装する
5.予測結果をHTMLに渡すプログラムを実装する
6.結果を表示するHTMLを作成する
参考書籍
続きを読む
今は洗練された機械学習のオープンソースやWebフレームワークが用意されていて、とても簡単に実装できます。初心者の方でも1ヶ月ほど勉強すれば十分出来るようになるのではないでしょうか。
なお今回のWebサイトは、cssなどのデザインが超適当です。。。
順番はこんな感じです。
1.Pythonをインストールする
2.FlaskとWTFormsをインストールする
3.データを用意する
4.予測モデルを実装する
5.予測結果をHTMLに渡すプログラムを実装する
6.結果を表示するHTMLを作成する
参考書籍
続きを読む
これだけは知っておけ!PythonでAI開発の基礎まとめ
Python(パイソン)で人工知能を開発したい人向けに、これだけは知ってほしいという知識をまとめました。本記事だけで、PythonでAIを実装出来るはず。
まあ簡単に言うと、データをきれいにして、サーキットラーン(scikit-learn)というライブラリにデータ食わせれば、予測モデル(=人工知能)が作れるというお話です。
まあ簡単に言うと、データをきれいにして、サーキットラーン(scikit-learn)というライブラリにデータ食わせれば、予測モデル(=人工知能)が作れるというお話です。
AI開発のプログラミング言語はPython一択
AI開発のプログラミング言語はPython一択です。理由は3つあります。
①Python向けの人工知能ライブラリが豊富だから
・データ処理:NumPy、Pandas
・作図:Matplotlib
・ディープラーニング開発:PyTorch、TensorFlow
・機械学習:scikit-learn
②Pythonは業務システムやWebサービスとして実装可能(Rで業務システムは作れません)
③シンプルな言語で可読性が高くプログラミングが簡単
機械学習エンジニア・データサイエンティストの求人は、ほぼ確実にPythonが前提条件です。
続きを読む