April 27, 2025 Ollama×Streamlit×VoiceVoxで作るローカルLLM音声対話アプリ【完全ハンズオン】 この記事はパソコンで動くAI同士の会話アプリを作りたい人に向けたハンズオン解説です。前の記事:OllamaでローカルLLM同士で宗教間対話させてみた(llama3.2/gemma) 1. どんなアプリを作るの?キングダムで有名な秦王嬴政と楚の使者の AI が、交互にセリフを言い合います。画面には吹き出しが出て、VoiceVox でセリフが読み上げられます。AI同士で会話をさせ、その様子を見て聞くイメージです。完成した画面は以下になります。続きを読む
April 20, 2025 OllamaをPythonから操作:WindowsでローカルLLM入門 Windows環境で、OllamaでローカルLLMを動かす方法を解説します。 1. OllamaとはOllamaは、ローカルLLMを動作・管理するソフトウェアです。①推論処理が高速:LLMの推論を高速に行うllama.cpp を実行基盤に動作。②インストールが簡単:Ollamaのインストーラは、パソコンのGPU環境を自動的に判別。③幅広いローカルLLMを選べる:Ollamaでサポートするモデルに加え、Hugging FaceのLLMモデルも容易に動かせる。GGUF形式のモデルに対応しており、量子化にも対応しています。メモリ要件の目安として、8GB RAM なら7Bパラメータのモデルを動かせますが、14Bパラメータのモデルの場合は 16GB 以上が推奨されます。続きを読む
April 19, 2025 OllamaでローカルLLM同士で宗教間対話させてみた(llama3.2/gemma) ローカルLLM(Ollama)とPythonを使って、イエス・キリストと釈迦の宗教間対話させてみました。本記事では、コードの主要な部分を解説していきます。動作環境・Windows11 メモリ32GB・Ollama ※ollamaのインストール方法と使い方は以下の記事をご参考ください。OllamaをPythonから操作:WindowsでローカルLLM入門続きを読む
March 25, 2025 未経験から生成AIエンジニアになる方法 生成AIの急速な発展により、プログラム未経験者から生成AIエンジニアとしてのキャリアを築けるチャンスが広がっています。本記事では、現役の生成AIエンジニアが、現在の市場環境を概観し、未経験から生成AIエンジニアになる方法を解説します。生成AIの市場規模は急拡大する電子情報技術産業協会(JEITA)によると、生成 AI 市場の世界需要額は年平均 53.3%(日本は47.2%)で成長し、2030 年には 2,110億ドル(日本は1.8兆円)となる見込みです。参考記事:JEITA、生成 AI 市場の世界需要額見通しを発表市場規模の内訳は、生成AI関連アプリケーションが圧倒的に多く(世界で92%,日本で86%)、基盤モデルを搭載したシステム開発のニーズが今後急激に増加すると考えられます。2030年までの7年間で、市場規模が15~20倍になるというのは凄まじく、生成AIを開発・活用する企業が増加することは確実で、生成AIエンジニアの需要も高まっていくでしょう。続きを読む
March 25, 2025 DeepSeek-R1をColabで動かしてみた!7B・14B・32Bの日本語出力を検証 DeepSeek-R1は、中国のAI企業DeepSeekが開発した大規模言語モデルです。オープンソースですが、数学やコーディングのタスクで、OpenAI-o1と同等の性能を達成しています。DeepSeek-R1には、蒸留された小型モデルがいくつか提供されてます。サイバーエージェントやLightblue社が、それぞれ日本語でファインチューニングを行い、Hugging Faceで公開してくれています。今回は日本語でファインチューニングされたDeepSeek-R1の蒸留モデルのうち、パラメータ数が7B・14B・32Bのモデルについて、日本語の出力を比較しました。利用環境:Google Colab(Python3, A100 GPU) ①7Bモデル(DeepSeek-R1-Distill-Qwen-7B-Japanese) モデル概要 モデル提供: 株式会社Lightblueライセンス: Apache 2.0 license モデル名: lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese続きを読む