1. どんなアプリを作るの？

キングダムで有名な秦王嬴政と楚の使者の AI が、交互にセリフを言い合います。画面には吹き出しが出て、VoiceVox でセリフが読み上げられます。AI同士で会話をさせ、その様子を見て聞くイメージです。完成した画面は以下になります。
続きを読む

「AIを使って稼ぎたい。でも何をやればいいのか分からない…」
そんな悩みを持つあなたに向けて、ローカルLLMを利用した“副業アイデア製造機”を作ってみました。

ローカルLLMには、Gemma3を採用しました。Gemma3は軽量なローカルLLMでありながら、Chatbot Arenaでo1-previewモデルより上位の評価を受けています。人間の評価において、最新のクラウド型モデルと遜色ない会話ができます。また、短いトークン数での文章理解や知識蒸留で工夫されており、メモリ効率が極めて高いことが特徴です。

本アプリは、あなたのパソコン上で、Gemma3モデル２機が、Streamlit上で自動対話させることで、【ひらめき → 深掘り → 要約】をループしながら、アイデアを連続で生み出します。

この記事では、副業アイデア製造機の使い方を解説します。

続きを読む

Windows環境で、OllamaでローカルLLMを動かす方法を解説します。

1. Ollamaとは

Ollamaは、ローカル環境でLLMを動作・管理するソフトウェアです。無料のOSSでMITライセンスです。インターネット接続のないオフライン環境で動作可能です。ただし、LLMモデルをローカルにダウンロードする際は、インターネット接続が必要です。

①推論処理が高速：LLMの推論を高速に行うllama.cpp を実行基盤に動作。
②インストールが簡単：Ollamaのインストーラは、パソコンのGPU環境を自動的に判別。
③幅広いローカルLLMを選べる：Ollamaでサポートするモデルに加え、Hugging FaceのLLMモデル（GGUF形式のファイルのみ）も容易に動かせる。

GGUF形式のモデルに対応しており、量子化にも対応しています。
メモリ要件の目安として、8GB RAM なら7Bパラメータのモデルを動かせますが、14Bパラメータのモデルの場合は 16GB 以上が推奨されます。
続きを読む