Windows環境で、OllamaでローカルLLMを動かす方法を解説します。

1. Ollamaとは

Ollamaは、ローカル環境でLLMを動作・管理するソフトウェアです。無料のOSSでMITライセンスです。インターネット接続のないオフライン環境で動作可能です。ただし、LLMモデルをローカルにダウンロードする際は、インターネット接続が必要です。

①推論処理が高速：LLMの推論を高速に行うllama.cpp を実行基盤に動作。
②インストールが簡単：Ollamaのインストーラは、パソコンのGPU環境を自動的に判別。
③幅広いローカルLLMを選べる：Ollamaでサポートするモデルに加え、Hugging FaceのLLMモデル（GGUF形式のファイルのみ）も容易に動かせる。

GGUF形式のモデルに対応しており、量子化にも対応しています。
メモリ要件の目安として、8GB RAM なら7Bパラメータのモデルを動かせますが、14Bパラメータのモデルの場合は 16GB 以上が推奨されます。
続きを読む

本記事では、VOICEVOXを利用したい初心者向けに、インストールからPythonで利用する方法までを解説していきます。

関連記事：Ollama×Streamlit×VoiceVoxで作るローカルLLM音声対話アプリ【完全ハンズオン】

VOICEVOXとは

VOICEVOXは、自然な発音で音声を生成できる、国産の音声合成ソフトウェアです。GUIの画面もありますが、PythonからでもAPI経由で簡単に使うことができます。続きを読む

ローカルLLMを用いたリアル婚活アプリを作ってみました。

本アプリは Streamlitと Ollamaを組み合わせ、あなた（自分LLM）／相手（彼女LLM）／評価者（審判LLM）の3役を回すことで、状態（フェーズ／好感度／イベント）を持った“会話体験”を設計しています。

関連記事：Ollama×Streamlit×VoiceVoxで作るローカルLLM音声対話アプリ【完全ハンズオン】

どんなアプリ？

続きを読む

運用保守エンジニアが直面する課題を、キャリア・業界構造・AI代替の観点から整理し、生成AI時代に生き残る方法を提示します。

関連記事：生成AI時代のITエンジニア向け転職エージェントの選び方
続きを読む

続きを読む

続きを読む

「いまのスキルで将来食べていけるか不安」
「転職する / しないをどう判断したらいいか迷う」
そんなモヤモヤを抱えるエンジニア向けに、PC だけで動く「Career & Skill Advisor」を紹介します。

1. アプリの概要

続きを読む