新規事業のつくり方

新しいことを学ぶことが好きです。今は機械学習や自然言語処理に興味があります。

ローカルLLM（Ollama）とPythonを使って、イエス・キリストと釈迦の宗教間対話させてみました。本記事では、コードの主要な部分を解説していきます。

動作環境

・Windows11 メモリ32GB
・Ollama

※ollamaのインストール方法と使い方は以下の記事をご参考ください。
OllamaをPythonから操作:WindowsでローカルLLM入門

続きを読む
このエントリーをはてなブックマークに追加

Windows環境で、OllamaでローカルLLMを動かす方法を解説します。

1. Ollamaとは

Ollamaは、ローカルLLMを動作・管理するソフトウェアです。

①推論処理が高速：LLMの推論を高速に行うllama.cpp を実行基盤に動作。
②インストールが簡単：Ollamaのインストーラは、パソコンのGPU環境を自動的に判別。
③幅広いローカルLLMを選べる：Ollamaでサポートするモデルに加え、Hugging FaceのLLMモデルも容易に動かせる。

GGUF形式のモデルに対応しており、量子化にも対応しています。
メモリ要件の目安として、8GB RAM なら7Bパラメータのモデルを動かせますが、14Bパラメータのモデルの場合は 16GB 以上が推奨されます。
続きを読む
このエントリーをはてなブックマークに追加

本気でAI人材になりたい！高年収で将来性が高いAIエンジニア職に就きたい！

現在の仕事に不満があったり、キャリアの停滞感を感じているなら、このページで紹介する転職サービスは必見です。ここでは、現役のAIエンジニアが市場動向を分析し、使いやすい転職サイト・転職エージェントを厳選してご紹介します。

目次
AI業界の待遇を概観する
生成AI市場の急成長と高値で売れる経験
AIエンジニアは激務なのか
AIエンジニアの将来性
AIエンジニアになるメリット
転職エージェントを活用して効率的に転職しよう
AIエンジニア向け転職エージェント選びのコツ
転職サイト・転職エージェントを利用する時期は？
おすすめの転職サイト・転職エージェント
　「現職ITエンジニアの年収アップをサポート！」TechClipsエージェント
　「手厚いサポートと情報量で満足度No.1！」 : マイナビIT AGENT
おわりに
続きを読む
このエントリーをはてなブックマークに追加

生成AIの急速な発展により、プログラム未経験者から生成AIエンジニアとしてのキャリアを築けるチャンスが広がっています。本記事では、現役の生成AIエンジニアが、現在の市場環境を概観し、未経験から生成AIエンジニアになる方法を解説します。

生成AIの市場規模は急拡大する

電子情報技術産業協会（JEITA）によると、生成 AI 市場の世界需要額は年平均 53.3%(日本は47.2%)で成長し、2030 年には 2,110億ドル(日本は1.8兆円)となる見込みです。

参考記事：JEITA、生成 AI 市場の世界需要額見通しを発表

市場規模の内訳は、生成AI関連アプリケーションが圧倒的に多く(世界で92%,日本で86%)、基盤モデルを搭載したシステム開発のニーズが今後急激に増加すると考えられます。

2030年までの7年間で、市場規模が15~20倍になるというのは凄まじく、生成AIを開発・活用する企業が増加することは確実で、生成AIエンジニアの需要も高まっていくでしょう。
続きを読む
このエントリーをはてなブックマークに追加

DeepSeek-R1-Distill（ローカルLLM）を用いたRAGの実装方法を解説します。

参考書籍：
LLMのファインチューニングとRAG ―チャットボット開発による実践―
LLMのファインチューニングとRAG ―チャットボット開発による実践―
新納浩幸
オーム社
2024-05-15


３つの基礎知識

ローカルLLMとは

ローカル LLMとは、クラウド環境ではなく、PCなどのローカル環境で稼働するLLMを指します。
推論時のインターネット接続が不要で、外部への情報漏洩リスクが少なく、API使用料がありません。小型モデルの場合、GPUと一定以上のメモリを持つPC（もしくはColab環境）を利用すれば無料で動かせます。
動作に必要なメモリ量は、7Bパラメータで8GB、14Bパラメータで16GBがざっくりの目安です。
続きを読む
このエントリーをはてなブックマークに追加

DeepSeek-R1は、中国のAI企業DeepSeekが開発した大規模言語モデルです。オープンソースですが、数学やコーディングのタスクで、OpenAI-o1と同等の性能を達成しています。

DeepSeek-R1には、蒸留された小型モデルがいくつか提供されてます。サイバーエージェントやLightblue社が、それぞれ日本語でファインチューニングを行い、Hugging Faceで公開してくれています。

今回は日本語でファインチューニングされたDeepSeek-R1の蒸留モデルのうち、パラメータ数が7B・14B・32Bのモデルについて、日本語の出力を比較しました。

利用環境：Google Colab（Python3, A100 GPU）

①7Bモデル（DeepSeek-R1-Distill-Qwen-7B-Japanese）

モデル概要

続きを読む
このエントリーをはてなブックマークに追加

未経験からAIエンジニアに就職したい人に向けて、自分の体験談を交えて解説します。

転職エージェントから言われた言葉

新卒で入社した会社で、ずっと企画の仕事をしてきました。
企画職とは、顧客やユーザーにヒアリングして「困ってること」を聞き出し、自社で解決できそうな課題を選んで具体化する仕事です。

「問題発見」と「問題解決」を一緒に行うところがポイントで、いろいろ仮説を立ててひたすらリサーチを繰り返していました。辛い局面もありましたが、好奇心が強い方だったので、新しいことを調べたり新しい人と会うことは楽しかったです。
（某社の２年目社員に完全論破されたり、某社の女性マネージャーに詰められたこともすべて良い思い出です）

続きを読む
このエントリーをはてなブックマークに追加

Google Colab上でStreamlitを使って簡単なWebアプリを作成し、ngrokを利用して外部に公開する方法を解説します。 

1. 事前知識

1.1 streamlitとは

Streamlitは、PythonコードのみでシンプルなWebアプリを作成できるライブラリです。環境変数の設定が不要で、HTMLなしでUI画面を作成できます。素早くデモアプリを試作する時に便利です。

1.2 ngrokとは

_- visual selection
続きを読む
このエントリーをはてなブックマークに追加

AIエンジニアは、最も将来性が高い職業の一つでしょう。データを使って科学する仕事は楽しいです。しかし、現役のAIエンジニアにも様々な悩みがあったりします。

「優秀な人材と働きたい」「LLMの研究をしたい」「自分の専門分野を深めたい」などです。

組織の論理から脱却し、自分のキャリアをコントロール性をどうすれば高めることができるのか、現役のAIエンジニアが検討してみました。

続きを読む
このエントリーをはてなブックマークに追加

本記事では、Azure AI SearchとLangChainを使用して、Retrieval-Augmented Generation (RAG) システムを構築する方法を解説します。

RAGは生成AIの精度を向上させるための有力な技術であり、Azure AI Searchの強力な検索機能とLangChainの柔軟な処理フレームワークを組み合わせることで、効率的で高精度な情報検索と生成が可能になります。

Azure AI Searchとは

Azure AI Searchはクラウド型の検索サービスです。キーワード検索、ベクトル検索、ハイブリッド検索、セマンティック検索(ランク付け)を利用できます。

Azure AI Searchでは、インデックス内に複数のJSON形式のドキュメントを格納する形式でデータを保存します。インデックスは、フィールド名、データ型(String, Int, Double等)、フィールド属性(検索可能,フィルター可能,ソート可能,キー等)を設定して作成します。 
続きを読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ