この記事はパソコンだけで動くAI同士の会話アプリを作りたい人に向けたハンズオン解説です。

関連記事：VOICEVOXをPythonから音声合成する方法(Windows/Mac)

未経験からAIエンジニアに就職したい人に向けて、自身の体験談を交えて解説します。

転職エージェントから言われた言葉

新卒で入社した会社で、ずっと企画の仕事をしてきました。
企画職とは、顧客やユーザーにヒアリングして「困ってること」を聞き出し、自社で解決できそうな課題を選んで具体化する仕事です。

「問題発見」と「問題解決」を一緒に行うところがポイントで、いろいろ仮説を立ててひたすらリサーチを繰り返していました。辛い局面もありましたが、好奇心が強い方だったので、新しいことを調べたり新しい人と会うことは楽しかったです。

本気でAI人材になりたい！高年収で将来性が高いAIエンジニア職に就きたい！

現在の仕事に不満があったり、キャリアの停滞感を感じているなら、このページで紹介する転職サービスは必見です。ここでは、現役のAIエンジニアが市場動向を分析し、使いやすい転職サイト・転職エージェントを厳選してご紹介します。

本記事では、この課題を解決するためのデータ構造設計（メタデータ設計）を解説します。

なぜメタデータ設計が必要なのか

RAGはドキュメントをチャンク分割して、ベクトル検索することが基本ですが、そもそも検索対象のドキュメントに新版と旧版が混ざっていたり、似たようなドキュメントがあると、ベクトル検索で意味の近いチャンクをとってきたときに、正しい検索結果にならないケースがあります。そのため、メタデータを利用して、検索前に事前に検索対象のドキュメントを絞り込んでしまいたいというモチベーションがあります。

そこで、メタデータ設計です。文書本文とは別に付与する、検索制御用の属性情報を指します。具体的には、会社名、年月、ドキュメント種別などです。メタデータで検索対象となる文書群を限定することで、検索精度を高める狙いです。

PDFファイルを参照するRAGシステムを構築する場合、PDFの前処理は重要です。その後のチャンク設計や検索品質に直結します。

一方でドキュメントの前処理の選択肢は急速に増えています。テキスト抽出、Doclingのような変換ツール、さらにLLMやVLMがPDFを直接解釈し、Markdownに変換するパターンも現実的な選択肢になっています。

人工知能や機械学習を勉強をしているシステムエンジニア（SE）が増えてきていると感じます。

ただでさえIT人材が不足している売り手市場にもかからわず、さらに新しいスキルを身に付けようと休日に勉強を続けるシステムエンジニアを見て、日本を支えているのは、間違いなく彼らのようなエンジニアであると強く感じます。

システムエンジニア（SE）の労働環境は非常に厳しい

これまで日本の情報システムを支えてきたのはシステムエンジニア（SE）です。しかし、必ずしも労働環境は恵まれたものではありません。

今後10年のAIの進化で、新たな情報システムの大半に機械学習処理が実装され、AI関連のサービスがビジネスの主流となり、結果的に今存在する約半分の仕事が無くなってしまいます。

生き残る方法の一つは、AIに仕事を奪われる側から、AIで仕事を奪う側になることではないでしょうか。

中国の春秋戦国時代の思想家、列子は「時を得る者は栄え、時を失う者は滅ぶ」と言われました。時代の流れとはすごいもので、流れに沿った１の努力は、時に１０や１００の結果を生むことがあります。具体的なアクションは、AIを理解し、キャリアにAIの色をつけていくことです。