ローカルLLM¶
はじめに¶
自然言語を理解し生成するAI技術の一つに、大規模言語モデル（Large Language Model: LLM）があります。
自然な文章となるように、単語の並び方に確率分布を持たせ、人の書いた文章を基に単語の出現確率をモデル化しています。
2017年に発表されたTransformer技術をベースとする深層学習で膨大なテキストデータの学習を行います。
適用例は、要約、翻訳、校正、レポート生成、質問対応、プログラミングコード生成などがあります。
インターネット上のサービスとして、ChatGPT、Gemini、Copilotなどが提供されています。
このLLMを、個人や企業がオンプレミスで保有する計算機でインターネット接続がなくても利用できるようにしたものがローカルLLMとなります。学習済みのLLMソフトウェアを動かし、追加の学習をさせることができます。社内資料を外部期間
ローカルLLMを動かすには¶
ローカルLLMプラットフォーム¶
学習済みのローカルLLMモデルをダウンロードして実行するプラットフォームソフトウェアとして、OllamaやvLLMなどがあります。研究開発、PoCなどの検証用に簡単で使いやすいOllamaと、商用サービスでガッチリ動かすvLLMといった特性があります。
Ollamaのインストールと実行¶
ローカルLLMソフトウェア¶
- Meta社（旧Facebook）のLlama
- Google社のGemma
- Mistral AI社のMistral
- OpenAI社のgpt-oss
- アリババクラウドのQwQ
- DeepSeek-R1
- Microsoft社のPhi