【実践的処方箋】ローカルLLMの泥沼から抜け出すための最短ルート

「結局、自分のPCでどこまでのモデルが動くのか」
「エラーが出たとき、どこをどう見れば1秒で原因がわかるのか」
「無駄に時間を溶かさないために、どこで見切ってAPIに切り替えるべきなのか」

綺麗ごとの導入手順や、表面的な解説はもういりません。ここでは、現場で本当に必要とされる「核心のノウハウ」と「判断基準」だけを絞り込んでお伝えします。

1. スペック判定の現実：「自分のPCで何が動くか」の即座の見極め方

VRAM（ビデオメモリ）の容量と、動かせるモデルのパラメータサイズの現実的な対応表です。「メインメモリ」ではなく、あくまでグラフィックボードが積んでいるVRAMの容量で判断してください。

このラインより上のエリアが無料で表示されます。

VRAM 8GB（RTX 4060等）：
- 動く限界： 7B / 8B クラス（Llama-3-8B、Mistral-7B など）の Q4（4bit量子化） のみ。
- 現実： 辛うじて動くが、コンテキスト長（一度に読み込める文字数）を大きくすると即座にメモリ不足になるため、実用には工夫が必要。
VRAM 12GB 〜 16GB（RTX 4070 / 4070 Ti等）：
- 動く限界： 7B〜8B の Q8（高精度）または 14B クラスの Q4。
- 現実： 最もバランスが良く、実用的な速度と精度を両立できるスイートスポット。
VRAM 24GB（RTX 3090 / 4090等）：
- 動く限界： 70Bクラスの Q4、または 14B〜32B クラスの高精度モデル。
- 現実： ローカルで本格的な検証や開発を行うなら、このクラスが事実上のスタートライン。

※ノートPCの内蔵GPUや、外付けGPUのない環境でローカルLLMを動かそうとすると、CPU推論になり「1文字出力に数秒」かかるため、この時点でローカル運用の選択肢は除外すべきです。