ローカルLLMにGPUは必要？CPUだけで動かす場合との違いを解説

この記事を書いている人（せせら）

普段はITフリーランスとして活動しています。
個人で作業効率化サービスを運営し、挑戦を続ける人々を静かに応援しています。

こんにちは、パソコン大好きなせせらです。

ローカルLLMを動かしたいと調べると、「GPUが必要」「CPUだけでも動く」「MacならGPU不要」など、言葉がバラバラに出てきます。OllamaやLM Studioを入れる前に、今のPCでどこまでできるのか、専用GPU付きのPCはいつ意味が出るのか、迷いやすいですよね。

結論から言うと、ローカルLLMにGPUは常に必須ではありませんが、動かすモデルの大きさと、返答が返ってくる速さで分岐します。今回は、CPUだけで動かす場合とGPU搭載PCの違いを、推論デバイスの観点から解説していきます。

推論デバイスを先に押さえる

ローカルLLMの推論は、行列計算の連続処理です。同じOllamaやLM Studioでも、どのハードでその計算を回すかで「動く／動かない」「速い／遅い」が変わります。

推論デバイスは、大きくCPU推論とGPU推論に分かれます。CPU推論はシステムRAMを使うため、並列処理が弱く速度は遅めです。GPU推論はNVIDIAのVRAMやMacの統合メモリにモデルを載せるので、返答が速くなります。内蔵GPUだけのノートPCは割り当てVRAMが小さく、体感としてはCPU推論に近いことが多いです。

「GPU不要」と言われるMacは、専用GPUカードがないだけで、Metal経由のGPU推論は使います。Windows/LinuxでローカルLLMを速く回すなら、NVIDIA GPU＋CUDAが事実上の標準です。

まず「試用か実用か」を分けてから、使いたいモデルサイズを決めると、GPUが要るかどうかの判断がぶれにくくなります。

CPU推論のできることと限界

CPU推論は、GPUがないPCや、GPUを使わない設定でも動かせる入門向けの方法です。Llama 3.x 8B、Mistral 7B、Phi-3 miniなど、7B〜8B級のQ4量子化なら、システムRAM 16GB以上、できれば32GBでロードできることが多いです。

CPU推論でできるのは、短文生成、要約、プロンプトの試行、プライバシー確認などです。OllamaのPCスペック解説でも触れていますが、同じ7Bでも量子化を上げるとRAM消費は増えます。CPU推論で試すなら、まずQ4あたりから始めるのが現実的です。

限界は速度です。CPU世代やコア数で変わりますが1〜8 tok/s（トークン/秒）です。RAM 16GBでは7B Q4がギリギリ、32GBなら余裕が出ます。

「とりあえず触ってみたい」段階なら、CPU推論＋7B Q4で十分試せます。毎日サクサク使いたくなったところで、GPU付きPCを本気で検討する流れが自然です。

GPU推論との体感の差

GPU推論の強みは、並列計算によるトークン生成速度です。RTX 4060〜4070級なら、モデルと量子化次第で20〜50 tok/s前後が目安になり、上位GPUはさらに上がります。

体感の分岐は「待ち時間」です。チャットで5 tok/s未満だと、1語ごとに待つ感じが強くなります。10〜15 tok/sを超えると、普通に読める速さに近づきます。同じ7B Q4でも、CPUとGPUでは待ち時間が数倍〜数十倍違うことがあります。

VRAMにモデル全体を載せられると、推論は最も速くなります。載せきれない層はRAMへオフロードされ、動くことはあっても遅くなります。つまり「GPUがある＝必ず速い」ではなく、モデルがVRAMに収まるかもセットで確認します。

返答の速さで迷っているなら、まず7B Q4を今のPCで動かし、待ち時間が許容できなければGPU推論へ進むのが確実です。

モデルサイズ別のGPU要否

GPUが要るラインは、モデルサイズと量子化で決まります。以下はQ4前後を前提にした日常利用の目安です（環境で前後します）。

量子化をQ8やF16に上げると、必要メモリは一気に増えます。コンテキスト長（会話の記憶量）を伸ばすと、VRAM/RAM消費も増えます。メモリ32GBで何が動くかは別記事で整理していますが、13BをCPUだけで常用するのは速度面で厳しめです。

GPUが必要になるのは、13B以上を毎日快適に使いたいとき、または70B級に近づきたいときです。7Bをお試しで動かすだけなら、CPUから始めても問題ありません。

WindowsとMacのメモリの違い

Windows/Linux＋NVIDIAでは、VRAM容量が載せられるモデルの上限指標です。RTX 4060の8GB、4070 Tiの12GB、3090/4090の24GBなど、VRAM帯で判断します。CUDA対応がローカルLLMの標準です。

Mac（Apple Silicon）は専用GPUカードがなく、CPU・GPU・モデルが統合メモリを共有します。MetalでGPU推論が動き、24GB・32GB・48GB・64GBと増やすほど大きいモデルを載せられます。

比較の仕方は、同じ表の別列として扱います。WindowsはRAM 32GB＋VRAM 8GB、Macは統合メモリ32GB、のように並べると混乱が減ります。統合メモリ32GBは、他アプリを開いたときの実効容量が狭く感じやすい点も押さえておいてください。

内蔵GPUとオフロードの扱い

ノートPCの内蔵GPU（iGPU）は、BIOSでVRAM割り当てを2〜4GB程度に増やしても、ローカルLLMの本命デバイスにはなりにくいです。7Bすら載せにくく、実質CPU推論と体感差が小さいことが多いです。内蔵GPUメモリ割り当ての話は、ローカルLLMとは別文脈です。

オフロードは、VRAMに載せきれない層をCPU/RAMへ逃がす設定です。起動はできても速度は落ちるため、VRAM不足を補う応急処置として考えます。LM Studioのロード画面ではVRAM/RAMの使用量が見えるので、オフロードが発生しているか確認できます。

NPU（Copilot+ PCのAI機能向け）は、ローカルLLM推論の主戦場ではありません。Ollama/LM Studioの本命はNVIDIA CUDAかMac Metalです。NPUはWindowsのAI機能補助と割り切っておくと混乱しません。

ローカルLLMのGPU要否まとめ

ローカルLLMにGPUは必須ではありません。7B〜8B級のQ4をお試しするだけなら、CPU＋十分なRAMから始められます。ただ、毎日チャットしたり13B以上を快適に使ったりするなら、NVIDIAのVRAMやMacの統合メモリを使ったGPU推論を見た方が現実的です。

判断の順番は、試用か実用か → モデルサイズと量子化 → CPU/RAMで足りるか、GPU VRAM/統合メモリが要るか → 足りなければ親記事のランキングへ、です。

今のPCで7B Q4をCPU動作確認し、速度が物足りなければGPU付きPCの検討、容量が足りなければRAM増設や買い替え、という流れがいちばん無駄が少ないです。次は、買い方の直前で迷いやすいポイントをFAQで拾います。

よくある質問

CPUだけでローカルLLMは動きますか？ 7B〜8B級のQ4なら、RAM 16GB以上、できれば32GBで動きます。返答は1〜8 tok/sと遅めなので、毎日長時間使うならNVIDIA GPUかMac統合メモリのGPU推論を見た方が現実的です。

ローカルLLMに必要なGPUメモリはどのくらいですか？ 7B Q4ならVRAM 8GB、13B Q4なら12GB、34B Q4なら24GB級が目安です。70B級はVRAM 48GB以上、またはMac統合メモリ64GB以上を見ておきたいです。

MacBookでローカルLLMを動かすのにGPUは要りますか？ 専用GPUカードは不要ですが、推論自体はMetalのGPU処理を使います。統合メモリ24GBなら7B中心、32GBなら14B Q4、48GB以上なら32Bまで見えてきます。

内蔵GPUだけではローカルLLMは厳しいですか？ 内蔵GPUのVRAM割り当ては2〜4GBで、7B Q4すら載せにくいです。実質CPU推論に近い速度で、専用NVIDIA GPUやMac統合メモリとの差は大きいです。

GPUなし・RAM 16GBのノートPCで7B（Q4）は試せますか？ ロードはできることが多いですが、OSとブラウザ分を引くとギリギリです。他アプリを閉じ、短い会話だけに留めるのが現実的な上限です。毎日使うならRAM 32GBへの増設か、VRAM 8GB以上のGPU付きPCが必要です。

RTX 4060（VRAM 8GB）で13B（Q4）は毎日使えますか？ 13B Q4はVRAM 8GBに載りやすく、RAM 32GBと合わせれば日常チャットに向きます。32B Q4は本体が18GBを超えるためRAMへオフロードされ、返答は遅くなりやすいです。常用するならVRAM 24GB級を見ておきます。

OllamaとLM StudioでCPU/GPUの使い分けは変わりますか？ 推論デバイスの考え方は同じです。どちらもCPU推論モードとGPU推論があり、モデルサイズとVRAM/統合メモリで載る範囲が決まります。ソフト固有の手順は各記事を参照し、本記事ではデバイス比較に留めます。

具体的なおすすめPC　＞＞＞　ローカルLLM用PCおすすめランキング

関連記事

・ローカルLLM用PCおすすめランキング｜VRAM・メモリ別に紹介！(24GB/32GB/64GB) ・Ollamaに必要なPCスペックは？ローカルLLMを快適に動かすメモリ・GPU構成を解説 ・LM Studioに必要なPCスペックは？初心者向けにメモリ・GPU・VRAMの目安を解説 ・ローカルLLMにメモリ32GBは足りる？7B・14B・32Bモデル別に解説 ・AI開発におすすめのPCは？Python・ローカルLLM・画像生成で必要スペックを分ける ・RTX Spark搭載PCは普通の人に必要？ローカルAI PCの現実と買い時 ・ミニPCはN100だけじゃない？2026年のAI・ゲーミング小型PCの選び方

Amazon の PC をスコア化してみた

Amazonにある8〜14インチの小型WindowsタブレットやノートPCを、スペック別にスコア化して比較・ランキング。

※同一運営者のサイトです。