「自分のPCでAIを動かしたいけど、RTX 3060 12GBでどこまでできるの？」と気になっている方は多いと思います。この記事では、RTX 3060 12GBを搭載したPCを実際に自作してローカルLLMを動かしてみた体験をもとに、できること・できないこと・始め方を具体的に解説します。スペックの試算ミスや実測の速度データも包み隠さずお伝えします。

RTX 3060 12GBとは？ローカルLLMに使われる理由

RTX 3060 12GBは、NVIDIAが製造するデスクトップ向けGPUです。GeForce RTXシリーズはゲーム用として広く知られていますが、CUDA（NVIDIAの並列演算基盤）を備えているため、AIの推論処理にも活用されています。

ローカルLLMとは、ChatGPTのような大規模言語モデルをクラウドではなく手元のPCで動かす仕組みのことです。モデルのパラメータをVRAM（グラフィックスメモリ）に展開して処理するため、VRAMの容量がボトルネックになります。RTX 3060の特徴は、同世代の上位GPUより低価格でありながら、VRAMが12GBと比較的大きい点です（執筆時点）。この12GBが、ローカルLLMのエントリーとして注目される主な理由です。

RTX 3060 12GBでできること・特徴

  • 8B規模のモデルを長いコンテキストでGPUに全量載せられます：執筆時点では、筆者の環境では qwen3:8b をコンテキスト32,768トークンのままGPUで処理するという使い方ができます。
  • インターネット接続なしでAIを利用できます：会社の規則や個人情報の扱いでクラウドAPIに送れないテキストを、完全ローカルで処理するという使い方ができます。
  • 月額API料金がかかりません：初期のハードウェア費用はかかりますが、いったん環境を整えれば追加費用を気にせず大量のリクエストを試すことができます。
  • OllamaやOpen WebUIと組み合わせて使えます：Ollamaというオープンソースツールを使うと、コマンド一つでモデルのダウンロードから実行まで完結します。REST APIも自動で立ち上がるため、自作ツールから呼び出すという使い方ができます。
  • 14Bモデルも条件付きで動かせます：コンテキスト長を短めに設定すれば、14B規模のモデルをGPUに全量載せることができます（詳細は後述）。

実際に使ってみた：セットアップから動かすまで

筆者の環境

2026年7月、ローカルLLMを動かすことを目的にPCを自作しました。構成はRyzen 5 5500GT／メモリ32GB（DDR4）／RTX 3060 12GB／Ubuntu 24.04で、総額は約15.6万円でした。ディスプレイはCPUの内蔵GPU側に接続し、RTX 3060のVRAM 12GBをLLM専用に空けています。

OllamaでLLMを動かすまでの手順

筆者が使っているのはOllamaとllama.cppです。Ollamaは公式サイト（ollama.com）のインストールスクリプトを実行するだけでセットアップできます。モデルを動かすまでの流れはおおむね以下の通りです。

  • 公式サイトのワンライナーコマンドでOllamaをインストールする
  • ollama run qwen3:8b などのコマンドでモデルをダウンロード・起動する
  • ターミナル上でそのままチャットができる状態になる
  • REST APIも同時に立ち上がり、自作ツールからHTTPリクエストで呼び出せる

個人開発での使いどころの例としては、外部に送りたくないソースコードや文書を手元で処理する使い方があります。ただし 14B のコーディング向けモデル（qwen2.5-coder:14b）は、筆者の環境ではコンテキスト 4,096 でしか GPU に全部載らなかったため、長いファイルを丸ごと渡す使い方には向きませんでした（実測は下記）。

実測データ（2026年8月時点）

筆者の環境での生成速度と状態は以下の通りです。

  • qwen3:8b：生成速度 21.5トークン/秒。コンテキスト 32,768 でも GPU に全部載った。
  • qwen3.6-35b-a3b（MoEモデル）：33.2トークン/秒。MoEとは一度に動くパラメータの範囲が小さいアーキテクチャで、35Bでありながら8Bより速い結果になりました。
  • qwen2.5-coder:14b（コンテキスト4,096）：GPUに全量載った状態。コンテキストを8,192にすると7%、32,768にすると26%がCPU側にあふれます。

なお、最初の測定では「6.1トークン/秒」という数字が出ましたが、これはモデルの起動時間まで含めて割った計算ミスでした。生成速度を測るときはモデルが安定した後の値を使う必要があります。

デメリット・注意点：こんな人には向かないかもしれません

  • 14Bモデルの長いコンテキストは想定より難しい：購入前の試算では「14B＋コンテキスト32Kで約11.7GB、ぎりぎり載る」と見ていましたが、実際は外れました。ディスプレイ表示など他の用途で消費されるVRAMを計算に入れていなかったためです。VRAM 12GBといっても、LLMに使える実効容量は12GBより少ない点を念頭に置く必要があります。
  • 複数モデルの同時起動は速度が落ちます：軽いモデル同士でも同時に動かすと生成速度が約44%落ちる場面がありました。複数のアプリやエージェントから並行してリクエストを投げる運用には向かないかもしれません。
  • 初期費用がかかります：筆者の場合、PC自作で約15.6万円かかりました。まず試したいだけならクラウドAPIの方が手軽です。
  • 最新の大規模クラウドモデルとは性能差があります：8B〜14Bモデルは多くの用途で便利ですが、最新クラウドモデルと同等の精度を求める場面では物足りなさを感じることもあります。
  • ある程度のCLI知識が必要です：OllamaはWindows対応もしていますが（執筆時点）、GPUドライバのセットアップやメモリ不足エラーへの対処まで含めると、コマンドライン操作に慣れている方が進めやすいです。

似た選択肢との比較：どちらが自分に合うか

RTX 3060 12GB（ローカル）とクラウドAPIの違い

  • 初期費用：ローカルはGPU代・PC代がかかります。クラウドAPIはほぼゼロ。
  • ランニングコスト：ローカルは電気代のみ。クラウドAPIは使った分だけ課金が発生します。
  • プライバシー：ローカルは完全ローカル処理。クラウドAPIはデータが外部に送信されます。
  • モデルの性能：ローカルはVRAMに収まる規模まで。クラウドAPIは最新・最大規模のモデルを使えます。

RTX 3060 12GBが向いている人：プライベートなコードや文書をAIに処理させたい方、API費用を気にせず大量に試行錯誤したい個人開発者の方。

クラウドAPIが向いている人：まず試してみたい方、初期投資を抑えたい方、最新・最大規模モデルが必要な方。

RTX 3060 12GBとApple Silicon（M-seriesシリーズ）の違い

Apple SiliconはCPUとGPUがメモリを共有する構造のため、メモリ容量のほぼすべてをLLMに使えます。RTX 3060のVRAMとは構造が異なります。すでにMacユーザーで追加のGPU出費を抑えたい方や、macOSの使いやすさを重視する方はApple Siliconも選択肢になるかもしれません。

よくある質問（FAQ）

Q: RTX 3060 12GBを使ったローカルLLMは無料で始められますか？

GPUカード自体は購入が必要なため、ハードウェアへの初期投資がかかります。一方、ローカルLLMのソフトウェア（OllamaやLlama.cpp）や多くのモデルはオープンソースで無料公開されています（執筆時点）。月額のAPIサービスとは異なり、ハードウェアをそろえれば継続的な課金は発生しません。対応モデルやライセンスは変わる場合があるため、各プロジェクトの公式サイトで最新情報をご確認ください。

Q: プログラミング初心者でも始められますか？

Ollamaのインストール自体はコマンドを数行実行するだけで完了します。ただし、GPUドライバのセットアップ（特にLinux環境）やVRAMの容量不足エラーへの対処など、ある程度のCLI操作やトラブルシューティングの経験があると進めやすいです。コマンドラインにまったく触れたことがない方には、まずクラウドAPIサービスから試してみることも一つの方法です。

Q: RTX 3060 12GBの代わりになる選択肢はありますか？

代表的な選択肢として2つ挙げます。①クラウドAPI（OpenAI・Anthropicなど）：初期費用なしで最新モデルをすぐ試せます。大量利用でなければコストも抑えやすく、ローカルLLMを検討し始めたばかりの方の入口として使いやすいです。②Apple Siliconシリーズ：M3・M4チップ搭載のMacはCPU・GPUで共有メモリを活用できるため、同じ容量でも実効的な使えるメモリ量が変わる場合があります。すでにMacユーザーで、追加のGPU購入を避けたい方に向いているかもしれません。

まとめ

RTX 3060 12GBは、ローカルLLMを始めるための選択肢の一つです。8Bモデルであれば長いコンテキストでもGPUに収まり、14Bモデルもコンテキストを短めにすれば動かすことができます。ただし、VRAMの実効容量は12GB丸々ではなく、事前の試算より少なくなる点に注意が必要です。プライバシーを重視した個人開発用途や、API費用を気にせず試行錯誤したい方には向いている選択肢ですが、まず試すだけならクラウドAPIの方が手軽です。自分の用途やスキルレベルと照らし合わせながら、判断してみてください。