第905回　新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp

“llama.cppではUbuntuのNVIDIA CUDA用バイナリは配布していないので、自前でビルドする。VRAM 6〜8GBにおすすめはQwen3.5-9B。VRAM　12GBにはgpt-oss-20b。VRAM16GBにはQwen 3.5 27B Q3_K_M”