【初心者向け】ローカルLLMの色々な動かし方まとめ

“lamma.cppは推論が早めでGGUFを動かせるがGUIがない。GGUF変換や量子化に使う。モデル使用だけならWrapperでよい。Ollama,LMStudio,KoboldCppがWrapperで初心者向け。vLLMは推論が速く個人から大規模商用まで。Dockerで動かす例。”