NVIDIAの日本語モデル、9Bでこの性能は胸熱。Ollamaで動かん罠まで解説してくれて助かるわ
https://huggingface.co/models?other=base_model:quantized:nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese にggufはあるので、それを使えばいいのでは
良い記事なのでは
ライブラリのバージョンが古くて新しいモデルにまだ対応してないのをバグって言っちゃうの、
“Windows 11 での方法。Ollamaでは未対応。llama.cpp直接利用の完全手順：ダウンロードから safetensors モデルを GGUF変換、GUI環境構築まで”
gguf版をwebから直でlm studioを開かせれば一発で使えるよ。
9Bくらいなら Androidで動かせないかなーとおもったけど VRAMが無理そうだな..
NVIDIA日本語特化LLM「Nemotron-Nano-9B-v2-Japanese」をローカル実行する実践解説。Mamba-2＋Transformer構成の影響でOllamaがクラッシュする問題を分析し、llama.cpp直接利用やGGUF変換による回避手順を紹介。
こんな面倒なことしなくても、ggufなんてどうせ誰か公開してるやろ
動かしたいだけならLM Studio使えよ。WinでもMacでもLinuxでもちゃんとGPUアクセラレーション効いてとりあえず動くぞ。コマンドライン操作一切いらん。だいたいollamaはクラウドに舵切っててオワコンだろ。
“Nejumi Leaderboard 4”
Nemotron-Nano-9B-v2-Japaneseってなんだ？〜NVIDIAが放つ日本語特化9Bモデルをローカルで完全攻略〜 - Qiita
NVIDIAの日本語モデル、9Bでこの性能は胸熱。Ollamaで動かん罠まで解説してくれて助かるわ
https://huggingface.co/models?other=base_model:quantized:nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese にggufはあるので、それを使えばいいのでは
良い記事なのでは
ライブラリのバージョンが古くて新しいモデルにまだ対応してないのをバグって言っちゃうの、
“Windows 11 での方法。Ollamaでは未対応。llama.cpp直接利用の完全手順：ダウンロードから safetensors モデルを GGUF変換、GUI環境構築まで”
gguf版をwebから直でlm studioを開かせれば一発で使えるよ。
9Bくらいなら Androidで動かせないかなーとおもったけど VRAMが無理そうだな..
NVIDIA日本語特化LLM「Nemotron-Nano-9B-v2-Japanese」をローカル実行する実践解説。Mamba-2＋Transformer構成の影響でOllamaがクラッシュする問題を分析し、llama.cpp直接利用やGGUF変換による回避手順を紹介。
こんな面倒なことしなくても、ggufなんてどうせ誰か公開してるやろ
動かしたいだけならLM Studio使えよ。WinでもMacでもLinuxでもちゃんとGPUアクセラレーション効いてとりあえず動くぞ。コマンドライン操作一切いらん。だいたいollamaはクラウドに舵切っててオワコンだろ。
“Nejumi Leaderboard 4”