CodexやClaude Codeも強力だが、中国国内のPCで常用する場合、接続環境が不安定になりやすい。 Qwen CodeはAlibaba ModelStudioに直接接続でき、中国国内からVPNなしで利用できる。
即応性のとこだよなあ。せっかくメモリたくさんあっても転送速度の所がネックになるのは歯痒い。
オープンモデルによるローカルチャットで数十tok/secを出せても、エージェントで使うとガチ遅なので、そこは過度の期待をせず使うと良い。現状、商用課金モデルの代わりにはならないが、ローカルのメリットはある。
Ryzen AI Max+ 395、メモリ128GB／ Qwen3-32B Q4_K_MをRadeon 8060S上で100% GPU動作させ、Ollama ROCmで10.01 tok/s、llama.cpp Vulkanで11.41 tok/sを確認
ローカルLLMはやつまてる
中国のAIエージェントQwen Codeで、Ryzen AI MaxのローカルLLM環境を構築する 【ニコ技深圳フィールドノート】｜TAKASU Masakazu
CodexやClaude Codeも強力だが、中国国内のPCで常用する場合、接続環境が不安定になりやすい。 Qwen CodeはAlibaba ModelStudioに直接接続でき、中国国内からVPNなしで利用できる。
即応性のとこだよなあ。せっかくメモリたくさんあっても転送速度の所がネックになるのは歯痒い。
オープンモデルによるローカルチャットで数十tok/secを出せても、エージェントで使うとガチ遅なので、そこは過度の期待をせず使うと良い。現状、商用課金モデルの代わりにはならないが、ローカルのメリットはある。
Ryzen AI Max+ 395、メモリ128GB／ Qwen3-32B Q4_K_MをRadeon 8060S上で100% GPU動作させ、Ollama ROCmで10.01 tok/s、llama.cpp Vulkanで11.41 tok/sを確認
ローカルLLMはやつまてる