うちはRAM128GBだけどCPUがArrow LakeなのでiGPUよりCPUの方が性能出そうかも。Ryzen AI Maxは256bit幅で高クロックLPDDR5だから性能的に有利ではあるけど
LLM動かすならVRAMなんぼあってもいいからなあ。
大容量VRAMの出し惜しみがこれで終わって欲しい
わい、Adrenalin をあまり信用してない(ノ∀`)
問題は速度だが
「メモリ128GBを搭載した環境で、VGMの最大割合である75%に当たる96GBをVRAMとして割り当て」ユニファイドメモリ感覚で使えるのだろうけど性能は所詮126TOPSだからな…
メモリ帯域幅が心配だったけど、生成速度がめっちゃ速いな。HP ZBook Ultra G1aはメモリがオンボードなので何らかの方法で高速接続されてるのかな。128GBモデルは74～83万円。
全ては力技で解決する（帯域大丈夫やろか？いけそうやね。ばんざーい、ばんざーい。金額的に革命が起きた気がするぞい！！コレでAMDに心置きなく切り替えられる）
多少遅かろうが動くもんを揃えるのにバカみたいな金額を払わなくても良くなるんだからいいもんだぜ。GMKtecのアレもメモリがDDR5X-8000とかオンボードで載ってるしそれなりの帯域は確保できてそう。
「640KBはすべての人にとって未来永劫充分なメモリだ」という迷言があるが、この勢いでは640GBも超えそうだ
今PCを検討中だが、GPU買って本気でAIやる気は無いけど、この手のメインメモリでお茶濁す技術に興味はある。AIしないなら32GBで十分お釣りが来るが、64GBにしようか迷う。スロット4個だし32GB×2にして、必要なら追加かな。
実行速度は? DDR5の4枚256GBそろそろ用意するか?
当てはまるRyzen AI Max 395+ 128GBマシンを持っているので試す
APUを長年やってきたAMDならではの手法だなー
Ryzen AI maxはLPDDR5X-8000対応で、通常のRyzen AIのLPDDR5-5600よりもメモリ帯域幅が広いのだ
235Bが動く50万円以下のPCまだ〜
MacBookPro M4 128GBでできてたことが、Windows PCでも可能になったのは福音。機内でも膝の上でLLMが動く。
動かすためには100万近くかかるかな。20万ぐらいに降りてくるのはいつになるだろう
"実行速度は?DDR5の4枚256GBそろそろ用意するか?" ／「AMDが公開したデモでは109Bのパラメータを持つ「Llama 4 Scout(Q4 K M)」が15tok/s」とのこと。DDR5はバス幅確保できない(デュアルチャネルで128bit幅)から微妙。
「メモリ128GBを搭載した環境で、VGMの最大割合である75%に当たる96GBをVRAMとして割り当てることで、LM Studio上にて128Bまでのパラメータを持つVulkan版llama.cppが実行可能」/まあ、128GB載ってないし、やんないけど。
このアプローチが一般的になって欲しいな。
NotePCである必然が薄いよなぁ。特にWindowsだとRDPも優秀だし、どこかでサーバ的に起動させておいたリソースを使うほうが嬉しい。
現状のPCでもメモリさえ積めば速度を妥協すればGPUなしで動くには動くんですけどね・・・。大昔のパケット通信並みの速度だけど。
MACみたいなことができるんだ。VRAM高いもんなあこれは普及してくれ
UDNA世代のこれが出たら買う。多分サーバー系の技術がつぎ込まれた世代でないとソフトウェアが安定しなさそうなので
“メモリ128GBを搭載した環境で、VGMの最大割合である75%に当たる96GBをVRAMとして割り当てることで、LM Studio上にて128Bまでのパラメータを持つVulkan版llama.cppが実行可能になる。”
この動画は5倍速だからね！注意してね！夢見すぎないでね！
Ryzen AI Max+ 395はメモリ帯域256GB/sしかないからLLM遅いと思う。旧世代のM1Maxで400GB/sだからあまり期待しない方が良い。 LLM用途で買うならMac studioのメモリ盛ってるモデルの方が良い。
↓メモリ帯域厨はPRIMEHPC FX700でも使ってろよ。A64FXにはFP16やBF16を扱う命令もあるぞ？（暴言）……主記憶がHBM2 32GBでNVMe SSD1枚しかローカルストレージを積めないけどな！
Ryzen AI Max+ 395×メモリ128GBで、ノートPCでも128BのLLMが動くように
うちはRAM128GBだけどCPUがArrow LakeなのでiGPUよりCPUの方が性能出そうかも。Ryzen AI Maxは256bit幅で高クロックLPDDR5だから性能的に有利ではあるけど
LLM動かすならVRAMなんぼあってもいいからなあ。
大容量VRAMの出し惜しみがこれで終わって欲しい
わい、Adrenalin をあまり信用してない(ノ∀`)
問題は速度だが
「メモリ128GBを搭載した環境で、VGMの最大割合である75%に当たる96GBをVRAMとして割り当て」ユニファイドメモリ感覚で使えるのだろうけど性能は所詮126TOPSだからな…
メモリ帯域幅が心配だったけど、生成速度がめっちゃ速いな。HP ZBook Ultra G1aはメモリがオンボードなので何らかの方法で高速接続されてるのかな。128GBモデルは74～83万円。
全ては力技で解決する（帯域大丈夫やろか？いけそうやね。ばんざーい、ばんざーい。金額的に革命が起きた気がするぞい！！コレでAMDに心置きなく切り替えられる）
多少遅かろうが動くもんを揃えるのにバカみたいな金額を払わなくても良くなるんだからいいもんだぜ。GMKtecのアレもメモリがDDR5X-8000とかオンボードで載ってるしそれなりの帯域は確保できてそう。
「640KBはすべての人にとって未来永劫充分なメモリだ」という迷言があるが、この勢いでは640GBも超えそうだ
今PCを検討中だが、GPU買って本気でAIやる気は無いけど、この手のメインメモリでお茶濁す技術に興味はある。AIしないなら32GBで十分お釣りが来るが、64GBにしようか迷う。スロット4個だし32GB×2にして、必要なら追加かな。
実行速度は? DDR5の4枚256GBそろそろ用意するか?
当てはまるRyzen AI Max 395+ 128GBマシンを持っているので試す
APUを長年やってきたAMDならではの手法だなー
Ryzen AI maxはLPDDR5X-8000対応で、通常のRyzen AIのLPDDR5-5600よりもメモリ帯域幅が広いのだ
235Bが動く50万円以下のPCまだ〜
MacBookPro M4 128GBでできてたことが、Windows PCでも可能になったのは福音。機内でも膝の上でLLMが動く。
動かすためには100万近くかかるかな。20万ぐらいに降りてくるのはいつになるだろう
"実行速度は?DDR5の4枚256GBそろそろ用意するか?" ／「AMDが公開したデモでは109Bのパラメータを持つ「Llama 4 Scout(Q4 K M)」が15tok/s」とのこと。DDR5はバス幅確保できない(デュアルチャネルで128bit幅)から微妙。
「メモリ128GBを搭載した環境で、VGMの最大割合である75%に当たる96GBをVRAMとして割り当てることで、LM Studio上にて128Bまでのパラメータを持つVulkan版llama.cppが実行可能」/まあ、128GB載ってないし、やんないけど。
このアプローチが一般的になって欲しいな。
NotePCである必然が薄いよなぁ。特にWindowsだとRDPも優秀だし、どこかでサーバ的に起動させておいたリソースを使うほうが嬉しい。
現状のPCでもメモリさえ積めば速度を妥協すればGPUなしで動くには動くんですけどね・・・。大昔のパケット通信並みの速度だけど。
MACみたいなことができるんだ。VRAM高いもんなあこれは普及してくれ
UDNA世代のこれが出たら買う。多分サーバー系の技術がつぎ込まれた世代でないとソフトウェアが安定しなさそうなので
“メモリ128GBを搭載した環境で、VGMの最大割合である75%に当たる96GBをVRAMとして割り当てることで、LM Studio上にて128Bまでのパラメータを持つVulkan版llama.cppが実行可能になる。”
この動画は5倍速だからね！注意してね！夢見すぎないでね！
Ryzen AI Max+ 395はメモリ帯域256GB/sしかないからLLM遅いと思う。旧世代のM1Maxで400GB/sだからあまり期待しない方が良い。 LLM用途で買うならMac studioのメモリ盛ってるモデルの方が良い。
↓メモリ帯域厨はPRIMEHPC FX700でも使ってろよ。A64FXにはFP16やBF16を扱う命令もあるぞ？（暴言）……主記憶がHBM2 32GBでNVMe SSD1枚しかローカルストレージを積めないけどな！