MoEなら通信なしでいけるのデカいな。余った旧世代GPUの墓場が捗りそう
おぉ…
GPU2枚差し(両方ともPCI-exp 4.0 x8接続、チップセットを経由しない)を試してGPU間の通信に足引っ張られて案外速度でなかったけど、こっちはどういう仕組みで実用的なんだろう。知らないだけでいい同期の方法がある?
使ってないPS4とかもそのうち繋ぐだけで、使えるようになったらエコだな
おもしろい!
mesh-llm:余っているPCのGPUを束ねて巨大LLMを動かす分散推論の新アプローチ - Qiita
MoEなら通信なしでいけるのデカいな。余った旧世代GPUの墓場が捗りそう
おぉ…
GPU2枚差し(両方ともPCI-exp 4.0 x8接続、チップセットを経由しない)を試してGPU間の通信に足引っ張られて案外速度でなかったけど、こっちはどういう仕組みで実用的なんだろう。知らないだけでいい同期の方法がある?
使ってないPS4とかもそのうち繋ぐだけで、使えるようになったらエコだな
おもしろい!