VisualStudio のビルドをLAN内の別のマシンに投げるような奴が昔あったけどアレの Local LLM版 かー
"RTX Spark搭載ノート2台、DGX Spark、RTX 5090搭載ノート、RTX搭載ゲーミングPC、MacBook Proを持つ家庭を例に取ると" どんな家庭やねん
“リクエスト単位で丸ごと別のPCに回す形” 肩透かしやな。
llama.cppやVllmに非対応+一番低いVRAMに引っ張られる感じなので、もう少し育つまで観察かなー/並列処理周りを自作不要+調整コスト外部化はデカいよー。Switchyardと少し被るが。
そのうち所有している家庭用ゲーム機や自動運転機能付き自動車(車載用GPU)のリソースを共有して利用出来るようにでもなるのだろうか。
余ってる家族のPCまで推論に巻き込むの草、真夏に全台フル稼働したら部屋がサウナになりそう
かつてのPS3が夢見た世界観に近づいている? / 「RTX Spark搭載ノート2台、DGX Spark、RTX 5090搭載ノート、RTX搭載ゲーミングPC、MacBook Proを持つ家庭を例に取ると」って、逸般の誤家庭かよ
アメリカの家庭で余っている全演算リソースを合わせても “GPT 5.6 Lunaのクラウド月額約1,200ドル(約17万7,000円)” にしかならないの恐ろしいな…
これは面白い。hadoopを思い出すわァ
PS3の見た夢
PS3のFolding@homeに参加してたけど、一ヶ月の電気代が一万円upしたので、その月でやめたのを思い出した
folding@homeを思い出した。/「電気代は米国の多くの地域で月120ドル(約1万7,700円)程度」電気代の推定が出てた(笑)
逸般家庭過ぎる
昔、2ちゃんねるでも分散処理プロジェクトのスレッドが結構あったね。そういうのを思い出す人も多いだろうなあ。
オラに演算能力を分けてくれ!NVIDIA、家庭内のPCで分散推論する「PAIR」
VisualStudio のビルドをLAN内の別のマシンに投げるような奴が昔あったけどアレの Local LLM版 かー
"RTX Spark搭載ノート2台、DGX Spark、RTX 5090搭載ノート、RTX搭載ゲーミングPC、MacBook Proを持つ家庭を例に取ると" どんな家庭やねん
“リクエスト単位で丸ごと別のPCに回す形” 肩透かしやな。
llama.cppやVllmに非対応+一番低いVRAMに引っ張られる感じなので、もう少し育つまで観察かなー/並列処理周りを自作不要+調整コスト外部化はデカいよー。Switchyardと少し被るが。
そのうち所有している家庭用ゲーム機や自動運転機能付き自動車(車載用GPU)のリソースを共有して利用出来るようにでもなるのだろうか。
余ってる家族のPCまで推論に巻き込むの草、真夏に全台フル稼働したら部屋がサウナになりそう
かつてのPS3が夢見た世界観に近づいている? / 「RTX Spark搭載ノート2台、DGX Spark、RTX 5090搭載ノート、RTX搭載ゲーミングPC、MacBook Proを持つ家庭を例に取ると」って、逸般の誤家庭かよ
アメリカの家庭で余っている全演算リソースを合わせても “GPT 5.6 Lunaのクラウド月額約1,200ドル(約17万7,000円)” にしかならないの恐ろしいな…
これは面白い。hadoopを思い出すわァ
PS3の見た夢
PS3のFolding@homeに参加してたけど、一ヶ月の電気代が一万円upしたので、その月でやめたのを思い出した
folding@homeを思い出した。/「電気代は米国の多くの地域で月120ドル(約1万7,700円)程度」電気代の推定が出てた(笑)
逸般家庭過ぎる
昔、2ちゃんねるでも分散処理プロジェクトのスレッドが結構あったね。そういうのを思い出す人も多いだろうなあ。