アクセスした瞬間に手元のPCを判定→6段階で各モデルの動作レベルを表示。ブラウザ上で完結。他も調べられるためデバイス購入前にチェック可能
これ便利だな。ローカル環境で何が動くか不安な層には刺さる。とりあえずVRAMが全てって現実は変わらんが
LMStudioの検索機能で欲しいやつ。数GB落としてくるのを待った後に "model load failed"の一言で終わってしまう悲しみから解放してくれ
スリザリン
電気屋のパソコンからアクセスしたい
MacBook Proにメモリをいっぱい積んだのでこの手の心配がなくなったけど、こんどはMacBook ProのGPUがクソなのが気になってくるという…
“CanIRun.ai”
頭いいな
CanItRun.crysisが出たら起こしてくれ
へー、これは便利
すごE
これ多分FP16でやってるけど今は大体量子化しちゃうから参考にならないと思う。全然大きいの走るし、Tokスピードも出るよ
ファイルサイズでだいたいわかる。LM Studioは無理だと警告が表示されてるはず。Kimi Kシリーズはでかすぎて断念した。
AI周りのニーズは数か月で大変化するからPCメーカーは怖くて追従できない。ローカルAIの需要が数年続いて確実にならないとPCの設計は変わらないだろうなぁ。
グラボ乗っけてない民ワイも挑戦してみよう
外付けGPUとGPUドックが欲しくなるなぁ。。
GPUが古すぎるとグラフィックメモリ不足で必要最低限の動作環境まで行かないんだよな。
sandybridgeで動くローカルAIはありますか?
sotonohitokun ベースラインはFP16ではなくQ4_K_Mになってる。それはそれとしてこのサイトの計算は雑な部分もありあくまで参考程度とみるのがいいと思うけど
「君のPC、どのローカルAIを動かせる?」がわかるWebサイト「CanIRun.ai」が便利。訪問するだけで自動判定(生成AIクローズアップ) | テクノエッジ TechnoEdge
アクセスした瞬間に手元のPCを判定→6段階で各モデルの動作レベルを表示。ブラウザ上で完結。他も調べられるためデバイス購入前にチェック可能
これ便利だな。ローカル環境で何が動くか不安な層には刺さる。とりあえずVRAMが全てって現実は変わらんが
LMStudioの検索機能で欲しいやつ。数GB落としてくるのを待った後に "model load failed"の一言で終わってしまう悲しみから解放してくれ
スリザリン
電気屋のパソコンからアクセスしたい
MacBook Proにメモリをいっぱい積んだのでこの手の心配がなくなったけど、こんどはMacBook ProのGPUがクソなのが気になってくるという…
“CanIRun.ai”
頭いいな
CanItRun.crysisが出たら起こしてくれ
へー、これは便利
すごE
これ多分FP16でやってるけど今は大体量子化しちゃうから参考にならないと思う。全然大きいの走るし、Tokスピードも出るよ
ファイルサイズでだいたいわかる。LM Studioは無理だと警告が表示されてるはず。Kimi Kシリーズはでかすぎて断念した。
AI周りのニーズは数か月で大変化するからPCメーカーは怖くて追従できない。ローカルAIの需要が数年続いて確実にならないとPCの設計は変わらないだろうなぁ。
グラボ乗っけてない民ワイも挑戦してみよう
外付けGPUとGPUドックが欲しくなるなぁ。。
GPUが古すぎるとグラフィックメモリ不足で必要最低限の動作環境まで行かないんだよな。
sandybridgeで動くローカルAIはありますか?
sotonohitokun ベースラインはFP16ではなくQ4_K_Mになってる。それはそれとしてこのサイトの計算は雑な部分もありあくまで参考程度とみるのがいいと思うけど