普通に便利そう
手元のゴミスペPCで動くか判定して4090買えって言われるだけのサイトか
謎のEXEファイルを実行させられるの怖すぎるだろ
「Hugging Faceの膨大なモデルライブラリから最適なモデルを探すのは、まるで海の中で針を探すようなもの」の解決策にはならないのでは?
性能スコアに釣られて導入したら異様にthinkingが長くて使い物にならなかったりするので難しい
実際のところ、動かすに値するモデルは限られているし、動作速度も、DenseかMoEかとモデルサイズで大体察しはつくのでそこまで困らないのだけど、多少の参考にはなる。ただこのサイトの計算式は結構雑。
未だにLM Studioは使った事がなかったが、デファクトってvLLM辺りじゃなかったのか。
信頼度はともかく、試してみよう
IvyのiGPU、RAM16GB、SATAーSSDで何を動かせって?
なんとなくこの記事炎上しそうだからメモっておこう
ローカルLLMの必要性が分からないオレに誰か教えてくれ。Claude / Claude Codeじゃダメなんか
有用
俺様のRX9060XTが入ってないやん。と言うか幾つか動かしてみれば直ぐにわかる事じゃないかと思うがねえ。
"謎のEXEファイル" ブラウザのWebGPUで判定するだけなのに何のことを指してる? / FP16やQ4_K_Mが何を意味するのか分からないような初心者の目安くらいにはなるかな?
謎のexe.js
これ系は「お前のPC如きではOpusどころかSonnet並モデルすら動きません」という結論が分かりきってるんだが動いて欲しい願望から定期的に再発明されてる。願望由来故にガチのAIマシンが正しく判定できないのもテンプレ。
ローカルLLM初心者向けに、PCスペックから動きそうなモデルと速度目安を出す「Can I Run AI locally?」を紹介。量子化ごとの品質・メモリ消費・速度も見られる。ただし検出精度は不完全で、CPU実行も想定外。
【やじうまPC Watch】 今のPCでローカルLLMがどの程度動くのか、ブラウザで自動判定するサイト
普通に便利そう
手元のゴミスペPCで動くか判定して4090買えって言われるだけのサイトか
謎のEXEファイルを実行させられるの怖すぎるだろ
「Hugging Faceの膨大なモデルライブラリから最適なモデルを探すのは、まるで海の中で針を探すようなもの」の解決策にはならないのでは?
性能スコアに釣られて導入したら異様にthinkingが長くて使い物にならなかったりするので難しい
実際のところ、動かすに値するモデルは限られているし、動作速度も、DenseかMoEかとモデルサイズで大体察しはつくのでそこまで困らないのだけど、多少の参考にはなる。ただこのサイトの計算式は結構雑。
未だにLM Studioは使った事がなかったが、デファクトってvLLM辺りじゃなかったのか。
信頼度はともかく、試してみよう
IvyのiGPU、RAM16GB、SATAーSSDで何を動かせって?
なんとなくこの記事炎上しそうだからメモっておこう
ローカルLLMの必要性が分からないオレに誰か教えてくれ。Claude / Claude Codeじゃダメなんか
有用
俺様のRX9060XTが入ってないやん。と言うか幾つか動かしてみれば直ぐにわかる事じゃないかと思うがねえ。
"謎のEXEファイル" ブラウザのWebGPUで判定するだけなのに何のことを指してる? / FP16やQ4_K_Mが何を意味するのか分からないような初心者の目安くらいにはなるかな?
謎のexe.js
これ系は「お前のPC如きではOpusどころかSonnet並モデルすら動きません」という結論が分かりきってるんだが動いて欲しい願望から定期的に再発明されてる。願望由来故にガチのAIマシンが正しく判定できないのもテンプレ。
ローカルLLM初心者向けに、PCスペックから動きそうなモデルと速度目安を出す「Can I Run AI locally?」を紹介。量子化ごとの品質・メモリ消費・速度も見られる。ただし検出精度は不完全で、CPU実行も想定外。