QATで事前圧縮を想定して学習させるの賢い。ローカルAIがさらに身近になるな
Locally AIに入れて使ってみてるけど、かなりレスポンス軽くていいかも
ある一定能力以下のAI(LLM)はいくら速くても害悪でしかないからなぁ。。。ノイズではなく、明確に利用する人間に不利益を与えてしまう。ユースケース限定でもいいのでそのラインを超えているかが最大の問題。
3んときもQATあったよな
スマホで動くAI、Gemma 4が量子化対応で1GB未満に。Googleが軽量モデル公開 - すまほん!!
QATで事前圧縮を想定して学習させるの賢い。ローカルAIがさらに身近になるな
Locally AIに入れて使ってみてるけど、かなりレスポンス軽くていいかも
ある一定能力以下のAI(LLM)はいくら速くても害悪でしかないからなぁ。。。ノイズではなく、明確に利用する人間に不利益を与えてしまう。ユースケース限定でもいいのでそのラインを超えているかが最大の問題。
3んときもQATあったよな