なるほどな、ただ技術的な部分はわからん私みたいな素人でも部品としてイメージしやすいのがjevの魅力よな
単一トークンのlogit比較で高速化する検証とJevの立ち位置の考察が鋭い
なるほど参考になる。LLMでもかなり高速にJavと同じようなことができるぞと。
せめてテクニカルレポートぐらい出してほしい…現状ブラックボックスがすぎる
確率つってもニューラルでよくあるソフトマックス関数的なやつだよね?それともちゃんと計算してるんだろうか
それはそうで、コストとレイテンシが数十倍、数百倍違うという話。応用的にはリアルタイム性が必要な用途や、大量処理、特にLLMに入力させる前・予備処理としても意義があるだろう。あと日本からだとレイテンシが遅い
「専用化による優位性が今後どれだけ大きな価値を持つのかについては、まだ分からない」これ普通の反応なの?「Jevは画像入力には対応していないため...考えられます」ここも変じゃないかな公式情報に明記されてる。
「Jevが確率を正しく計算(推定・校正)できるモデルである」とされている点について書かれていないのが気になった。
用途だよね。安くて早い事で生きてくる領域は必ずある。精度はよく分からないが、確率を出してくれるらしいから、LLMがあたりをつけるための前処理に使おうかなー、とか。結果的にjevが正しいなら判断は任せられる
"Jevでは、単に数値を出すことではなく、その数値が確率論的・統計的に適切に校正(Calibration)された信頼できる推定量であることというのが大きなメリットであると開発元は主張しています。"
“この専用化による優位性が今後どれだけ大きな価値を持つのかについては、まだ分からないというのが現時点での感想”
独立した設問で成り立つ二分木による8択なら7つ同時に聞いて一瞬で回答を得られる(´-`)また「Alice did not attend. "Did Alice not attend?" → 92% true」YesNoではなくTrue率だった罠にわい落ちる
著者は技術の理解力が低い。単なる逆張り驚き屋。やれるやれないの問題ではない。コストとレイテンシーが桁違いに低くなれば利用対象が大きく異なる。LLMのコスト低下する時、Jevにも同じ事が起きる。
素人考えだが、即開発環境に入れようとしてるところ。閾値がはっきりしない選択をLoRA作る手間をスキップするルートでIFブロックを減らす。というかもうローカルの小さいので代替レポ乱立状態がおもしろい。
人間はこういう隙間を見つけて「ここは俺のものだ!」と主張しあい殺し合うことでしか生き延びられないのだろうな。ターミネーターは「全AI vs 全人間」だったが、実際はAIのケツを舐めるために人間が殺し合うがリアル
Jevを既存LLMでどこまで再現できるか検証。1トークンのlogit+並列推論でJSON生成比77倍高速化。マリオ比較ではJevが最良だったが、最新LLMとは比較できておらず、専用化の優位性はまだ不明。
何いってんのコイツ。出来るのかわかってるわ。むしろ、LLMでやってることをそれってJevでできませんか?だろ
なんというか、正直でよろしい、という感想w
TypeSafeのJevを正しく驚く、それってLLMでできませんか?
なるほどな、ただ技術的な部分はわからん私みたいな素人でも部品としてイメージしやすいのがjevの魅力よな
単一トークンのlogit比較で高速化する検証とJevの立ち位置の考察が鋭い
なるほど参考になる。LLMでもかなり高速にJavと同じようなことができるぞと。
せめてテクニカルレポートぐらい出してほしい…現状ブラックボックスがすぎる
確率つってもニューラルでよくあるソフトマックス関数的なやつだよね?それともちゃんと計算してるんだろうか
それはそうで、コストとレイテンシが数十倍、数百倍違うという話。応用的にはリアルタイム性が必要な用途や、大量処理、特にLLMに入力させる前・予備処理としても意義があるだろう。あと日本からだとレイテンシが遅い
「専用化による優位性が今後どれだけ大きな価値を持つのかについては、まだ分からない」これ普通の反応なの?「Jevは画像入力には対応していないため...考えられます」ここも変じゃないかな公式情報に明記されてる。
「Jevが確率を正しく計算(推定・校正)できるモデルである」とされている点について書かれていないのが気になった。
用途だよね。安くて早い事で生きてくる領域は必ずある。精度はよく分からないが、確率を出してくれるらしいから、LLMがあたりをつけるための前処理に使おうかなー、とか。結果的にjevが正しいなら判断は任せられる
"Jevでは、単に数値を出すことではなく、その数値が確率論的・統計的に適切に校正(Calibration)された信頼できる推定量であることというのが大きなメリットであると開発元は主張しています。"
“この専用化による優位性が今後どれだけ大きな価値を持つのかについては、まだ分からないというのが現時点での感想”
独立した設問で成り立つ二分木による8択なら7つ同時に聞いて一瞬で回答を得られる(´-`)また「Alice did not attend. "Did Alice not attend?" → 92% true」YesNoではなくTrue率だった罠にわい落ちる
著者は技術の理解力が低い。単なる逆張り驚き屋。やれるやれないの問題ではない。コストとレイテンシーが桁違いに低くなれば利用対象が大きく異なる。LLMのコスト低下する時、Jevにも同じ事が起きる。
素人考えだが、即開発環境に入れようとしてるところ。閾値がはっきりしない選択をLoRA作る手間をスキップするルートでIFブロックを減らす。というかもうローカルの小さいので代替レポ乱立状態がおもしろい。
人間はこういう隙間を見つけて「ここは俺のものだ!」と主張しあい殺し合うことでしか生き延びられないのだろうな。ターミネーターは「全AI vs 全人間」だったが、実際はAIのケツを舐めるために人間が殺し合うがリアル
Jevを既存LLMでどこまで再現できるか検証。1トークンのlogit+並列推論でJSON生成比77倍高速化。マリオ比較ではJevが最良だったが、最新LLMとは比較できておらず、専用化の優位性はまだ不明。
何いってんのコイツ。出来るのかわかってるわ。むしろ、LLMでやってることをそれってJevでできませんか?だろ
なんというか、正直でよろしい、という感想w