このあたりを読み違えないようにしたい。自戒。
そういうもの。
”数字のサイコロでは、400件すべてで「1」を選択した。そしてその選択に対して平均82.9%という極めて強気な確率を付けた。しかし、実際の的中率は19.0%（76/400）と、ほぼ理論上の期待値（16.7%）通りだった。” 謎の自信
"「速くて安い判断器であること」と「出力された数値を無条件に信頼できること」は別の問題だ。" jevでの確立を無条件で過信しない※ただしケースによる
それはそうなんだけど、サイコロの出目に対してまで校正をかけるかと言えばそこはネグるのが正解だと思う
「確率はこれこれです」って答えてはくれるけど、その確率が正しいとは限らないと…。そんなことじゃないかと思った。
「早い、安い、旨い」は「早くて安い"割に"旨い」ということであって、絶対的に旨いというわけではないんだよなぁ
プロダクトに埋め込んで実運用する程有用なサービスなら別途自前でデータを集めて小型モデルを学習して、Jevを代替する仕組みを作った方が良い(その方が長期的には安くなるし、精度も出る)みたいな感じになるのかな？
Jevはサイコロなんて振らないと思いながら、あと少しボクに近づいてほしくて。
素晴らしい検証。ハルシネーションが相変わらずあることがよく分かるし、モデルの限界や実力を分かった上で使おう。
Jev公式は、計算や数学的な整合は苦手だって言ってなかった？
choiceでサイコロを振っても6択は16.7%ではなく べき乗分布 で並ぶ(ノ∀`) noulで「正六面体のサイコロを振った。1が出た」がtrue29～37％「正六面体のサイコロを振った。1が出たか？」でtrue23%～27%
ふーむ
検証をちゃんとしててすごいけど、これって意味あるのかな。
“Jevは「システム1（直感的・即時の判断）」に特化した製品で、熟考を省くことで速さと安さを得ている。”語弊ありすぎだろ
“元文書に書かれていた「30%のリスク」をそのまま後続に伝えたかったはずが、Choiceを経由しただけで、5%の「ほぼ無視できるリスク」へと塗り替えられてしまったことになる。”
LLMにサイコロ振らせること自体がナンセンス
Jevの「較正された確率」を検証。公平なサイコロ400件で平均82.9％の確率を付けた一方、的中率は19.0％。業務文書の30％リスクを5.3％に縮める例も。確率は実データでの検証が必要。
Jevはサイコロを振らない｜「較正された確率」の意外な落とし穴｜林寛太 Kanta Hayashi
このあたりを読み違えないようにしたい。自戒。
そういうもの。
”数字のサイコロでは、400件すべてで「1」を選択した。そしてその選択に対して平均82.9%という極めて強気な確率を付けた。しかし、実際の的中率は19.0%（76/400）と、ほぼ理論上の期待値（16.7%）通りだった。” 謎の自信
"「速くて安い判断器であること」と「出力された数値を無条件に信頼できること」は別の問題だ。" jevでの確立を無条件で過信しない※ただしケースによる
それはそうなんだけど、サイコロの出目に対してまで校正をかけるかと言えばそこはネグるのが正解だと思う
「確率はこれこれです」って答えてはくれるけど、その確率が正しいとは限らないと…。そんなことじゃないかと思った。
「早い、安い、旨い」は「早くて安い"割に"旨い」ということであって、絶対的に旨いというわけではないんだよなぁ
プロダクトに埋め込んで実運用する程有用なサービスなら別途自前でデータを集めて小型モデルを学習して、Jevを代替する仕組みを作った方が良い(その方が長期的には安くなるし、精度も出る)みたいな感じになるのかな？
Jevはサイコロなんて振らないと思いながら、あと少しボクに近づいてほしくて。
素晴らしい検証。ハルシネーションが相変わらずあることがよく分かるし、モデルの限界や実力を分かった上で使おう。
Jev公式は、計算や数学的な整合は苦手だって言ってなかった？
choiceでサイコロを振っても6択は16.7%ではなく べき乗分布 で並ぶ(ノ∀`) noulで「正六面体のサイコロを振った。1が出た」がtrue29～37％「正六面体のサイコロを振った。1が出たか？」でtrue23%～27%
ふーむ
検証をちゃんとしててすごいけど、これって意味あるのかな。
“Jevは「システム1（直感的・即時の判断）」に特化した製品で、熟考を省くことで速さと安さを得ている。”語弊ありすぎだろ
“元文書に書かれていた「30%のリスク」をそのまま後続に伝えたかったはずが、Choiceを経由しただけで、5%の「ほぼ無視できるリスク」へと塗り替えられてしまったことになる。”
LLMにサイコロ振らせること自体がナンセンス
Jevの「較正された確率」を検証。公平なサイコロ400件で平均82.9％の確率を付けた一方、的中率は19.0％。業務文書の30％リスクを5.3％に縮める例も。確率は実データでの検証が必要。