Martin Fowler が LLM を語る "私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいるのです" "こうした非決定性の進化は、私たちの職業の歴史において前例のないものです" わかる
マーチン・ファウラー
大規模アーカイブの読み出し方法みたいな話？
“「非決定的なツールでプログラミングするとはどういうことか」という問い”
“非決定性”
“私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいるのです。”
そうか、ソフトウェアエンジニア側から言うと「決定的なのが普通」で、「確率的」は「非決定的」って言うんだ。それが一番この文章で衝撃的だったかも。
邪推で申し訳ないんだけど、「決定的」だったのは、コンパイラやインタプリタの出力（機械側の出力）の話であって、仕様やユーザー行動のことではないよ。決定的だからバグが定義できる。使用漏れとバグの違い。
「私がはじめて仕事でプログラミングしたのはFortran IVでしたが、「IF」文には「ELSE」句がなく、整数型の変数の名前は「I」から「N」で始めることを覚えておく必要がありました。」
プログラミング言語は10回くらいループとか曖昧な依頼もできない（できにくい）から
機械語やアセンブラしかない時代は知らないので、一番の激動。最初期のChatGPTの基盤モデルGPT-3.5は、入力トークン数は4096しかなかったんじゃよ、と孫に語る日が来るかな？
もともと世の中はあいまいさがあった。それを無理に枠の中に押さえ込もうとしてきたのかもしれない
『私たちは仕事でLLMの使い方を学びながら、こうした非決定性とうまく付き合う方法を見つけなければなりません。この変化は劇的なものです。私はワクワクしています。残念ながら失うものもあるでしょう』
SQL も大分抽象的な言語で、実行はプランナーとオプティマイザの機嫌次第だけど、実質そんなに困ってないし Prompt の非決定性もそんなに恐れなくてもいいかもしれない。
LLMはすべてのパラメータが同じなら必ず同じ結果を返却します。それは決定的です。決定的なものが非決定的に見えるのは,単に,LLMベンダーが乱数を与えてるからです。私はMartin Fowlerが何者であるかを知っています。
非決定的という意味ではLLMは「人」に近いという気はする。 / LLMには乱数がvendorから与えられてはいるけど、どのみち入力がほんの少し変わるだけで出力が大きく変わる可能性があるので、事実上の非決定性はあると思う。
非決定性
LLMは新しい抽象化をもたらす - Martin Fowler's Bliki (ja)
Martin Fowler が LLM を語る "私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいるのです" "こうした非決定性の進化は、私たちの職業の歴史において前例のないものです" わかる
マーチン・ファウラー
大規模アーカイブの読み出し方法みたいな話？
“「非決定的なツールでプログラミングするとはどういうことか」という問い”
“非決定性”
“私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいるのです。”
そうか、ソフトウェアエンジニア側から言うと「決定的なのが普通」で、「確率的」は「非決定的」って言うんだ。それが一番この文章で衝撃的だったかも。
邪推で申し訳ないんだけど、「決定的」だったのは、コンパイラやインタプリタの出力（機械側の出力）の話であって、仕様やユーザー行動のことではないよ。決定的だからバグが定義できる。使用漏れとバグの違い。
「私がはじめて仕事でプログラミングしたのはFortran IVでしたが、「IF」文には「ELSE」句がなく、整数型の変数の名前は「I」から「N」で始めることを覚えておく必要がありました。」
プログラミング言語は10回くらいループとか曖昧な依頼もできない（できにくい）から
機械語やアセンブラしかない時代は知らないので、一番の激動。最初期のChatGPTの基盤モデルGPT-3.5は、入力トークン数は4096しかなかったんじゃよ、と孫に語る日が来るかな？
もともと世の中はあいまいさがあった。それを無理に枠の中に押さえ込もうとしてきたのかもしれない
『私たちは仕事でLLMの使い方を学びながら、こうした非決定性とうまく付き合う方法を見つけなければなりません。この変化は劇的なものです。私はワクワクしています。残念ながら失うものもあるでしょう』
SQL も大分抽象的な言語で、実行はプランナーとオプティマイザの機嫌次第だけど、実質そんなに困ってないし Prompt の非決定性もそんなに恐れなくてもいいかもしれない。
LLMはすべてのパラメータが同じなら必ず同じ結果を返却します。それは決定的です。決定的なものが非決定的に見えるのは,単に,LLMベンダーが乱数を与えてるからです。私はMartin Fowlerが何者であるかを知っています。
非決定的という意味ではLLMは「人」に近いという気はする。 / LLMには乱数がvendorから与えられてはいるけど、どのみち入力がほんの少し変わるだけで出力が大きく変わる可能性があるので、事実上の非決定性はあると思う。
非決定性