自己回帰生成モデルの熱力学を構築 ―大規模言語モデルに内在する「世界モデル」の定量的理解に向けて―

「コップが落ちた。割れた」の文順だけを逆にし、生成確率の差から出来事の順序を測る研究。語順を壊して文法力を測らない工夫がよい。因果理解の証明ではなく、生成AI製の評価文で得た傾向として読む。

「大規模言語モデル（Large Language Model, LLM）の基盤であるトランスフォーマーから、信号処理に用いられるカルマンフィルタまでを統一的に扱い、生成過程の不可逆性を表す「エントロピー生成」を効率的に推定する方法」

ディープラーニングもそうだけど情報科学って数学より物理学なのかね