Attention再入門 is all you need

松尾研の圧倒的物量。Attentionの進化をここまで綺麗にまとめてくれるのは助かる。ブックマーク不可避

これってビートルズの曲が元だって事を去年技研ベースで知った。

#llm

“昨今のLLM分野の発展の始祖、Attention機構。一言で言えば、入力のどこに注目するかを学習する仕組み”

Attention機構「再入門」。RNN/LSTMの弱点→Attentionの基本（Q/K/V、重み付け）を押さえた上で、LLMの進化を“対象×アプローチ”のマトリクスで整理し、Attentionが登場以降どう発展してきたかを俯瞰する（勉強会資料の抜粋）。