大抵のものの9割はゴミだし、だからこそ裾野の広さが大事になってくる。
そのゴミが重要だし人生大半ゴミだし、人間同士の話で情報量みたいな話をしたら1割未満だと思うし。俺の好きな広東語で「廢話」ってのがあってずっと話してるどうでもいい無駄話とかの意味だぞ。いいじゃんそれで。
これはすごい。試してみたいがまだ実用段階ではないんだろうか "Headroomは、LLMに送られるコンテキストウィンドウ(モデルが一度に読む入力と出力の全領域)の中身を、モデルに届く前に圧縮する"
AIは、意味を理解してないし、理解する必要もなく、結局のところ人間の価値判断が必要になる。人間による最終調整、責任者としての確認が必要。確率を上げることはできるけど、そこに至るまでゴミを生み出し続ける。
通貨かと思ったら生成AIの話だった。ネットフリックスのエンジニアがローカルでプロンプトを圧縮するオープンソースのツールを開発して全世界で一億円以上のコストを削減したと。すげえ。
試してみようと思ったらRTKで既に実装してたわ。
↓ゴミという言葉に反発してる人たち、要点はそこじゃなくて、ゴミにお金を余計に払わないといけないという話なのだし、このゴミは中間生成物（メタデータ）でコンテキストですらないのだが？
「Headroomが投げかけている問いは、実はツールの話ではない。LLMに送っている情報の大半が本当に必要なのか、という構造的な問いだ」なぜ「データ」と「指示」の入力経路が同一なのかとか、LLMは基本がおかしい。
スタージョンの法則「SFの90%はゴミである。ただし、あらゆるものの90%はゴミである」
Netflixのエンジニアが、LLMに送るトークンの最大90%は冗長だとし、事前にコンテキストを圧縮するOSS「Project Headroom」を開発。AIコーディング費用の膨張に一石。
結局コスト論にいくならそんだけ払っても有り余るくらいエンジニアをレイオフしてんだろーがという話になる。CO2排出についての議論になるなら十分道義的に追求されるべきだと思う。
人生のほとんどもゴミ、地球のほとんどもゴミ、宇宙のほとんどもゴミ。
そりゃAIプラットフォーム提供側は利益を生むトークン数を減らす方向の努力はしないでしょうよ。やるのは他社との競争原理が働いた場合か、AIの計算資源確保の苦労がトークンの利益を上回ってからでしょうね。
AIトークンの9割はゴミだった
大抵のものの9割はゴミだし、だからこそ裾野の広さが大事になってくる。
そのゴミが重要だし人生大半ゴミだし、人間同士の話で情報量みたいな話をしたら1割未満だと思うし。俺の好きな広東語で「廢話」ってのがあってずっと話してるどうでもいい無駄話とかの意味だぞ。いいじゃんそれで。
これはすごい。試してみたいがまだ実用段階ではないんだろうか "Headroomは、LLMに送られるコンテキストウィンドウ(モデルが一度に読む入力と出力の全領域)の中身を、モデルに届く前に圧縮する"
AIは、意味を理解してないし、理解する必要もなく、結局のところ人間の価値判断が必要になる。人間による最終調整、責任者としての確認が必要。確率を上げることはできるけど、そこに至るまでゴミを生み出し続ける。
通貨かと思ったら生成AIの話だった。ネットフリックスのエンジニアがローカルでプロンプトを圧縮するオープンソースのツールを開発して全世界で一億円以上のコストを削減したと。すげえ。
試してみようと思ったらRTKで既に実装してたわ。
↓ゴミという言葉に反発してる人たち、要点はそこじゃなくて、ゴミにお金を余計に払わないといけないという話なのだし、このゴミは中間生成物（メタデータ）でコンテキストですらないのだが？
「Headroomが投げかけている問いは、実はツールの話ではない。LLMに送っている情報の大半が本当に必要なのか、という構造的な問いだ」なぜ「データ」と「指示」の入力経路が同一なのかとか、LLMは基本がおかしい。
スタージョンの法則「SFの90%はゴミである。ただし、あらゆるものの90%はゴミである」
Netflixのエンジニアが、LLMに送るトークンの最大90%は冗長だとし、事前にコンテキストを圧縮するOSS「Project Headroom」を開発。AIコーディング費用の膨張に一石。
結局コスト論にいくならそんだけ払っても有り余るくらいエンジニアをレイオフしてんだろーがという話になる。CO2排出についての議論になるなら十分道義的に追求されるべきだと思う。
人生のほとんどもゴミ、地球のほとんどもゴミ、宇宙のほとんどもゴミ。
そりゃAIプラットフォーム提供側は利益を生むトークン数を減らす方向の努力はしないでしょうよ。やるのは他社との競争原理が働いた場合か、AIの計算資源確保の苦労がトークンの利益を上回ってからでしょうね。