大抵のものの9割はゴミだし、だからこそ裾野の広さが大事になってくる。
そのゴミが重要だし人生大半ゴミだし、人間同士の話で情報量みたいな話をしたら1割未満だと思うし。俺の好きな広東語で「廢話」ってのがあってずっと話してるどうでもいい無駄話とかの意味だぞ。いいじゃんそれで。
これはすごい。試してみたいがまだ実用段階ではないんだろうか "Headroomは、LLMに送られるコンテキストウィンドウ(モデルが一度に読む入力と出力の全領域)の中身を、モデルに届く前に圧縮する"
AIは、意味を理解してないし、理解する必要もなく、結局のところ人間の価値判断が必要になる。人間による最終調整、責任者としての確認が必要。確率を上げることはできるけど、そこに至るまでゴミを生み出し続ける。
通貨かと思ったら生成AIの話だった。ネットフリックスのエンジニアがローカルでプロンプトを圧縮するオープンソースのツールを開発して全世界で一億円以上のコストを削減したと。すげえ。
試してみようと思ったらRTKで既に実装してたわ。
↓ゴミという言葉に反発してる人たち、要点はそこじゃなくて、ゴミにお金を余計に払わないといけないという話なのだし、このゴミは中間生成物（メタデータ）でコンテキストですらないのだが？
「Headroomが投げかけている問いは、実はツールの話ではない。LLMに送っている情報の大半が本当に必要なのか、という構造的な問いだ」なぜ「データ」と「指示」の入力経路が同一なのかとか、LLMは基本がおかしい。
スタージョンの法則「SFの90%はゴミである。ただし、あらゆるものの90%はゴミである」
Netflixのエンジニアが、LLMに送るトークンの最大90%は冗長だとし、事前にコンテキストを圧縮するOSS「Project Headroom」を開発。AIコーディング費用の膨張に一石。
結局コスト論にいくならそんだけ払っても有り余るくらいエンジニアをレイオフしてんだろーがという話になる。CO2排出についての議論になるなら十分道義的に追求されるべきだと思う。
人生のほとんどもゴミ、地球のほとんどもゴミ、宇宙のほとんどもゴミ。
そりゃAIプラットフォーム提供側は利益を生むトークン数を減らす方向の努力はしないでしょうよ。やるのは他社との競争原理が働いた場合か、AIの計算資源確保の苦労がトークンの利益を上回ってからでしょうね。
通勤時間はゴミだが、その時間がないと仕事できないみたいな話ではないのか
なんかいつの間にかserenaのmcpサーバが入ってる(・ω・)
AIは仕事が早い代わりに人間に輪をかけて膨大な無駄を出しているって話？
まったく人類は仕方ないな
ブコメの9割もゴミだから、 このツールで無駄をとってもらおう！（真っ先に消されるブコメ）
「Uberは...AI予算をわずか4カ月で使い切ったという。エンジニア1人あたりの月額コストは150〜250ドル(約2万4000〜4万円)、ヘビーユーザーでは500〜2000ドル(約8万〜32万円)」安くない?この金額すら課金できないの?
公式でやってほしいんだがインセンティブがないんだよなあ
トークン節約
ツールとかの無駄なトークンはtool calling工夫すればかなり減らせる気がするのだけど、それをするメリットがLLM提供元にはあまりないからな。いよいよ高くなってopencodeみたいなところに流れ出したら頑張るかもしれない。
私が話すことの95%くらいはゴミだと思うし。何言うとんねん感。
登録しないと読めないの？って思っちゃったじゃん！（バッテン押すと素直に消えます）
エージェント型コーディングは贅沢なトークンの使い方だよなあとは思う。
これがほんとなら あと1 〜2年で実装されるんだろうな ちょっと前はAIに計算させると間違えると言う話だったが、今はPythonコードを書いて実行結果で表示するようになった
ちゃんと読まずにコメントしている人も多そうだけど、この圧縮技術が標準化されたところでユーザーから更に9割以上のゴミを食わされるだけなんでしょ、と考えたら結果は同じなのかもしれない・・・
余計なこと喋らせないプロンプト制御も必要そうだしし、何よりコード書く時もそれ以外の利用も出力が使い捨てにならない様な仕掛けがいるような
9割はゴミでもClaudeがTOPレベルなのは何故？そこを改善すればもっと優秀になるの？
人間トークンも9割方ゴミっぽい
AI「流石です。減った分は値上げしますね。」
ポエム灯台のブクマの9割はbotだった
( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰ これが真なら今すぐ全部に導入してほしいなぁ。電気代も安くなるんじゃないの？AIを提供してる側からしてもいい事おおいんじゃないかなぁ。
原始人口調でトークン減らす話もあったな https://zenn.dev/mikana0918/articles/7ad57493a04f88
まあ、AIそのものが、バカでかいデータをバカみたいな計算量でぶん回してる、富豪プログラミングの一種だからな。良く出来たコピペツール、パターン抽出していい感じにアレンジしてくれるがその分大量に無駄はある
トークンが節約できれば費用が抑えられる。よく気づいたな開発者
AIコーディングでトークン無駄が肥大化し、Headroomが圧縮で最大90%削減・可逆化する。
AIトークンの9割はゴミだった
大抵のものの9割はゴミだし、だからこそ裾野の広さが大事になってくる。
そのゴミが重要だし人生大半ゴミだし、人間同士の話で情報量みたいな話をしたら1割未満だと思うし。俺の好きな広東語で「廢話」ってのがあってずっと話してるどうでもいい無駄話とかの意味だぞ。いいじゃんそれで。
これはすごい。試してみたいがまだ実用段階ではないんだろうか "Headroomは、LLMに送られるコンテキストウィンドウ(モデルが一度に読む入力と出力の全領域)の中身を、モデルに届く前に圧縮する"
AIは、意味を理解してないし、理解する必要もなく、結局のところ人間の価値判断が必要になる。人間による最終調整、責任者としての確認が必要。確率を上げることはできるけど、そこに至るまでゴミを生み出し続ける。
通貨かと思ったら生成AIの話だった。ネットフリックスのエンジニアがローカルでプロンプトを圧縮するオープンソースのツールを開発して全世界で一億円以上のコストを削減したと。すげえ。
試してみようと思ったらRTKで既に実装してたわ。
↓ゴミという言葉に反発してる人たち、要点はそこじゃなくて、ゴミにお金を余計に払わないといけないという話なのだし、このゴミは中間生成物（メタデータ）でコンテキストですらないのだが？
「Headroomが投げかけている問いは、実はツールの話ではない。LLMに送っている情報の大半が本当に必要なのか、という構造的な問いだ」なぜ「データ」と「指示」の入力経路が同一なのかとか、LLMは基本がおかしい。
スタージョンの法則「SFの90%はゴミである。ただし、あらゆるものの90%はゴミである」
Netflixのエンジニアが、LLMに送るトークンの最大90%は冗長だとし、事前にコンテキストを圧縮するOSS「Project Headroom」を開発。AIコーディング費用の膨張に一石。
結局コスト論にいくならそんだけ払っても有り余るくらいエンジニアをレイオフしてんだろーがという話になる。CO2排出についての議論になるなら十分道義的に追求されるべきだと思う。
人生のほとんどもゴミ、地球のほとんどもゴミ、宇宙のほとんどもゴミ。
そりゃAIプラットフォーム提供側は利益を生むトークン数を減らす方向の努力はしないでしょうよ。やるのは他社との競争原理が働いた場合か、AIの計算資源確保の苦労がトークンの利益を上回ってからでしょうね。
通勤時間はゴミだが、その時間がないと仕事できないみたいな話ではないのか
なんかいつの間にかserenaのmcpサーバが入ってる(・ω・)
AIは仕事が早い代わりに人間に輪をかけて膨大な無駄を出しているって話？
まったく人類は仕方ないな
ブコメの9割もゴミだから、 このツールで無駄をとってもらおう！（真っ先に消されるブコメ）
「Uberは...AI予算をわずか4カ月で使い切ったという。エンジニア1人あたりの月額コストは150〜250ドル(約2万4000〜4万円)、ヘビーユーザーでは500〜2000ドル(約8万〜32万円)」安くない?この金額すら課金できないの?
公式でやってほしいんだがインセンティブがないんだよなあ
トークン節約
ツールとかの無駄なトークンはtool calling工夫すればかなり減らせる気がするのだけど、それをするメリットがLLM提供元にはあまりないからな。いよいよ高くなってopencodeみたいなところに流れ出したら頑張るかもしれない。
私が話すことの95%くらいはゴミだと思うし。何言うとんねん感。
登録しないと読めないの？って思っちゃったじゃん！（バッテン押すと素直に消えます）
エージェント型コーディングは贅沢なトークンの使い方だよなあとは思う。
これがほんとなら あと1 〜2年で実装されるんだろうな ちょっと前はAIに計算させると間違えると言う話だったが、今はPythonコードを書いて実行結果で表示するようになった
ちゃんと読まずにコメントしている人も多そうだけど、この圧縮技術が標準化されたところでユーザーから更に9割以上のゴミを食わされるだけなんでしょ、と考えたら結果は同じなのかもしれない・・・
余計なこと喋らせないプロンプト制御も必要そうだしし、何よりコード書く時もそれ以外の利用も出力が使い捨てにならない様な仕掛けがいるような
9割はゴミでもClaudeがTOPレベルなのは何故？そこを改善すればもっと優秀になるの？
人間トークンも9割方ゴミっぽい
AI「流石です。減った分は値上げしますね。」
ポエム灯台のブクマの9割はbotだった
( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰ これが真なら今すぐ全部に導入してほしいなぁ。電気代も安くなるんじゃないの？AIを提供してる側からしてもいい事おおいんじゃないかなぁ。
原始人口調でトークン減らす話もあったな https://zenn.dev/mikana0918/articles/7ad57493a04f88
まあ、AIそのものが、バカでかいデータをバカみたいな計算量でぶん回してる、富豪プログラミングの一種だからな。良く出来たコピペツール、パターン抽出していい感じにアレンジしてくれるがその分大量に無駄はある
トークンが節約できれば費用が抑えられる。よく気づいたな開発者
AIコーディングでトークン無駄が肥大化し、Headroomが圧縮で最大90%削減・可逆化する。