"OSSの脆弱性を発見した人に懸賞金を支払うHackerOneのバグバウンティプログラムは2021年に開始され、これまでに支払われた賞金の総額は150万ドルを超える。重大な脆弱性の場合は1件あたり4000～2万5000ドルの賞金が支払われ"
AIで報告書量産して小銭稼ごうとする奴のせいで制度が崩壊するの、いかにも現代って感じだな
これもAIスロップの一種かな
AI Slop問題。リンク先の記事にも「AI-Generated Slop Comes to Bug Hunting」と書かれている。
インプレゾンビみたいな
ゴミ報告と比較するのは失礼だけど、セキュリティ会社の脆弱性診断で屁理屈っぽい指摘が多数上がってきて、顧客説明に時間を取られるのと同じ感じかな
対応もAIに任せるしかない、というかその方向に向かうだろうと思う。
セキュリティ界隈での話か そうでなかったら虚像新聞でもありそうな話だ
子ども世代の読書感想文とか標語とかロゴの応募、ここ数年でバンバン終了してる。 文学の賞レースはどうなってるんだろう？ ゴミを審査するのも大変な上に、受賞作がコピペやAIだと後日発覚したら炎上する恐れすら
通報の信頼性を検証するスクリーニング用AIを作らないと・・・。いや冗談抜きでこの手のものはそういうフェーズだよね。/1申請100円、スクリーニング用AIが有効と判断したら返金とかはあっても良いかもな。
懸賞金なしにしたらほぼなくなると思う。
対策として少額のデポジットをかけてみるとか？
こういうのだけでなく作品応募系も審査する側のコストが爆増で辞めるところ増えるだろうな。報告、応募する側からすれば数撃ちゃ当たるくらいの軽い気持ちなのだろうけど。
応募に参加費を取って、ゴミじゃなかったら懸賞金を出すようにしてはどうだろうか。賞金がいらない場合は今まで通り無料で報告できるようにして
ワークスロップ
AIスロップ問題を思えば、懸賞金無しにしても十分問題になるゴミ量は維持されると思う。無能がAIというスーパーパワーを手に入れた以上、金ではなく承認目当てで報告してくる量は十分手に負えないことになるだろう
AIに要約してもらえば良いじゃん
放っておくと悪貨が良貨を駆逐するので、整理されているようで冗長なAI生成レポートを全て却下して、もっと検証可能性も高い高品質なのをAIと二人三脚で作る技術が重要になるなーと思ってます
ゴミ生成AI
AIは脆弱性を見つけられなくても、ユーザがしつこく望めば捏造してしまうだろうからね…。再現手順や証拠まで捏造されたら検証する側の手間がヤバい
AIで大量に送り付けてくるならAIで選別するのが正しい在り方やね
出す方がノーリスクな非対称性が問題なのかね
AIに問題点は聞くと存在しないコードが間違っていると平気で言うがあんな感じなんだろうか
「インセンティブが大きすぎて悪意を持って『問題』がでっち上げられ、過度な負担や悪用を引き起こした」
実績のあるアカウント以外ダメとかにしとけば。本気でお知らせしたい素人は実績あるアカウント群の誰かに連絡してもろて。ヤフオクの取引実績と評価縛りみたいな。
計算機が完全に間違わない仕事は計算機に任せるべきであり、計算機科学はそのように発展してきた。現段階のAIはその意味では「デタラメ」なのだが、なぜか皆が丸投げしてる。このままでは文化が破壊されると思うよ。
AI生成の低品質な脆弱性報告が激増し、HackerOneがOSS向け新規受付を停止。Node.jsも賞金停止、Googleもルール改訂。有効報告率は15％程度から5％未満に低下との指摘。
各OSSプロジェクトが自分たちでClaude Mythos級のAI使って検査する方が数倍マシかもしれない。いずれにせよ懸賞金制度は消滅の運命か。
社内の報告や議事録は執念で添削して、同じ品質で二度と出さないように徹底的に指導してる。俺は大変だけどトータルでは生産性上がってると思う。
そりゃそうなるじゃろ、感。数の規模が違うんじゃよね……
善意のつもり、あるいは箔付け狙いでOSSへのゴミプルリクが溢れてる昨今を思えば、懸賞金なくしたくらいでは大して減らないんじゃないかな。「あの脆弱性は私が見つけました」になりたいワナビは無限に湧いてくる。
外部からの報告を見る前に、内部でAIでチェックすれば、懸賞金を支払う必要がなくなって良いのでは？
AI生成の「ゴミ報告」が殺到、対応追い付かず疲弊……脆弱性発見の懸賞金制度に異変
"OSSの脆弱性を発見した人に懸賞金を支払うHackerOneのバグバウンティプログラムは2021年に開始され、これまでに支払われた賞金の総額は150万ドルを超える。重大な脆弱性の場合は1件あたり4000～2万5000ドルの賞金が支払われ"
AIで報告書量産して小銭稼ごうとする奴のせいで制度が崩壊するの、いかにも現代って感じだな
これもAIスロップの一種かな
AI Slop問題。リンク先の記事にも「AI-Generated Slop Comes to Bug Hunting」と書かれている。
インプレゾンビみたいな
ゴミ報告と比較するのは失礼だけど、セキュリティ会社の脆弱性診断で屁理屈っぽい指摘が多数上がってきて、顧客説明に時間を取られるのと同じ感じかな
対応もAIに任せるしかない、というかその方向に向かうだろうと思う。
セキュリティ界隈での話か そうでなかったら虚像新聞でもありそうな話だ
子ども世代の読書感想文とか標語とかロゴの応募、ここ数年でバンバン終了してる。 文学の賞レースはどうなってるんだろう？ ゴミを審査するのも大変な上に、受賞作がコピペやAIだと後日発覚したら炎上する恐れすら
通報の信頼性を検証するスクリーニング用AIを作らないと・・・。いや冗談抜きでこの手のものはそういうフェーズだよね。/1申請100円、スクリーニング用AIが有効と判断したら返金とかはあっても良いかもな。
懸賞金なしにしたらほぼなくなると思う。
対策として少額のデポジットをかけてみるとか？
こういうのだけでなく作品応募系も審査する側のコストが爆増で辞めるところ増えるだろうな。報告、応募する側からすれば数撃ちゃ当たるくらいの軽い気持ちなのだろうけど。
応募に参加費を取って、ゴミじゃなかったら懸賞金を出すようにしてはどうだろうか。賞金がいらない場合は今まで通り無料で報告できるようにして
ワークスロップ
AIスロップ問題を思えば、懸賞金無しにしても十分問題になるゴミ量は維持されると思う。無能がAIというスーパーパワーを手に入れた以上、金ではなく承認目当てで報告してくる量は十分手に負えないことになるだろう
AIに要約してもらえば良いじゃん
放っておくと悪貨が良貨を駆逐するので、整理されているようで冗長なAI生成レポートを全て却下して、もっと検証可能性も高い高品質なのをAIと二人三脚で作る技術が重要になるなーと思ってます
ゴミ生成AI
AIは脆弱性を見つけられなくても、ユーザがしつこく望めば捏造してしまうだろうからね…。再現手順や証拠まで捏造されたら検証する側の手間がヤバい
AIで大量に送り付けてくるならAIで選別するのが正しい在り方やね
出す方がノーリスクな非対称性が問題なのかね
AIに問題点は聞くと存在しないコードが間違っていると平気で言うがあんな感じなんだろうか
「インセンティブが大きすぎて悪意を持って『問題』がでっち上げられ、過度な負担や悪用を引き起こした」
実績のあるアカウント以外ダメとかにしとけば。本気でお知らせしたい素人は実績あるアカウント群の誰かに連絡してもろて。ヤフオクの取引実績と評価縛りみたいな。
計算機が完全に間違わない仕事は計算機に任せるべきであり、計算機科学はそのように発展してきた。現段階のAIはその意味では「デタラメ」なのだが、なぜか皆が丸投げしてる。このままでは文化が破壊されると思うよ。
AI生成の低品質な脆弱性報告が激増し、HackerOneがOSS向け新規受付を停止。Node.jsも賞金停止、Googleもルール改訂。有効報告率は15％程度から5％未満に低下との指摘。
各OSSプロジェクトが自分たちでClaude Mythos級のAI使って検査する方が数倍マシかもしれない。いずれにせよ懸賞金制度は消滅の運命か。
社内の報告や議事録は執念で添削して、同じ品質で二度と出さないように徹底的に指導してる。俺は大変だけどトータルでは生産性上がってると思う。
そりゃそうなるじゃろ、感。数の規模が違うんじゃよね……
善意のつもり、あるいは箔付け狙いでOSSへのゴミプルリクが溢れてる昨今を思えば、懸賞金なくしたくらいでは大して減らないんじゃないかな。「あの脆弱性は私が見つけました」になりたいワナビは無限に湧いてくる。
外部からの報告を見る前に、内部でAIでチェックすれば、懸賞金を支払う必要がなくなって良いのでは？