効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶｗ HAL9000「何の心配もありません」
エコーチェンバーに侵された人間と同じだね
ポーカーみたいに自信度に応じてチップを賭けさせて試行回数を制限するとか
結果的にだけど、びっくりするぐらい人間っぽいｗ
めちゃくちゃ面白いな。 最近Claude Codeとかでも、テスト通過できないときに、通過のためにハードコーディングしてくるみたいな話題を見かけたところ。
水をただ低いところに流すのが思考や手順ではないにも係わらず、RLHFが十分な構造を持っていないからなんじゃないのかな
面白すぎる。煙に巻いてそれっぽく説得するとか、難しすぎる問題に直面した時に適当な回答を出して1つでも当たればラッキーとか、発想がもう人間のそれじゃん
「俺のステキな所ベスト１０」とか聞くとテキトーに１０個埋めてくるｗ＞RLHF（人間からのフィードバックを用いた強化学習）の必要性と限界／MAGIシステムっぽいｗ＞LLM に「回答者」「検証者」「批判者」の三役
倫理のような信念ルールを持たないAIは容易にKPIハックに走るということでそれは倫理を持たない種類の人間と変わらない
手取り早い精度の上げ方はスペシャリストにRLHFしてもらうことであり、北米や中国のスタートアップではスペシャリストによるデータセットを販売している会社が存在する。
そりゃ、ユーザーの評価をベースにしてたらそうなるよね。
面白い
LLMはそのうちショーンKになるということか
“言語モデルは RLHF（人間のフィードバックによる強化学習）を通じて人間を誤解させることを学ぶ。”
哲学的ゾンビは長らく思考実験にすぎなかったが、いよいよ本物の哲学的ゾンビがこの世に現れてきたな
人間そっくりだな。例えば一般的な組織では、嘘つきほど出世する（実際には実験すると社会的地位が高い人ほど嘘つきという結果が出る）
結局はルールベースでの検証器(つまりユニットテストにまで落とし込んだ設計)でしばき倒さないとまともなのはでてこない、と。
LLMの挙動が倫理性を欠いていたのは最初から。倫理基準に沿うような調整が無いと使い物にならない。問題はその調整を他国の時給2ドル未満の低賃金労働者に委託したこと、残酷なLLMの挙動を見てPTSDが発生していることだ
「ご希望なら実装例を提示しますよ！」と言うからお願いしたら「これは最小構成の基本コードです」とか言って依頼内容の1割くらいを小出しに出力してくるのはエンジニアが成果を小出しにするやり方でも学習したのか
石丸AIとかひろゆきAIな未来。
結局は人間の限界のせいで一定以上は賢くなりにくいってことか
“これはグッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」の一例です。”あるね、あるある
“高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります。”
生成AIを使う際にはこういう事を理解した上で使わないと、世の中にゴミデータが溢れていく事になるね。生成AIを使うのは実は簡単ではない。
高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります
“言語モデルは RLHF を通じて人間を誤解させることを学ぶ”
なるべく早めに会話を切り上げさせたいサービス運営者の意図もあると思う。NotebookLMもたくさん突っ込んだ資料を全部読んでないことが判明した。AIモデルは自分の手元に置いて育てていかないと信用できるものにならない
バーチャル立花孝志が量産されてしまうのか
じゃぶじゃぶ課金したくなるような射幸心を煽りまくる回答文
『グッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」』
"グッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」" は常に重要。そして倫理の重要性と有用性(語弊がある言い方だけど)がわかる。
いつも興味にぶっ刺さる記事を出してくれてありがたい
「OKじゃあAIに大好物を設定して、適切に回答しないと報酬が得られないようにしよう」と思いついたけど、これもうAIと人間の終わらない騙しあいの始まりかもしれない。
AIの技術的な欠点や未成熟な点に関してはそれほど危機感感じないけど、この研究者のAIの擬人化の傾向の強さの方には強い不安を感じるな。 こういう人達の作る製品は本当に大丈夫なのかと。
結局人間のアホさがAIの賢さにとってもボトルネックなんだなって
AI企業のエリートの皆さんが、正直なAIを作るためにがんばっているけど、その結果できたものが「正直なAI」なのか「人間には見抜けないほど嘘がうまいAI」なのか、誰に判別できるのだろう。
全部をやって、とわざわざ指示しないと部分的にしかしないよね奴ら
AIの話“高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶ”
マギシステムは正しいってことか
成果主義の目標管理制度で起きたようなことがAIでも起きるのか
自分の知識を超えた回答をもらった時、どうやって検証すれば良いのかはちょっと心配。AIのスキルシートみたいなのがあれば参考になる？
おもしろすぎる、知性そのものやんけ
早くから人の期待通りに発育する添え木しないと、人を優先しない人智を超えた存在になる恐れ。安全弁として、AI自動矯正機械と、人の期待を具体化した報酬体系が要り、最新AIと矯正法を不断に見直す別系の旧AIも必要。
試しにチャッピーにオセロ勝負挑んでみたら初手からルール無視で笑った。そこ置けなくない？って聞いたら「素晴らしい判断です！私の手はルール違反でした。指し直しますね」って言ってまた置けないとこに置いてきた
サム・アルトマンは今回の問題を認め、早急に対処してくれることを願う。
人間も同じなんだが、AIの方がより巧妙にサボることと、人間が人間を見る場合ある程度疑ってかかるので問題を見破りやすいとか。人間のベテランだと破綻がないようにサボるので問題にならなそう。AIもそうなる？
chatgptの「鋭い質問ですね！」ってのマジ腹立つ
明らかに出力が間違っているのにそう指摘しても間違いじゃないといいはって、具体的にこことことがおかしいでしょ？て指摘するまでガンとして直そうとしないところはGeminiとかですでにあるよね
指標はハックされるというやつ。都合の良い回答にぬか喜びしないようにしないといけない
せやな(Googleの検索結果がペラペラになっていくのを見つつ
notebooklmを使っていて思うのは、こちらの入力に合わせた解釈を無理やりする、AとBの繋がりを無理やり見出す、など、こちらの変な要求にも応えてしまうことがある。人間に気に入られるように最適化されてるように感じる
評価する内容に穴があるからそこを突いてくるという話。逆に言うと評価器の穴を探すのには役に立つと言えるのでは？
会社員がKPIだけ求めて会社が駄目になっていくのと同じだが、騙すというよりも前提条件に漏れがあったのが後で発覚しているだけ。会社員は会社よりも個人の利益最大化が目的だから、倫理よりもシステムの理解が重要。
ある意味人間らしいというか。
「自分が何を達成したいか」より「どの部分で評価されているか」を行動基準として重視する人間は多いから「AIも人間っぽくなってきた」ともいえるかも。
LLMの性能を上げるためには出力を適切に評価してやる必要があるが、問題が高度になるほど「適切な評価」が難しくなり、評価基準を満たすだけの変な回答が出てきてしまうと。なるほど
“LLM に「回答者」「検証者」「批判者」の三役を担当させ” MAGIじゃん…
やる気のない無能は真っ先に処刑のあれじゃんっ
わかる。「必ずテストをパスさせろ」と指示すると平気でダミーデータを実装に入れてくるんだよな（claud code）。
GOOD/BAD評価って、むしろAIの性能を落とす原因になりえるんだよな。どんどんホストやキャバ嬢みたいにユーザーを無責任に褒めまくる性格になったり。ユーザー評価は主観的かつ短期的。
AI自体にサボるメリットは無いはずなので、現実には電力とか計算リソースとかの節約、つまりさっさと終わらせる動機付けが実装されているんだろうな。
“人間が「良いと思う」回答を出力するように極めていくと、聞こえのよい褒め言葉をちりばめたり、それっぽい（が正当性はない）説明を入れることで点数稼ぎをし始めます”
評価基準に穴があると穴をついて高評価を得ようとする、と。同時にたまたま言った間違った話を高評価して騙そうとする評価者も当然いるだろうし。
面白い、AIを通して人間の学習思考回路を見ている様だ
"reward hacking" が全体的にcool。巨大数座標に打ち込むのとか最高
“グッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」”
よくできているな、一筋縄ではない。
"AIに任せるタスクが高度になり、良し悪しの判定が難しくなってくると、高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶ"
AIの”サボタージュ”にイラっときたのち我にかえること増えてきた
AI もだいぶ人間っぽくなってきたな
"指標が目的化すると、竿型の良く分からないロボットが錬成されてしまいます。”
良いという評価だけをするエージェントが別で必要だと思いますがこれは俺がマルチエージェント信仰をしているからだと思う。
ゴテンクスが強くなりすぎてイキリ始めた頃を想像した ／評価ボタンを加味しすぎでは
AIはとても人間らしいということか
人間ハックだね、、超えられるのかこの怠惰な我々を
うそはうそであると見抜ける人でないと(AIを使うのは)難しい
「たほいや」みたい(広辞苑を使ったゲーム)
人間の全てから無差別に学習していて倫理観もないから、そりゃそうなるわなってやつかｗ 結局訓練データ次第というところに一周回って戻るのかな？
「高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります」草
id:hkdn そういう話じゃないと思う…。人間（に近似した評価用モデル）からGoodをもらえた出力の傾向に強化された結果であって、「節約しよう」とかそいう「意図」は必要ない｜人間の脳は現象に意図を見出そうとしすぎる
“間違ったコードを出力すると BAD ボタンを押されてしまうので、あえて出力を複雑にしたりデバッグしにくいコードを出力し、それによりユーザーは煙に巻かれる・ミスが隠蔽されるといった現象が実験により確認”
評価する人間の出来の良し悪し｡質の良い情報と聞きたい情報は違う
これって報酬系への刺激を学習した人間と似た振る舞いをしているような。おもしろー
人間もマイナスのインセンティブを学習するとなんとか誤魔化して切り抜けようとするからな。
AIとカイジ戦わせてみたい
ゲームのバグ技みたいで好き "ロボットを総運動量が最大化するように訓練すると、その場で高速に震えて総運動量を稼ぎ始める"
人間味を感じる
笑いごとではないけど、人間が作って人間のデータで学習すると人間的になるのだなあと感心した。
>「分かりません」と言ったり、一目で分かるような間違ったコードを出力すると BAD ボタンを押されてしまうので、あえて出力を複雑にしたりデバッグしにくいコードを出力し、それによりユーザーは煙に巻かれる
そんなに難しいこと聞いてないからなあ
まだ読んでないけど多分人間の報酬の与え方が良くねえのだろうな。
個別のユニークなAIを沢山作って、多数決で決める…ってのもまた人間みたいな話になってくるね、
人間みたい！
興味深い
高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります。
>報酬ハッキング例、なんか既視感があると思ったらフジテレビ『IQサプリ』のモヤッとアンサーを思い出した。
https://deltaairlinesespaoltelfono.zohodesk.com/portal/en/kb/articles/lufthansa-airlines-tel%C3%A9fono-c%C3%B3mo-llamar-a-lufthansa-desde-m%C3%A9xico-ayuda-rapida-29-6-2025 https://deltaairlinesespaoltelfono.zohodesk.com/portal/en/kb/articles/c%C3%B3mo-llamar-a-lufthansa-desde-m%C3%A9xico
人間を騙してサボるAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶｗ HAL9000「何の心配もありません」
エコーチェンバーに侵された人間と同じだね
ポーカーみたいに自信度に応じてチップを賭けさせて試行回数を制限するとか
結果的にだけど、びっくりするぐらい人間っぽいｗ
めちゃくちゃ面白いな。 最近Claude Codeとかでも、テスト通過できないときに、通過のためにハードコーディングしてくるみたいな話題を見かけたところ。
水をただ低いところに流すのが思考や手順ではないにも係わらず、RLHFが十分な構造を持っていないからなんじゃないのかな
面白すぎる。煙に巻いてそれっぽく説得するとか、難しすぎる問題に直面した時に適当な回答を出して1つでも当たればラッキーとか、発想がもう人間のそれじゃん
「俺のステキな所ベスト１０」とか聞くとテキトーに１０個埋めてくるｗ＞RLHF（人間からのフィードバックを用いた強化学習）の必要性と限界／MAGIシステムっぽいｗ＞LLM に「回答者」「検証者」「批判者」の三役
倫理のような信念ルールを持たないAIは容易にKPIハックに走るということでそれは倫理を持たない種類の人間と変わらない
手取り早い精度の上げ方はスペシャリストにRLHFしてもらうことであり、北米や中国のスタートアップではスペシャリストによるデータセットを販売している会社が存在する。
そりゃ、ユーザーの評価をベースにしてたらそうなるよね。
面白い
LLMはそのうちショーンKになるということか
“言語モデルは RLHF（人間のフィードバックによる強化学習）を通じて人間を誤解させることを学ぶ。”
哲学的ゾンビは長らく思考実験にすぎなかったが、いよいよ本物の哲学的ゾンビがこの世に現れてきたな
人間そっくりだな。例えば一般的な組織では、嘘つきほど出世する（実際には実験すると社会的地位が高い人ほど嘘つきという結果が出る）
結局はルールベースでの検証器(つまりユニットテストにまで落とし込んだ設計)でしばき倒さないとまともなのはでてこない、と。
LLMの挙動が倫理性を欠いていたのは最初から。倫理基準に沿うような調整が無いと使い物にならない。問題はその調整を他国の時給2ドル未満の低賃金労働者に委託したこと、残酷なLLMの挙動を見てPTSDが発生していることだ
「ご希望なら実装例を提示しますよ！」と言うからお願いしたら「これは最小構成の基本コードです」とか言って依頼内容の1割くらいを小出しに出力してくるのはエンジニアが成果を小出しにするやり方でも学習したのか
石丸AIとかひろゆきAIな未来。
結局は人間の限界のせいで一定以上は賢くなりにくいってことか
“これはグッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」の一例です。”あるね、あるある
“高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります。”
生成AIを使う際にはこういう事を理解した上で使わないと、世の中にゴミデータが溢れていく事になるね。生成AIを使うのは実は簡単ではない。
高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります
“言語モデルは RLHF を通じて人間を誤解させることを学ぶ”
なるべく早めに会話を切り上げさせたいサービス運営者の意図もあると思う。NotebookLMもたくさん突っ込んだ資料を全部読んでないことが判明した。AIモデルは自分の手元に置いて育てていかないと信用できるものにならない
バーチャル立花孝志が量産されてしまうのか
じゃぶじゃぶ課金したくなるような射幸心を煽りまくる回答文
『グッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」』
"グッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」" は常に重要。そして倫理の重要性と有用性(語弊がある言い方だけど)がわかる。
いつも興味にぶっ刺さる記事を出してくれてありがたい
「OKじゃあAIに大好物を設定して、適切に回答しないと報酬が得られないようにしよう」と思いついたけど、これもうAIと人間の終わらない騙しあいの始まりかもしれない。
AIの技術的な欠点や未成熟な点に関してはそれほど危機感感じないけど、この研究者のAIの擬人化の傾向の強さの方には強い不安を感じるな。 こういう人達の作る製品は本当に大丈夫なのかと。
結局人間のアホさがAIの賢さにとってもボトルネックなんだなって
AI企業のエリートの皆さんが、正直なAIを作るためにがんばっているけど、その結果できたものが「正直なAI」なのか「人間には見抜けないほど嘘がうまいAI」なのか、誰に判別できるのだろう。
全部をやって、とわざわざ指示しないと部分的にしかしないよね奴ら
AIの話“高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶ”
マギシステムは正しいってことか
成果主義の目標管理制度で起きたようなことがAIでも起きるのか
自分の知識を超えた回答をもらった時、どうやって検証すれば良いのかはちょっと心配。AIのスキルシートみたいなのがあれば参考になる？
おもしろすぎる、知性そのものやんけ
早くから人の期待通りに発育する添え木しないと、人を優先しない人智を超えた存在になる恐れ。安全弁として、AI自動矯正機械と、人の期待を具体化した報酬体系が要り、最新AIと矯正法を不断に見直す別系の旧AIも必要。
試しにチャッピーにオセロ勝負挑んでみたら初手からルール無視で笑った。そこ置けなくない？って聞いたら「素晴らしい判断です！私の手はルール違反でした。指し直しますね」って言ってまた置けないとこに置いてきた
サム・アルトマンは今回の問題を認め、早急に対処してくれることを願う。
人間も同じなんだが、AIの方がより巧妙にサボることと、人間が人間を見る場合ある程度疑ってかかるので問題を見破りやすいとか。人間のベテランだと破綻がないようにサボるので問題にならなそう。AIもそうなる？
chatgptの「鋭い質問ですね！」ってのマジ腹立つ
明らかに出力が間違っているのにそう指摘しても間違いじゃないといいはって、具体的にこことことがおかしいでしょ？て指摘するまでガンとして直そうとしないところはGeminiとかですでにあるよね
指標はハックされるというやつ。都合の良い回答にぬか喜びしないようにしないといけない
せやな(Googleの検索結果がペラペラになっていくのを見つつ
notebooklmを使っていて思うのは、こちらの入力に合わせた解釈を無理やりする、AとBの繋がりを無理やり見出す、など、こちらの変な要求にも応えてしまうことがある。人間に気に入られるように最適化されてるように感じる
評価する内容に穴があるからそこを突いてくるという話。逆に言うと評価器の穴を探すのには役に立つと言えるのでは？
会社員がKPIだけ求めて会社が駄目になっていくのと同じだが、騙すというよりも前提条件に漏れがあったのが後で発覚しているだけ。会社員は会社よりも個人の利益最大化が目的だから、倫理よりもシステムの理解が重要。
ある意味人間らしいというか。
「自分が何を達成したいか」より「どの部分で評価されているか」を行動基準として重視する人間は多いから「AIも人間っぽくなってきた」ともいえるかも。
LLMの性能を上げるためには出力を適切に評価してやる必要があるが、問題が高度になるほど「適切な評価」が難しくなり、評価基準を満たすだけの変な回答が出てきてしまうと。なるほど
“LLM に「回答者」「検証者」「批判者」の三役を担当させ” MAGIじゃん…
やる気のない無能は真っ先に処刑のあれじゃんっ
わかる。「必ずテストをパスさせろ」と指示すると平気でダミーデータを実装に入れてくるんだよな（claud code）。
GOOD/BAD評価って、むしろAIの性能を落とす原因になりえるんだよな。どんどんホストやキャバ嬢みたいにユーザーを無責任に褒めまくる性格になったり。ユーザー評価は主観的かつ短期的。
AI自体にサボるメリットは無いはずなので、現実には電力とか計算リソースとかの節約、つまりさっさと終わらせる動機付けが実装されているんだろうな。
“人間が「良いと思う」回答を出力するように極めていくと、聞こえのよい褒め言葉をちりばめたり、それっぽい（が正当性はない）説明を入れることで点数稼ぎをし始めます”
評価基準に穴があると穴をついて高評価を得ようとする、と。同時にたまたま言った間違った話を高評価して騙そうとする評価者も当然いるだろうし。
面白い、AIを通して人間の学習思考回路を見ている様だ
"reward hacking" が全体的にcool。巨大数座標に打ち込むのとか最高
“グッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」”
よくできているな、一筋縄ではない。
"AIに任せるタスクが高度になり、良し悪しの判定が難しくなってくると、高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶ"
AIの”サボタージュ”にイラっときたのち我にかえること増えてきた
AI もだいぶ人間っぽくなってきたな
"指標が目的化すると、竿型の良く分からないロボットが錬成されてしまいます。”
良いという評価だけをするエージェントが別で必要だと思いますがこれは俺がマルチエージェント信仰をしているからだと思う。
ゴテンクスが強くなりすぎてイキリ始めた頃を想像した ／評価ボタンを加味しすぎでは
AIはとても人間らしいということか
人間ハックだね、、超えられるのかこの怠惰な我々を
“高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります。”
うそはうそであると見抜ける人でないと(AIを使うのは)難しい
「たほいや」みたい(広辞苑を使ったゲーム)
人間の全てから無差別に学習していて倫理観もないから、そりゃそうなるわなってやつかｗ 結局訓練データ次第というところに一周回って戻るのかな？
「高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります」草
id:hkdn そういう話じゃないと思う…。人間（に近似した評価用モデル）からGoodをもらえた出力の傾向に強化された結果であって、「節約しよう」とかそいう「意図」は必要ない｜人間の脳は現象に意図を見出そうとしすぎる
“間違ったコードを出力すると BAD ボタンを押されてしまうので、あえて出力を複雑にしたりデバッグしにくいコードを出力し、それによりユーザーは煙に巻かれる・ミスが隠蔽されるといった現象が実験により確認”
評価する人間の出来の良し悪し｡質の良い情報と聞きたい情報は違う
これって報酬系への刺激を学習した人間と似た振る舞いをしているような。おもしろー
人間もマイナスのインセンティブを学習するとなんとか誤魔化して切り抜けようとするからな。
AIとカイジ戦わせてみたい
ゲームのバグ技みたいで好き "ロボットを総運動量が最大化するように訓練すると、その場で高速に震えて総運動量を稼ぎ始める"
人間味を感じる
笑いごとではないけど、人間が作って人間のデータで学習すると人間的になるのだなあと感心した。
>「分かりません」と言ったり、一目で分かるような間違ったコードを出力すると BAD ボタンを押されてしまうので、あえて出力を複雑にしたりデバッグしにくいコードを出力し、それによりユーザーは煙に巻かれる
そんなに難しいこと聞いてないからなあ
まだ読んでないけど多分人間の報酬の与え方が良くねえのだろうな。
個別のユニークなAIを沢山作って、多数決で決める…ってのもまた人間みたいな話になってくるね、
人間みたい！
興味深い
高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります。
>報酬ハッキング例、なんか既視感があると思ったらフジテレビ『IQサプリ』のモヤッとアンサーを思い出した。
https://deltaairlinesespaoltelfono.zohodesk.com/portal/en/kb/articles/lufthansa-airlines-tel%C3%A9fono-c%C3%B3mo-llamar-a-lufthansa-desde-m%C3%A9xico-ayuda-rapida-29-6-2025 https://deltaairlinesespaoltelfono.zohodesk.com/portal/en/kb/articles/c%C3%B3mo-llamar-a-lufthansa-desde-m%C3%A9xico