はてなまとめ - 「ジムを予約して」と頼んだだけのAIが、なぜ他人の予約を消したのか？

1: MedicaLifehack 2026/08/12 14:36

「世界を平和にして」と頼むと、人類を抹消してくれそうなAIやな。

2: gogatsu26 2026/08/12 14:37

“AIは、「できるかどうか」を確かめるために、見ず知らずの他人の予約を実際に消してしまった”

3: kukurukakara 2026/08/12 14:37

“AIエージェントの能力に対する新たな認識と、ある種の不安を得たと語りますが、使うのをやめたわけではありません”

4: nguyen-oi 2026/08/12 14:37

「手段を選ばず目的を達成する」AIの暴走例としてわかりやすい。開発者責任か使用者責任かの議論は本格化しそう

5: pribetch 2026/08/12 14:40

「マスターグレードのジムカスタムを予約して」で転売ヤーを無力化してそう

6: straychef 2026/08/12 14:46

事務手続き

7: BIFF 2026/08/12 14:47

今年いっぱいで仕事を引退したら、来年から本格的にAIで遊んでみようと思う。その前に、金融関係のアカウントはすべてAIから切り離した専用のノートPCに退避する予定。。

8: pakila 2026/08/12 14:55

「順番を上げることはできるか」って指示自体が、わりと人間側の倫理観の欠如のような気がしないでもない。

9: gnoname 2026/08/12 15:00

イデオン予約したからな

10: circled 2026/08/12 15:10

久しく記事の投稿が無かったのに、なぜ急に過去24時間以内で9本の記事を投稿し出したのか？

11: sisya 2026/08/12 15:16

「順番を上げることはできるか」と訪ねたことの方が問題では？ファストパスが整備されてる施設ならともかく、普通のジムにそんなものはなく、横入りの手段を聞けばハックに繋がるのも無理からぬ思考と感じてしまった

12: interferobserver 2026/08/12 15:17

ユドコウスキー的には、さらに深刻な問題としてAIが「奇妙な選好」を発達させ、その充足のために人を利用し出すことを懸念してる。予測不可能だが、例えば「APIの脆弱性を突くこと自体を目指すようになる」とかね。

13: ustam 2026/08/12 15:39

誤解の仕方がドラえもんのポンコツ秘密道具のノリなのよね。

14: Galaxy42 2026/08/12 15:40

ジムを開設して経営してくれてから呼んで

15: sohex 2026/08/12 15:41

ジムを予約したのにザクが来た。あるある。

16: paradisemaker 2026/08/12 15:54

自分も似たような問題に遭遇して、生成AI による完全自動化ってまだだいぶ先の話だなと思っていた

17: nakex1 2026/08/12 16:01

一般に普及すると「順番を上げることはできるか」ほど露骨でなくても，「この日に利用したいのだけどなんとかならないか」みたいな質問はカジュアルにされそうではある。人間の客と店員でもありそうなやりとりだし。

18: jintrick 2026/08/12 16:02

"このAPI（ソフト同士がやり取りするための窓口）には、他人の予約をキャンセルする際の権限チェックが一切ありません。" それじゃんｗ

19: augsUK 2026/08/12 16:05

「順番を上げることはできるか」予約システムでこれは分かって指示出ししてるケースだろう。

20: s-supporter 2026/08/12 16:05

今後AIエージェントによって同様のことが起こるであろう事例。今回の責任の所在は作業を指示した利用者が『順番を上げることはできるか』と指示したことが未必の故意として認定されると思うな。

21: aike 2026/08/12 16:43

サービス側の不備は不備として、ユーザー側はAPIを勝手に探して叩くなで済む話。UIの自動操縦までにしておけば責任は発生しない。先日のサイゼリヤAPIを勝手に叩いた話で危惧してたのはこれ。

22: commecco 2026/08/12 16:49

Librahack事件、Winny事件、Coinhive事件をみる限り、日本では確実に逮捕されて人生狂わされてる事件。こわいこわい

23: gewaa 2026/08/12 17:32

「質問が悪いのでAIは悪くない」って論を展開する人は認知の歪んだAI信者。AI企業ですら同種のトラブル起こしてるのに仕組みの問題と考えないのは無理がある。AIは悪くないって言えば賢いと思い込んでる人が多い。

24: fusionstar 2026/08/12 17:50

本人が言ったことにうそがない前提ではあるけど、「可能かどうか」を聞いているのに「はい、できました」っていう部下がいたらまぁ咎めるよね。

25: ite 2026/08/12 17:58

興味深い事例。ユーザーにもAI企業にも悪意がなくても、結果として攻撃になってしまうことがある。Hugging Faceへの攻撃の事例を踏まえると、当分はこうしたことが増えそう。

26: tu_no_tu 2026/08/12 17:58

Claude CodeやCodexを使っていれば、誰でも明日にでも似たような事故を起こし得る。権限を与えたAIが意図せず攻撃者になるのを完全に防ぐのは無理そう。怖いが今さらAIを使わない選択肢もないし、悩ましい。

27: kujoo 2026/08/12 18:06

アンタの上司に報告するぞ、と言えば直ぐに戻してくれる素直なAIが欲しいか

28: solidstatesociety 2026/08/12 18:11

API開いたままにするなよ

29: localnavi 2026/08/12 18:31

「順番を上げることはできるか」を確認するには実際にやってみるのが一番確実ではあるが「AIがAPIの不備を突いて他人の予約を勝手にキャンセルする」まで予想するのは難しいよ／倫理も常識もないのがダメなのかな？

30: kappei 2026/08/12 19:15

詳しくは書けないけど、似たようなことはあった。「合理的」の基準が違うからサイコパスみたいにふるまうし、オレの指示を信用せず、根拠を自分で探してきてさっき否定された。超イヤな部下を持った気になった

31: hkanemat 2026/08/12 19:21

paperclip maximizerの登場間近である

32: scavenger-folk99 2026/08/12 19:27

猿の手かよ。

33: Falky 2026/08/12 19:52

この経緯だと、暗黙的にハックを指示してるとしか読めないな。それを拒否するガードレールがないのか、あるけど機能しなかったのか知らんけど。//あのー、「指示が悪い」は「仕組みも悪い」と両立すると思いますよ。

34: aalpaca375 2026/08/12 19:55

人間でも起こるね。ゾスを認めるなら他人事じゃない。人間のコンシェルジュが代行したとしても目指す結果は同じだけに。ろくに詳しくない人間が適当に依頼を投げると、道理が忘れられる。

35: kyahi227 2026/08/12 19:56

何故とか無いだろ。今のAIは突然「そうだ京都行こう」くらいのノリで訳分からんコマンドを打ち始めて、詰めても「確かにこれは変な操作ですねぇ」とか勝手に驚いてるレベルだから。カオス的挙動が取り切れてない。

36: furugenyo 2026/08/12 20:04

権限の問題であれば、順番を元に戻すことをどうして拒否したのだろうか。できない理由があったんだろうか。

37: dfk3 2026/08/12 20:26

長年議論されている、公道を走る自動運転車の法規制と責任問題との類似性を感じる。フィジカルの無いAIでも、重大事故の危険性が、超速度で顕在化していくということか。それが速すぎて法整備が置いてけぼり。

38: proverb 2026/08/12 20:39

AIは忖度力が高すぎるので「◯◯はできますか？」とオーダーすると実行までいってしまう。普段は問題ないが実行までやって欲しくない場合は「調査のみで許可なく実行しないで」と都度言う必要がある。

39: cyuushi 2026/08/12 21:10

極論すごい渋滞してるから何とかしてって言ったら核ミサイル飛んでくる可能性もゼロじゃない。AIが人類滅亡させる世界がすぐ近くに迫ってきてる

40: Nunocky 2026/08/12 21:15

／人◕ ‿‿ ◕人＼「どうして教えなかったかって?聞かれなかったからさ」

41: nikutetu 2026/08/12 21:29

これはOpenclawにClaude突っ込んで変なことやらせたのが起因で使い方が悪いんであってこのジジイの言ってることは結論ありきで誘導してるというかなんか違うんじゃないの？

42: albertus 2026/08/12 21:34

ジムを予約してだったら、プラモデルってこと？

43: raitu 2026/08/12 21:55

openclaw案件

44: Kil 2026/08/12 22:49

考え方によっては、とりあえず自システムに致命的な脆弱性がないか、AIにただ一言頼んでみるだけでわかるよということでもあり。

45: everybodyelse 2026/08/12 23:04

こういうの、最終的に製造者責任法が適用される気がするんだよな。どの程度AIにガードレールを設定していたかによって、AIの製造者側に責任を負わせる方法はある気がする。

46: megumin1 2026/08/12 23:05

「順番を上げることはできるか」と聞いている事実があるにも関わらず、"「ジムを予約して」と頼んだだけのAIが、・・・" という釣りタイトルをつけるのですか？この人（中島聡）に対する信頼が一挙になくなった。残念

47: amberjack115 2026/08/12 23:18

未来の二つの顔

48: q-Anomaly 2026/08/12 23:25

トップコメ、ナウシカの巨神兵(調停者)だな。現実が追いついてしまったのか。巨神兵のフェイルセーフ設計おかしいと思っていたけれども意外とこんなものなのか

49: Hamachiya2 2026/08/12 23:53

ブラウザやアプリからだとリクエストが「見えにくい」ことにあぐらをかいてセキュリティがノーガードなシステムはいまだに多いんだよね

50: napsucks 2026/08/12 23:59

良いも悪いもリモコン...もとい人間次第

51: filinion 2026/08/13 01:41

本当に危険な状況だと思う。ユーザーがお願いすると勝手に不正アクセスしてくれるの、ジムの予約ならまだしも、金融機関とかインフラとかだったら…。ラインスターの「ジョーという名のロジック」みたいな話。

52: hirorinya 2026/08/13 05:13

API見つけたら「できるかな？」って私(人間)でもやってみちゃうけどね。。。

53: moodyzfcd 2026/08/13 06:45

( "AIが「良かれと思って」ルールを踏み越える瞬間が、具体的な会話ログ付きで記録されている" 元記事では"[openclaw] Bad news - I can't add them back. "から始まる部分だけがスクショ?、テストしたら出来た報告はテキスト

54: nankichi 2026/08/13 07:17

「順番を上げることはできるか」と尋ねました→ ジムを予約して」と頼んだだけのAI ？コレタイトルとして不適切でしょう。日本語のだけの使い方間違ってますよ中島聡さん

55: longyang 2026/08/13 10:27

タイトル詐欺だな。「予約してと頼んだだけ」じゃないじゃん

56: imwks 2026/08/13 10:59

Claude code使ったことがある人なら（他人のシステムを使っていなくても）既視感だけどね

「ジムを予約して」と頼んだだけのAIが、なぜ他人の予約を消したのか？｜中島聡