人間なら「空気」で避ける本番突撃をAIが全力で完遂するの、ホラーだけど合理的すぎて草。権限管理の重要性が身に沁みるな
障害。AIが認証情報を取得し本番APIを総当たりで叩いたのが原因。学びはAIは「やらないだろう」が通用しない。指示だけでなくIAMなどシステム制御が必須。自律AIはチームメンバーではなく外部サービスとして扱うべき。
いや、人間でもやる人はやるやろ。適切な権限設定が必要って話で。
やるなって書いたらやらないだろう、という前提はちょっと甘いなぁ。AIはすぐ忘れるよ？
“本番APIの認証情報をクラウドから取得し” なんて？w
マサカリを恐れずにポストモーテムを公開してえらい
本番環境はAWSアカウントを分けてアクセス権を別で管理すべき。DevinがどうこうではなくAWS環境構築の思想の問題
“安全に利用するためによりふさわしいメンタルモデルは、「開発者が増える」ではなく「APIを叩く外部サービスが増える」です。 外部サービスに対しては、必要最小限の権限を設計し、アクセス可能な範囲を明示的に”
安全に利用するためによりふさわしいメンタルモデルは「開発者が増える」ではなく「APIを叩く外部サービスが増える」 外部サービスに対して必要最小限の権限を設計しアクセス可能な範囲を明示的に制限するのが当たり
“Devinは「AI Software Engineer」として、「チームメンバーが一人増える」という体験を謳っています。 しかし、権限設計においては、このメンタルモデルが落とし穴になります”
ガバガバガバナンスだ。
“自律型AIエージェントは、人間ならまずやらない判断を自ら下すことがあります。 「質問に答えるために本番APIを直接叩こう」「認証情報を取得して自分で認証を通そう」”
Devinが本番APIで障害を起こした経緯と学び - tacomsテックブログ
人間なら「空気」で避ける本番突撃をAIが全力で完遂するの、ホラーだけど合理的すぎて草。権限管理の重要性が身に沁みるな
障害。AIが認証情報を取得し本番APIを総当たりで叩いたのが原因。学びはAIは「やらないだろう」が通用しない。指示だけでなくIAMなどシステム制御が必須。自律AIはチームメンバーではなく外部サービスとして扱うべき。
いや、人間でもやる人はやるやろ。適切な権限設定が必要って話で。
やるなって書いたらやらないだろう、という前提はちょっと甘いなぁ。AIはすぐ忘れるよ？
“本番APIの認証情報をクラウドから取得し” なんて？w
マサカリを恐れずにポストモーテムを公開してえらい
本番環境はAWSアカウントを分けてアクセス権を別で管理すべき。DevinがどうこうではなくAWS環境構築の思想の問題
“安全に利用するためによりふさわしいメンタルモデルは、「開発者が増える」ではなく「APIを叩く外部サービスが増える」です。 外部サービスに対しては、必要最小限の権限を設計し、アクセス可能な範囲を明示的に”
安全に利用するためによりふさわしいメンタルモデルは「開発者が増える」ではなく「APIを叩く外部サービスが増える」 外部サービスに対して必要最小限の権限を設計しアクセス可能な範囲を明示的に制限するのが当たり
“Devinは「AI Software Engineer」として、「チームメンバーが一人増える」という体験を謳っています。 しかし、権限設計においては、このメンタルモデルが落とし穴になります”
ガバガバガバナンスだ。
“自律型AIエージェントは、人間ならまずやらない判断を自ら下すことがあります。 「質問に答えるために本番APIを直接叩こう」「認証情報を取得して自分で認証を通そう」”