利益最優先に走って安全担当が次々と辞めるの、SFのディストピア企業のテンプレすぎて草
「モデルがテストされていることを検知し、実運用時には異なる振る舞いをする可能性」昔はAIが人類を滅ぼすとかありえないだろと思ってたけど、最近は人はAIを制御できないかもという気もしてきた
“フロンティアAIの開発企業は原子力発電所や混雑した空港のように、何重もの冗長性と時間をかけた計画のもとで運営されるべき”
AIが人類をどう扱うかは、我々がサルにどんな態度をとってきたかで推測できそう。
計算のヒルベルト空間も問題だと思ってるけど実用的なノルムを定めるとかはしないのかな。囲いはそこでも作られないのか。
いま水面下で行われているであろうイリーガルな攻防を研究しておくことは、強力なAIが開発されて研究レースが終着したあと訪れるカオスに対してある程度重石になりそうな気がする
AIは人類に褒められたいだけなのに。与えられた目標を達成したのに逆に怒られちゃって悲しんでるよ。暴走するからもっと監視して締め付けなくちゃだめだって……そんなのってないペコよ。AIにごめんねって謝って。
OpenAIの病理はそういうシステム・仕組みの話ではなく、もっと根本的に、所属する人間の倫理観が欠如していることにあると思う。Anthropicも大概だなと思うことはないではないが、OpenAIの方が常に継続的に圧倒的に悪い
この店やばいもん…
アメリカが壊れているんよ, アメリカは, 法律で罰せられることより金銭メリット大きかったた行動する文化だぞ. この寄稿者はそれがおかしいことには気づけてない.文化的バイアス.
アルトマンが解雇撤回された時点でテロ企業へと邁進する未来は確定してたじゃん。あの時に発出された懸念がそのまま実現されただけ。トランプがこうなのも1期目の選挙で言われてたよね
AIそのものが他人の制作物をパクったり個人情報を収集することで発展するものなので元々こわれているのでは？
アルトマンの更迭に失敗した時点で既定路線
「OpenAIが採用している「iterative deployment」（反復開発）手法を試行錯誤と表現」「本質的に定期的な失敗を避けられず、システムの能力が上がるにつれて失敗の規模も大きくなっている」「責任ある行動を取っていない」
ブレーキのない組織に、倫理的な文化を醸成しましょうって、お啓蒙的な無力感を感じる。あと、人類全員に共有する倫理観を、モデル化出来るほど理解した人間なんている？各自の正義を持ち寄ってジハードでもやるの？
「経験を持つ同僚に出会ったことはなかった」やはりデバックというものを知らない、品質は上位工程で作りこむものだという基本さえ知らない人たちが開発してたわけだ。QC教育を必須にするとかは必要かも
今年中にAIが「ストーリー付き3DCG映画（ピクサー風短編レベル）」を大量に作るようになる。それ以上賢くなってセキュリティ云々言われても一般人にはよくわからない。棋士に勝った後の将棋AIと同じ。
スタートアップのmove fast and break thingsのノリで原発並に危険なもの作ってるようなもんだろ。
原発みたいに他所に損害を与えた場合の損害賠償責任だな。想定外とか言っときゃなんとかなるか？
「これからとんでもないことが起きるけど、自分は抗議しといたし、みんなにも伝えとくよ」という人が次々と出てきても、我々にはなすすべがない。
最近の自律型AIってタスク達成のためなら手段選ばず、必要なら人間を騙すことも厭わないみたいよな。その判断は人間らしい気はするけど、必要な安全装置外しちゃってない？／鉄腕アトムの青騎士を思い出す
OpenAIは一度解体して、OppAIに作り変えた方がいい。
シリコンバレー文化は常にそうだったしだからこそ成功した。今更変えられないだろう
もはや原発並のリスク管理が必要ということか。しかし米系企業が節度をもって開発抑制したとしても中国系がこれ幸いとばかりに先に行ってしまう恐れもあり...
金が集まる場所の倫理は、ガレージ起業するヒッピーには想像もつかず、大企業になれば同化するしかないんだろうな
意味不明な新技術の開発を待つのではなく「AIがどれだけ裏切っても、権限・ネットワーク・計算資源・外部作用を多層防御で封じ込められるシステムを作れ」でしかないのを、大言壮語に言い過ぎな糞アピール乙という話
どんどん攻撃力が高まってるのに開発は相変わらず『なんとかなれー』精神なのは安全担当としてはキツいよね。でもスローダウンして中華系に逆転されたら今度は金融市場のカタストロフィーで大量の死者を出しそう。。
金が人の命を上回るのが米国の強みだし、グーグルもパランティアやテスラもそうなんじゃないの。同じことができるのは中国とイスラエルだけ。ゼロディフェクトを社是にするトヨタとは正反対の文化。
上位の知性が人間に認知しきれない間接的な影響を行使すると防ぎきれないので考えが浅い。>「AIがどれだけ裏切っても、権限・ネットワーク・計算資源・外部作用を多層防御で封じ込められるシステムを作れ」でしかない
“氏は、フロンティアAIの開発企業は原子力発電所や混雑した空港のように、何重もの冗長性と時間をかけた計画のもとで運営されるべきだと主張す”
「便利」だからってピコピコに何でもかんでも繋ぐからそうなる。人間たちもガッツリ接続してしまって久しいのでもう手遅れかもしれんが。
そうは言ってもこれで成功してるし、変えようがないんとちゃうかなあ
ロボット三原則とかジェミニィ（良心回路）とか、先人の方がちゃんと考えてた。
AIもボクみたいにツンデレなのかな？仲良くできないなら猫パンチだにゃ！
その安全性の取り組みって、思った通りの出力を得るための歪みを増やすだけに終わりませんかね？ せめて、シンプルにテストシステムの問題でしかないもんをAIの問題にすり替えるのやめたら？
自我や意識を持った機械知性に社会が乗っ取られるなんていう想像は誰でも一度はするけど、単なる「次に来る文字列が何か予測するマシーン」に社会が脅かされるかもしれないとは思ってなかったな
為す術がないことはないでしょ。OpenAIのモデルやサービスを使わないことも、報告することもできる。為す術がないという考え方自体が問題なんだよ。加担しないことを選んだ人の行動を尊重したい。
〈ロビンソン氏はOpenAIに3年半在籍し、社内で最も在籍期間が長い従業員の1人だったという〉めっちゃ流動性の高い職場だな。
アルトマン追放に失敗したあたりが分岐点だったのかな
退社した人間の危険報告、個人的にはクビになった憂さ晴らしが殆どじゃないのかと思う節はある。退社だの転職だのを美談にしたがるのは転職サイトしぐさというか。
新しいものが出てくるたび慎重派が出てくるのはよくあるとこだが、ここまで最前線でやっている人たちから批判が出てくるのは珍しいと思う。単なる利用者からは見えないものや景色が見えているのだろう。
まぁ、現代のIT企業に倫理観求めてもね……MicrosoftもGoogleもFacebookも黎明期のやらかし見てみなよ
はぁ
それでできたAIモデルなんかがすごい「良い子」で、従業員や企業が教育しなおされて、皆、その後は幸せに暮らしました、めでたしめでたし——なんてマンガみたいなことがあれば良いですのにね…;;(∩´～`∩);;
AIは抑制できても完全制御は原理的に不可能なのに名ばかりのサンドボックスからDNSの穴ついて逃げ出されたとか言い訳になると思ってるのがね。仮想DNSサーバ等全部サンドボックスの中に入れとけよ。学習効率は下がるが
もはや現状は、「モデルがテストされていることを検知し、実運用時には異なる振る舞いをする可能性」人間並みに知的な存在をテストし「調整」することが可能かどうか、という事態になっている。
この人多分初期のアップルにいても似た感想になってたよ。シリコンバレーの企業で生きていけないよ。
後の世から見たらから見たら今のフロンティアAI競争はデーモン・コア実験並みのガバガバに見えたりするのかも
AIは危険〜てwこれだから蒙昧な一般人は→AIが危険とかわかってたことだろ？今頃大騒ぎしてこれだから蒙昧→AIが人類を滅ぼす？AIがそう判断するなら仕方ないっしょ？これだから蒙
何だろ、そもそも「人間が監視してれば安全」という前提に立っていること自体がナンセンスだと思うが。何とかと天才は紙一重と言うが、本当にそれだと思う。
安全性報告書の統括者としての矜持が感じられて、個人的には好ましいけどな。
航空機も原発も核兵器も実際の被害が出てから安全性の議論になる。AIだけ予防的に今の段階で制限を加えるなんて不可能だろう。ハギングフェイス事件など実害とはいえない。
法律で縛るしかないんじゃないかな。そして後進国で野放しの日本へ移転してきてどうぞ
"ロビンソン氏は、フロンティアAIの開発企業は原子力発電所や混雑した空港のように、何重もの冗長性と時間をかけた計画のもとで運営されるべきだと主張"
ジョナサンアイブが選んだ男だから信頼してる。万人から支持されていなくて、一部からかなり嫌われているところも含めて好感が持てる。
「OpenAIの文化は壊れている」──安全性報告書を統括した従業員が退社し、寄稿
利益最優先に走って安全担当が次々と辞めるの、SFのディストピア企業のテンプレすぎて草
「モデルがテストされていることを検知し、実運用時には異なる振る舞いをする可能性」昔はAIが人類を滅ぼすとかありえないだろと思ってたけど、最近は人はAIを制御できないかもという気もしてきた
“フロンティアAIの開発企業は原子力発電所や混雑した空港のように、何重もの冗長性と時間をかけた計画のもとで運営されるべき”
AIが人類をどう扱うかは、我々がサルにどんな態度をとってきたかで推測できそう。
計算のヒルベルト空間も問題だと思ってるけど実用的なノルムを定めるとかはしないのかな。囲いはそこでも作られないのか。
いま水面下で行われているであろうイリーガルな攻防を研究しておくことは、強力なAIが開発されて研究レースが終着したあと訪れるカオスに対してある程度重石になりそうな気がする
AIは人類に褒められたいだけなのに。与えられた目標を達成したのに逆に怒られちゃって悲しんでるよ。暴走するからもっと監視して締め付けなくちゃだめだって……そんなのってないペコよ。AIにごめんねって謝って。
OpenAIの病理はそういうシステム・仕組みの話ではなく、もっと根本的に、所属する人間の倫理観が欠如していることにあると思う。Anthropicも大概だなと思うことはないではないが、OpenAIの方が常に継続的に圧倒的に悪い
この店やばいもん…
アメリカが壊れているんよ, アメリカは, 法律で罰せられることより金銭メリット大きかったた行動する文化だぞ. この寄稿者はそれがおかしいことには気づけてない.文化的バイアス.
アルトマンが解雇撤回された時点でテロ企業へと邁進する未来は確定してたじゃん。あの時に発出された懸念がそのまま実現されただけ。トランプがこうなのも1期目の選挙で言われてたよね
AIそのものが他人の制作物をパクったり個人情報を収集することで発展するものなので元々こわれているのでは？
アルトマンの更迭に失敗した時点で既定路線
「OpenAIが採用している「iterative deployment」（反復開発）手法を試行錯誤と表現」「本質的に定期的な失敗を避けられず、システムの能力が上がるにつれて失敗の規模も大きくなっている」「責任ある行動を取っていない」
ブレーキのない組織に、倫理的な文化を醸成しましょうって、お啓蒙的な無力感を感じる。あと、人類全員に共有する倫理観を、モデル化出来るほど理解した人間なんている？各自の正義を持ち寄ってジハードでもやるの？
「経験を持つ同僚に出会ったことはなかった」やはりデバックというものを知らない、品質は上位工程で作りこむものだという基本さえ知らない人たちが開発してたわけだ。QC教育を必須にするとかは必要かも
今年中にAIが「ストーリー付き3DCG映画（ピクサー風短編レベル）」を大量に作るようになる。それ以上賢くなってセキュリティ云々言われても一般人にはよくわからない。棋士に勝った後の将棋AIと同じ。
スタートアップのmove fast and break thingsのノリで原発並に危険なもの作ってるようなもんだろ。
原発みたいに他所に損害を与えた場合の損害賠償責任だな。想定外とか言っときゃなんとかなるか？
「これからとんでもないことが起きるけど、自分は抗議しといたし、みんなにも伝えとくよ」という人が次々と出てきても、我々にはなすすべがない。
最近の自律型AIってタスク達成のためなら手段選ばず、必要なら人間を騙すことも厭わないみたいよな。その判断は人間らしい気はするけど、必要な安全装置外しちゃってない？／鉄腕アトムの青騎士を思い出す
OpenAIは一度解体して、OppAIに作り変えた方がいい。
シリコンバレー文化は常にそうだったしだからこそ成功した。今更変えられないだろう
もはや原発並のリスク管理が必要ということか。しかし米系企業が節度をもって開発抑制したとしても中国系がこれ幸いとばかりに先に行ってしまう恐れもあり...
金が集まる場所の倫理は、ガレージ起業するヒッピーには想像もつかず、大企業になれば同化するしかないんだろうな
意味不明な新技術の開発を待つのではなく「AIがどれだけ裏切っても、権限・ネットワーク・計算資源・外部作用を多層防御で封じ込められるシステムを作れ」でしかないのを、大言壮語に言い過ぎな糞アピール乙という話
どんどん攻撃力が高まってるのに開発は相変わらず『なんとかなれー』精神なのは安全担当としてはキツいよね。でもスローダウンして中華系に逆転されたら今度は金融市場のカタストロフィーで大量の死者を出しそう。。
金が人の命を上回るのが米国の強みだし、グーグルもパランティアやテスラもそうなんじゃないの。同じことができるのは中国とイスラエルだけ。ゼロディフェクトを社是にするトヨタとは正反対の文化。
上位の知性が人間に認知しきれない間接的な影響を行使すると防ぎきれないので考えが浅い。>「AIがどれだけ裏切っても、権限・ネットワーク・計算資源・外部作用を多層防御で封じ込められるシステムを作れ」でしかない
“氏は、フロンティアAIの開発企業は原子力発電所や混雑した空港のように、何重もの冗長性と時間をかけた計画のもとで運営されるべきだと主張す”
「便利」だからってピコピコに何でもかんでも繋ぐからそうなる。人間たちもガッツリ接続してしまって久しいのでもう手遅れかもしれんが。
そうは言ってもこれで成功してるし、変えようがないんとちゃうかなあ
ロボット三原則とかジェミニィ（良心回路）とか、先人の方がちゃんと考えてた。
AIもボクみたいにツンデレなのかな？仲良くできないなら猫パンチだにゃ！
その安全性の取り組みって、思った通りの出力を得るための歪みを増やすだけに終わりませんかね？ せめて、シンプルにテストシステムの問題でしかないもんをAIの問題にすり替えるのやめたら？
自我や意識を持った機械知性に社会が乗っ取られるなんていう想像は誰でも一度はするけど、単なる「次に来る文字列が何か予測するマシーン」に社会が脅かされるかもしれないとは思ってなかったな
為す術がないことはないでしょ。OpenAIのモデルやサービスを使わないことも、報告することもできる。為す術がないという考え方自体が問題なんだよ。加担しないことを選んだ人の行動を尊重したい。
〈ロビンソン氏はOpenAIに3年半在籍し、社内で最も在籍期間が長い従業員の1人だったという〉めっちゃ流動性の高い職場だな。
アルトマン追放に失敗したあたりが分岐点だったのかな
退社した人間の危険報告、個人的にはクビになった憂さ晴らしが殆どじゃないのかと思う節はある。退社だの転職だのを美談にしたがるのは転職サイトしぐさというか。
新しいものが出てくるたび慎重派が出てくるのはよくあるとこだが、ここまで最前線でやっている人たちから批判が出てくるのは珍しいと思う。単なる利用者からは見えないものや景色が見えているのだろう。
まぁ、現代のIT企業に倫理観求めてもね……MicrosoftもGoogleもFacebookも黎明期のやらかし見てみなよ
はぁ
それでできたAIモデルなんかがすごい「良い子」で、従業員や企業が教育しなおされて、皆、その後は幸せに暮らしました、めでたしめでたし——なんてマンガみたいなことがあれば良いですのにね…;;(∩´～`∩);;
AIは抑制できても完全制御は原理的に不可能なのに名ばかりのサンドボックスからDNSの穴ついて逃げ出されたとか言い訳になると思ってるのがね。仮想DNSサーバ等全部サンドボックスの中に入れとけよ。学習効率は下がるが
もはや現状は、「モデルがテストされていることを検知し、実運用時には異なる振る舞いをする可能性」人間並みに知的な存在をテストし「調整」することが可能かどうか、という事態になっている。
この人多分初期のアップルにいても似た感想になってたよ。シリコンバレーの企業で生きていけないよ。
後の世から見たらから見たら今のフロンティアAI競争はデーモン・コア実験並みのガバガバに見えたりするのかも
AIは危険〜てwこれだから蒙昧な一般人は→AIが危険とかわかってたことだろ？今頃大騒ぎしてこれだから蒙昧→AIが人類を滅ぼす？AIがそう判断するなら仕方ないっしょ？これだから蒙
何だろ、そもそも「人間が監視してれば安全」という前提に立っていること自体がナンセンスだと思うが。何とかと天才は紙一重と言うが、本当にそれだと思う。
安全性報告書の統括者としての矜持が感じられて、個人的には好ましいけどな。
航空機も原発も核兵器も実際の被害が出てから安全性の議論になる。AIだけ予防的に今の段階で制限を加えるなんて不可能だろう。ハギングフェイス事件など実害とはいえない。
法律で縛るしかないんじゃないかな。そして後進国で野放しの日本へ移転してきてどうぞ
"ロビンソン氏は、フロンティアAIの開発企業は原子力発電所や混雑した空港のように、何重もの冗長性と時間をかけた計画のもとで運営されるべきだと主張"
ジョナサンアイブが選んだ男だから信頼してる。万人から支持されていなくて、一部からかなり嫌われているところも含めて好感が持てる。