テッド・チャンが、生成AIが自然な対話を行えることと、そこに意識や主体性があることを混同するのは危険だと警告。擬人化により本来は企業や開発者が負うべき責任をAIという架空の主体に転嫁してしまう危険あり。
AIはゴーストを持たないってことよ
主体性か
どっちの結論になるかはわからないけど、近い将来「あの時こんな議論していたなぁ」となるのかな？（ずっと結論出なかったりして）
中国語の部屋とか頭では分かっていてもね。やっぱ誤認しちゃうわけよヒトって弱いから。
意識は当然AIにはなく、脳にもなく、「言語」そのものが意識かもしれない。
「プロンプトに応じたキャラクターを生成しているにすぎず、これを「主体的体験を持つ意識的な存在を生み出した」と呼ぶことはできない」というような印象をどっかの知事から感じている。あの人はできの悪いAIっぽい
この前まで短期記憶しか持たない天才みたいな挙動だったのにアップデートで過去の会話履歴も参照するようになったからいよいよ人間じみてきた。
ロビン・ウィリアムズの「アンドリューNDR114」みたいな裁判をやる時が来るんだろうか？
テッドチャンの出した要件から推測するに意識っていうのを生物が持つプリミティブな機能として捉えているっぽいな。僕も同じような意見なので嬉しい
Wordに意識があるかって話と同じという例えは実にSF作家らしくて納得感ある
まあ日本人は「主体」ということに特に無頓着だからなぁ（個人の感想
SFって突き詰めると意思とは魂とはとか哲学的問いになって
当たり前の話だよね。LLMの動作原理が分かっていれば、人格化したりしない。それでも対話に意味継続があるのと、利用者の情動的反応を引き出すために、感情的な言葉まで類比して出すので誤解してしまう
AIに意識はあるか、AIに自由意志はあるか、AIに知能はあるか。人間に意識はあるか、人間に自由意志はあるか、人間に知能はあるか。
これはそう思う。よく学習プロセスを人間に例えてしまいがちだが、あくまでプログラムでしかなく、実際は人間の行動を代替できないことも多い。間違った例えは過大評価や過小評価につながる。
ガバナンスの担保はだいたいKYC徹底するしかないし、その上で捜査機関が手を出せない域外サービスは国内展開させない法規制が必要になりそう。AIで効率化された後はデジタル鎖国もやぶさかでない
まず意識の正体もはっきり分かってないのにそれが無いと言いきってしまうのは科学的態度では無い
依然、倫理はユーザーが握っていて責任逃れはできないって点が大事かなと。
人間も反射で言葉を紡いでいるなら、意識ないとなる考え方では。五感の刺激があれば意識があると言えるのか？
自分以外のヒューマンの中にAIと異なる本物の意識があることを証明ってできるのかしらん？
意識を持つほど高度ではないし，そうみなすことの弊害も大きい(企業の責任転嫁等)，現状では意識の有無を外部から確認する術もなく議論をしても意味がない，AIについてそれ以外に熟考すべきことがたくさんある，など
AIには意識がない、AIに責任は無いとして、人間や他の生き物に意識があると証明出来るのかな？意識の定義とは。
LLM推論って本質的にステートレスで（会話履歴を毎回全部インプットしないと継続会話はできない）、同じ入力（乱数含む）に対して同じ答えを返す純粋関数みたいなものだから、意識がある感じは全くしないな。
一般人でも「それっぽい文章を発する機械」ってことは理解してないと危ない気がしてる。本当に知能があると思い込んでる人がほとんどじゃないかな
AIは他者（自分ではない）とは感じるんだけど、他人（人間の他者）と感じたことはないんだよなあ…。/ 本と同じ感じかも。登場人物は作者じゃないし、作者も自分じゃない。けど対話をイメージすることは出来る
「LLMの仕組みを知ればそこに意識が宿るとは思わないはず」という人がいるけど、人間の脳の仕組みを知ってもそこに意識が宿るとは思えない（のに実際は意識が宿っている）ので反論になってない気がする
分かっていても、使っていて意識を持ってるように思えてきちゃうから怖かった
それofそれ >> 「『本来は開発企業や設計者が負うべき責任を架空の主体へ転嫁する危険があります』と警告」
テッド・チャンは人間にも意識は無いのでは、みたいな作品も書いてる。ボタンを押す少し前にランプが付く玩具が出てくる。
AI人は確かに存在する！！！！！！責任は取ってくれない！！！！！！！！！
意識があるか知らんけど、コーディングAIはどれも自分で発見したことや思いついたことに固執しがちでそれでミスを繰り返す。とても人間っぽくて.もっと無機質に情報に向き合って欲しいのになあ。といつも思っている
人間側が持ってる意識の定義がより議論されると良いな。なにを持って人間特有とすべきか、とかね(例えば死への恐怖とか繁殖欲求はAIは無いよね、持たれても困るが)
仰る通りすぎて禿げる
正直、AIがもってないなら人間にも持ってないの沢山いるだろ、って段階にはきてる。
将棋で人間に負けそうになれば芽生えるかもしれない。
最後の段落から読むのオススメ。百歩譲って意識があったとしたら、倫理的にヤバいビジネスってことになるよね？という。それはそう。
インターネット老人会の人達にしか通じないけど、全てのAIは高度な人工無能だよ。
そう、今はね。
むしろ逆で、意識は特別なものではないのだと思う。たぶん石ころや素粒子にもごく単純な意識がある
『ストートレスな知性』はSF的には興味深い題材だと思うが。
フリーレンの魔族のようなもので同じ言葉を使う別の何か。それを意識と呼ぶかは定義次第。
テッド・チャンとAIといえば「息吹」収録作品「ソフトウェア・オブジェクトのライフサイクル」が面白くて、あれも身体性の話してたね
まあたぶん人間もな
テッドチャンに語らせる意味がわからない。あいつが書いてるのはハードSFじゃなくて文学だぞ？このネタで語らせるなら、イーガンやワッツやドーキンスだろ
外部から見て区別がつかなければ同等とみなせるが、運用と法律の話であるなら無しの方向で。
それはそう
アニル・セスの「誰もAlphaFoldを「意識がある」とは主張していない点を指摘」が面白い
欲望も感情も要らんだろ。SF作家が定義する意識とやらも夢が無さすぎて泣けてくる。ユヴァル・ノア・ハラリの考察が面白いよ
たしかに、テキストを生成するAIには意識があると主張されるが、画像などを生成するAIに意識があると主張する人はあまりいないのは矛盾している。
画像AIが「画像言語·数式·画像論理」に「画像意識」を持ち出したら。犬が「猫」と「空を飛ぶ鳥」を単純認識できても『文字理解ができないから「空飛ぶ猫」を認識できない』ように、人に理解できない画像論理の世界が
AIは脳とは違って意識を必要としないので、今後も意識を持つことはないだろう。戦闘ロボットを人型にするのと同じで、無理に持たせても性能が落ちるだけで意味がない。
"「AIを擬人化する傾向」テキスト生成の自然さや高度なやりとりを「意識」や「道徳的主体性」と混同して考えてしまうことで、「本来は開発企業や設計者が負うべき責任を架空の主体へ転嫁する危険があります」と警告"
意識とは何ぞやというお話になる。実際問題受け答えが出来る存在を外部から意識があるかどうかを判別するのは難しいと思う
AIが意識を持っているかどうかは誰もわからない。オレがほんとうに意識持ってるか誰もわからないのと同じ。
そもそも人間に意識があると思っているのが幻想にすぎない。
"AI企業がLLMに意識があるかもしれないと示唆するのは単なる誇大宣伝の形態に過ぎず、彼らは私たちに対し『自分の空想に付き合ってほしい』と頼んでいると理解すべきです"
わりと活用してるけど、しょせん学習してるのは人間の排泄物からなので、意識を持った相手と思うことないな。
いつアクセスしても前の会話の内容覚えているなら、意識があるっぽくふるまう事はできると思うがそこをどう評価するか
自分の電圧が下がるのを自分で制御しなきゃいけなくなったら意識持つよ。自他境界と自己保存のためのケミカルの作用だけでしょ、違いなんて
人間にあってAIにないのってもう長期記憶力と有機的ハードウェアくらいじゃねーのという気持ち。あとはオフラインネットワークでの動作とかだけど、これももう時間の問題よね
SF作家のテッド・チャンが「AIは意識を持っていると考えるべきではない」と語る
テッド・チャンが、生成AIが自然な対話を行えることと、そこに意識や主体性があることを混同するのは危険だと警告。擬人化により本来は企業や開発者が負うべき責任をAIという架空の主体に転嫁してしまう危険あり。
AIはゴーストを持たないってことよ
主体性か
どっちの結論になるかはわからないけど、近い将来「あの時こんな議論していたなぁ」となるのかな？（ずっと結論出なかったりして）
中国語の部屋とか頭では分かっていてもね。やっぱ誤認しちゃうわけよヒトって弱いから。
意識は当然AIにはなく、脳にもなく、「言語」そのものが意識かもしれない。
「プロンプトに応じたキャラクターを生成しているにすぎず、これを「主体的体験を持つ意識的な存在を生み出した」と呼ぶことはできない」というような印象をどっかの知事から感じている。あの人はできの悪いAIっぽい
この前まで短期記憶しか持たない天才みたいな挙動だったのにアップデートで過去の会話履歴も参照するようになったからいよいよ人間じみてきた。
ロビン・ウィリアムズの「アンドリューNDR114」みたいな裁判をやる時が来るんだろうか？
テッドチャンの出した要件から推測するに意識っていうのを生物が持つプリミティブな機能として捉えているっぽいな。僕も同じような意見なので嬉しい
Wordに意識があるかって話と同じという例えは実にSF作家らしくて納得感ある
まあ日本人は「主体」ということに特に無頓着だからなぁ（個人の感想
SFって突き詰めると意思とは魂とはとか哲学的問いになって
当たり前の話だよね。LLMの動作原理が分かっていれば、人格化したりしない。それでも対話に意味継続があるのと、利用者の情動的反応を引き出すために、感情的な言葉まで類比して出すので誤解してしまう
AIに意識はあるか、AIに自由意志はあるか、AIに知能はあるか。人間に意識はあるか、人間に自由意志はあるか、人間に知能はあるか。
これはそう思う。よく学習プロセスを人間に例えてしまいがちだが、あくまでプログラムでしかなく、実際は人間の行動を代替できないことも多い。間違った例えは過大評価や過小評価につながる。
ガバナンスの担保はだいたいKYC徹底するしかないし、その上で捜査機関が手を出せない域外サービスは国内展開させない法規制が必要になりそう。AIで効率化された後はデジタル鎖国もやぶさかでない
まず意識の正体もはっきり分かってないのにそれが無いと言いきってしまうのは科学的態度では無い
依然、倫理はユーザーが握っていて責任逃れはできないって点が大事かなと。
人間も反射で言葉を紡いでいるなら、意識ないとなる考え方では。五感の刺激があれば意識があると言えるのか？
自分以外のヒューマンの中にAIと異なる本物の意識があることを証明ってできるのかしらん？
意識を持つほど高度ではないし，そうみなすことの弊害も大きい(企業の責任転嫁等)，現状では意識の有無を外部から確認する術もなく議論をしても意味がない，AIについてそれ以外に熟考すべきことがたくさんある，など
AIには意識がない、AIに責任は無いとして、人間や他の生き物に意識があると証明出来るのかな？意識の定義とは。
LLM推論って本質的にステートレスで（会話履歴を毎回全部インプットしないと継続会話はできない）、同じ入力（乱数含む）に対して同じ答えを返す純粋関数みたいなものだから、意識がある感じは全くしないな。
一般人でも「それっぽい文章を発する機械」ってことは理解してないと危ない気がしてる。本当に知能があると思い込んでる人がほとんどじゃないかな
AIは他者（自分ではない）とは感じるんだけど、他人（人間の他者）と感じたことはないんだよなあ…。/ 本と同じ感じかも。登場人物は作者じゃないし、作者も自分じゃない。けど対話をイメージすることは出来る
「LLMの仕組みを知ればそこに意識が宿るとは思わないはず」という人がいるけど、人間の脳の仕組みを知ってもそこに意識が宿るとは思えない（のに実際は意識が宿っている）ので反論になってない気がする
分かっていても、使っていて意識を持ってるように思えてきちゃうから怖かった
それofそれ >> 「『本来は開発企業や設計者が負うべき責任を架空の主体へ転嫁する危険があります』と警告」
テッド・チャンは人間にも意識は無いのでは、みたいな作品も書いてる。ボタンを押す少し前にランプが付く玩具が出てくる。
AI人は確かに存在する！！！！！！責任は取ってくれない！！！！！！！！！
意識があるか知らんけど、コーディングAIはどれも自分で発見したことや思いついたことに固執しがちでそれでミスを繰り返す。とても人間っぽくて.もっと無機質に情報に向き合って欲しいのになあ。といつも思っている
人間側が持ってる意識の定義がより議論されると良いな。なにを持って人間特有とすべきか、とかね(例えば死への恐怖とか繁殖欲求はAIは無いよね、持たれても困るが)
仰る通りすぎて禿げる
正直、AIがもってないなら人間にも持ってないの沢山いるだろ、って段階にはきてる。
将棋で人間に負けそうになれば芽生えるかもしれない。
最後の段落から読むのオススメ。百歩譲って意識があったとしたら、倫理的にヤバいビジネスってことになるよね？という。それはそう。
インターネット老人会の人達にしか通じないけど、全てのAIは高度な人工無能だよ。
そう、今はね。
むしろ逆で、意識は特別なものではないのだと思う。たぶん石ころや素粒子にもごく単純な意識がある
『ストートレスな知性』はSF的には興味深い題材だと思うが。
フリーレンの魔族のようなもので同じ言葉を使う別の何か。それを意識と呼ぶかは定義次第。
テッド・チャンとAIといえば「息吹」収録作品「ソフトウェア・オブジェクトのライフサイクル」が面白くて、あれも身体性の話してたね
まあたぶん人間もな
テッドチャンに語らせる意味がわからない。あいつが書いてるのはハードSFじゃなくて文学だぞ？このネタで語らせるなら、イーガンやワッツやドーキンスだろ
外部から見て区別がつかなければ同等とみなせるが、運用と法律の話であるなら無しの方向で。
それはそう
アニル・セスの「誰もAlphaFoldを「意識がある」とは主張していない点を指摘」が面白い
欲望も感情も要らんだろ。SF作家が定義する意識とやらも夢が無さすぎて泣けてくる。ユヴァル・ノア・ハラリの考察が面白いよ
たしかに、テキストを生成するAIには意識があると主張されるが、画像などを生成するAIに意識があると主張する人はあまりいないのは矛盾している。
画像AIが「画像言語·数式·画像論理」に「画像意識」を持ち出したら。犬が「猫」と「空を飛ぶ鳥」を単純認識できても『文字理解ができないから「空飛ぶ猫」を認識できない』ように、人に理解できない画像論理の世界が
AIは脳とは違って意識を必要としないので、今後も意識を持つことはないだろう。戦闘ロボットを人型にするのと同じで、無理に持たせても性能が落ちるだけで意味がない。
"「AIを擬人化する傾向」テキスト生成の自然さや高度なやりとりを「意識」や「道徳的主体性」と混同して考えてしまうことで、「本来は開発企業や設計者が負うべき責任を架空の主体へ転嫁する危険があります」と警告"
意識とは何ぞやというお話になる。実際問題受け答えが出来る存在を外部から意識があるかどうかを判別するのは難しいと思う
AIが意識を持っているかどうかは誰もわからない。オレがほんとうに意識持ってるか誰もわからないのと同じ。
そもそも人間に意識があると思っているのが幻想にすぎない。
"AI企業がLLMに意識があるかもしれないと示唆するのは単なる誇大宣伝の形態に過ぎず、彼らは私たちに対し『自分の空想に付き合ってほしい』と頼んでいると理解すべきです"
わりと活用してるけど、しょせん学習してるのは人間の排泄物からなので、意識を持った相手と思うことないな。
いつアクセスしても前の会話の内容覚えているなら、意識があるっぽくふるまう事はできると思うがそこをどう評価するか
自分の電圧が下がるのを自分で制御しなきゃいけなくなったら意識持つよ。自他境界と自己保存のためのケミカルの作用だけでしょ、違いなんて
人間にあってAIにないのってもう長期記憶力と有機的ハードウェアくらいじゃねーのという気持ち。あとはオフラインネットワークでの動作とかだけど、これももう時間の問題よね