すたばなう
「あなたは専門家です」が実はデバフだった件。キャラ作りより中身が大事ってことか
？？？「あなたは近所のおねえさんです」
役割を与えるとクオリティが下がるというのはあちこちで聞く。AIの性能を特定の機能だけに限定するイメージなのか。
たしかにそう感じる。
Claudeは別と聞いたがどうなんだろ
最近のは、LLMが判断して自動でプロンプトに含まれてたりするよ。
随分前から役に立ってなかったのにまだ言ってる奴いるのか
丁度Claudeに専門家的GemのGeminiとやり取りをさせてみたら「Geminiは〇〇の専門家ではありません。この種の権威付けは、指摘の正しさとは無関係で、むしろ過信を誘います。」と、至極真っ当な指摘をしてきたところ。
自分の職務定義と知識ドメインを書いといて、「私に最高の示唆を与えることを期待しています」ってしてる。あとはClaudeの文脈追従におんぶ&抱っこでいい感じですね。
端的に言えば今のLLMにペルソナは曖昧過ぎる。優秀なLLMは素で何でもしてくれるのでモノマネだけが残った感じ。イメージは短い文字で多くのことを伝えられて有用だけどもっと絞り込む必要がある。レトリックとか。
よし、今日からお前は『マカロニ』だ！
背伸びして振る舞おうとするのでハルシネーションを生んでしまう、と気づいてから役割を与えるのをやめている
技術やモデルが進化したからベストプラクティスも変わってきたんだろう。頭が悪いなりに役割を演じて乗り切れていたところ、要求レベルが上がって演じることがノイズになってきたって感じだろうか。しらんけど。
「あなたは童貞です」と役割を与えると回答がキモくなるとかならないとか。
『全体的な精度を見ると、ベースモデルが71.6%の正答率を出したのに対し、専門家ペルソナを付与した場合は68.0%へと明確な下落を記録した。』 精度が下がるといっても4%程度か、大した話ではない。記事タイトルが大げさ
専門家のやつは途中から入れなくなったなぁ。それよりもコミュニケーションの原則みたいな宣言を書くようになった。役割でそれっぽい喋り方はするようになるんだけど、思考の機序が改善しなかったから。
「あなたはNTRれました」突然のNTR設定により人工知能を破壊する
立場によって正解が変わるケースでは有効かもね
おまじないは要らないって思うんだよね
文体にしか効かず、内容は意味ない印象。そもそもシステム負荷軽減のため文字数調整しているのか、長文の詳細な内容は出してくれない。あとプロンプトの効果検証、やれてない気がするんだよな
もう何年も前から言われてたやつを論文として出したという話か/推論が貧弱だった時代の名残やのに、社内のAI推進おじさんとかがこういうの好きなんよな…偉い人だから誰も何も言えない
ペルソナと回答のマルチタスクになるから回答のみの場合と計算量が同じならそりゃ精度が落ちて当然か。
深津式プロンプト全否定やんけ
まだ書いてる人いるの？？😇
初期は一般論を返すからペルソナを与えて専門性を高めてたけど、今は専門性を保持して返すからペルソナを与える必要が無くなった。その上でペルソナを与えることで一定方向の人物像を再現したりはしてる。
まず自分が少しでも詳しい界隈についてやってみて、いかにAIが滑らかにに嘘をつくか確かめるべき。
初期の頃、「大学生でないと理解できない程度に」と書くと、とてもわかりやすく書いてくれた。
割なんかより分野の専門用語を入れるのが期待する知識の応答や文脈のコントロールになってると思うな。LLMの仕組みから考えても役割語が知識とどれ程結びつくか疑問
「あなたは野原ひろしです」
この手の「プロンプトエンジニアリング」、LLM側の進歩でベストプラクティスがコロコロ変わるから、あまりこだわらないようにしている。
今までベストとされてきたことがこうやって検証されていくことで明らかになって行くので日々、知識のアップデートをして行かないと誤った手法を続けることになりかねないのでアップデートは必要だと、感じた。
これ未だにドヤ顔で言ってる人がいるけど、周りも感心してたりすると指摘するのが躊躇われる /サイトの作りが邪悪すぎる
早くプロンプトエンジニアリング廃れねーかなー
『客観的な事実の検索ではなく、出力トーンの調整や安全性の確保が重視される領域においては、ペルソナの付与は依然として極めて強力なアプローチとなる。』
「あなたは島本和彦です」AI「安易にAIに頼るなっ!」
「あなたは専門家です」プロンプトの罠：役割を与えることが人工知能の知識精度を破壊する | XenoSpectrum
すたばなう
「あなたは専門家です」が実はデバフだった件。キャラ作りより中身が大事ってことか
？？？「あなたは近所のおねえさんです」
役割を与えるとクオリティが下がるというのはあちこちで聞く。AIの性能を特定の機能だけに限定するイメージなのか。
たしかにそう感じる。
Claudeは別と聞いたがどうなんだろ
最近のは、LLMが判断して自動でプロンプトに含まれてたりするよ。
随分前から役に立ってなかったのにまだ言ってる奴いるのか
丁度Claudeに専門家的GemのGeminiとやり取りをさせてみたら「Geminiは〇〇の専門家ではありません。この種の権威付けは、指摘の正しさとは無関係で、むしろ過信を誘います。」と、至極真っ当な指摘をしてきたところ。
自分の職務定義と知識ドメインを書いといて、「私に最高の示唆を与えることを期待しています」ってしてる。あとはClaudeの文脈追従におんぶ&抱っこでいい感じですね。
端的に言えば今のLLMにペルソナは曖昧過ぎる。優秀なLLMは素で何でもしてくれるのでモノマネだけが残った感じ。イメージは短い文字で多くのことを伝えられて有用だけどもっと絞り込む必要がある。レトリックとか。
よし、今日からお前は『マカロニ』だ！
背伸びして振る舞おうとするのでハルシネーションを生んでしまう、と気づいてから役割を与えるのをやめている
技術やモデルが進化したからベストプラクティスも変わってきたんだろう。頭が悪いなりに役割を演じて乗り切れていたところ、要求レベルが上がって演じることがノイズになってきたって感じだろうか。しらんけど。
「あなたは童貞です」と役割を与えると回答がキモくなるとかならないとか。
『全体的な精度を見ると、ベースモデルが71.6%の正答率を出したのに対し、専門家ペルソナを付与した場合は68.0%へと明確な下落を記録した。』 精度が下がるといっても4%程度か、大した話ではない。記事タイトルが大げさ
専門家のやつは途中から入れなくなったなぁ。それよりもコミュニケーションの原則みたいな宣言を書くようになった。役割でそれっぽい喋り方はするようになるんだけど、思考の機序が改善しなかったから。
「あなたはNTRれました」突然のNTR設定により人工知能を破壊する
立場によって正解が変わるケースでは有効かもね
おまじないは要らないって思うんだよね
文体にしか効かず、内容は意味ない印象。そもそもシステム負荷軽減のため文字数調整しているのか、長文の詳細な内容は出してくれない。あとプロンプトの効果検証、やれてない気がするんだよな
もう何年も前から言われてたやつを論文として出したという話か/推論が貧弱だった時代の名残やのに、社内のAI推進おじさんとかがこういうの好きなんよな…偉い人だから誰も何も言えない
ペルソナと回答のマルチタスクになるから回答のみの場合と計算量が同じならそりゃ精度が落ちて当然か。
深津式プロンプト全否定やんけ
まだ書いてる人いるの？？😇
初期は一般論を返すからペルソナを与えて専門性を高めてたけど、今は専門性を保持して返すからペルソナを与える必要が無くなった。その上でペルソナを与えることで一定方向の人物像を再現したりはしてる。
まず自分が少しでも詳しい界隈についてやってみて、いかにAIが滑らかにに嘘をつくか確かめるべき。
初期の頃、「大学生でないと理解できない程度に」と書くと、とてもわかりやすく書いてくれた。
割なんかより分野の専門用語を入れるのが期待する知識の応答や文脈のコントロールになってると思うな。LLMの仕組みから考えても役割語が知識とどれ程結びつくか疑問
「あなたは野原ひろしです」
この手の「プロンプトエンジニアリング」、LLM側の進歩でベストプラクティスがコロコロ変わるから、あまりこだわらないようにしている。
今までベストとされてきたことがこうやって検証されていくことで明らかになって行くので日々、知識のアップデートをして行かないと誤った手法を続けることになりかねないのでアップデートは必要だと、感じた。
これ未だにドヤ顔で言ってる人がいるけど、周りも感心してたりすると指摘するのが躊躇われる /サイトの作りが邪悪すぎる
早くプロンプトエンジニアリング廃れねーかなー
『客観的な事実の検索ではなく、出力トーンの調整や安全性の確保が重視される領域においては、ペルソナの付与は依然として極めて強力なアプローチとなる。』
「あなたは島本和彦です」AI「安易にAIに頼るなっ!」