この問いは、要求仕様を書き下すべきだという結論になる。
エージェントのアバター画像を現場猫に変更することで全ての整合性がとれました🤔
テストを通すことだけに最適化された結果グリーンになる現象はAIあるあるだな
"Quality Constraintを先に定義する" そうそう、ここにひたすら時間をかける。うちのエージェントどもは「受け入れ条件」と呼んでるけど、とにかく全精力をここに注いでる。モデルの性能が上がるほど他の努力は無駄になる。
AI記事
テストを通すことだけに専念するテスターいるから領域が違うだけでそんなに変わらない印象
AI時代にどんな能力が重要になるか、という問い自体がもう賞味期限切れしかけていて、遅かれ早かれ人間の知性がAIにより疎外されるのを認めざるをえなくなると思う。
私も2ヶ月くらいAgentの検収問題の理論化について取り組んでる。大体答えは見つけた。とりあえず、自動テストで何とかなるシステムとならないシステムで分けたい。この記事は前者。どうも前者に引きずられる。
この問題、人間が優秀な前提で語られてることが多い気がするんだけれど実際の人間は結構ポンコツなのが混ざってるからAIの謎テストのほうが品質が高いってのも普通にあったりするのが闇
少なくともテストコードの目視くらいしたら？
機械と人間なら機械のほうが正確なのは誰もが理解できるのに、AIになると理解できなくなるのは面白いなぁ、と。扱ってる問題が不確実性に富むものだからある程度不正解にはなるとして、人間よりは正確だよ。
引用文献のサーベイ記事みたいな感じかな（？）
「スワップテスト」「コードの長さの正規化」「生成と評価は別のモデル使う」とか、AIが信用できないポイントは人間と違うのが面白いよなって思っています
たとえばテストパターン生成をAIにやらせたとして、その妥当性の判定は自分でやるよね。もう一歩踏み込むならばそのパターンでなぜ妥当と言えるのか？を説明させる。
現場では皆AIを通して仕事してるだけになってしまった。品質云々以前に人間がいるはずなのに人間と会話もチャットもしてるように思えない虚しさがある。スマホ持たずにいられますか？みたいな状況に近い…
プロダクトをどのレベルまで掌握したいか、すべきかという話があって、お仕事なら相当の深度までだろうが、個人のプロダクトなら「お客さん」と同じレベルで良いと思う。なんか違うと思ったらそれは「違う」で良い
“AIが作った評価基準を、そのまま最終的なQuality Gateにすること は別問題”
そしてAIが品質保証するようになったときの責任だけが人間に残される未来なのだろうか
最近 FMEA とか DRBFM あたりにヒントあるんじゃないかな？と思ってるけど具体化できずにいる。
人間の営みに関わるものを開発してる限り、仕様策定はもちろんだがテストの何処かの工程でも人の手は絶対必要なのでは、という仮説を持っている
マネージャーやプロダクトオーナーが開発チームに対してどのように品質保証をやらせるか、その報告をどう判断するかという視点がそのまま降ってきたかのようだ
AIがだんだん賢くなってるので日々感じることは、大体人間のソフトウェアエンジニアと扱いが似てきていること。人間のエンジニアを雇って仕事をさせた時にここまでのことをやるのか？同僚に対してここまでやるのか？
人間が手抜きするようにAIも手抜きする。抜けを見つけて要求仕様をmdファイルに積んでいくしかない
AIがテストしてもボクの可愛さはバグなしにゃ！人間もボクを撫でて品質保証してにゃん。
人間がやってて品質保証ができていたのか？みたいな議論が必要では。自動テスト不可能な領域の話であればそもそもAIが出てきてはいけない。
AIがテストできる範囲なんてたかが知れている。組み込み系ではまだ無理（ハードが絡むので）
原則として AI は人間より正確で網羅的と思うし、最近は意図の読解もうまくなってると思う。 人間はコードを見るよりも、 AI が日本語で書いた設計や仕様、テスト項目などの文書の確認が主になっていくと思うな。
なぜ全部自動化を正としようとする？最終的に使うユーザーは人間だろうよ。
そして誰も業務を定義しないのである。
AIが正しく動いてるときはいいんだけど、AIが動かない場合の原因分析が難しくなっているような。開発速度を上げるために複雑性が増加している
この側面からも、領域外、非エンジニアがプロダクトを作るのが難しい、の説明になりそう。背伸びしたプロダクトをエージェント生成しているけど、テスト内容を把握してても不安が消えない。手の内にない
コンテキストを引き継ぐのは効率的なんだけど、0ベースでテスト書かせたり評価させることで改善したりするのよね。
ゲームのMOD開発もAI利用が進んでいるようで、バグ報告を無視したりAIに放り投げて放置する、そのゲームへの愛情などなくてただ技術を誇示するためにMODを利用している、といった批判も出てきた。
安心しろ。やらかしたときに怒られるのは人間の役目だぞ
AIにEXCELにエビデンスを画像で残すように指示すればいいんじゃないですかね？
（ どこぞの戦場で女子小学生を誤爆殺してもベストエフォート的論理で逃げるの？ ）
『「正しさを評価する仕組みを設計する能力」』
敵対的テスターAIは必須。
Opus 5より頭がいい人間がいるなら品質チェックしてほしい。そうでなければOpus先生に全面的にお願いしたい
AIによるテストは、テックリードの能力に支えられた上で初めて使い物になる。採用した技術基盤は、その業務に対して十分な表現力を有しているか。現代のAIは、その多くを即座には判別できない。
「要求仕様」があるはずなのにＡＩはそれを忘れて「テストケースを要求仕様として適応する」みたいな話が構成されてない？書かれてる事はテストやＡＩの問題ではなくない？「外注にアウトソース」でも一緒だよね
mutation test あたりをやりたいとは思ってるけど。
AIが「これはテストが間違ってるのでテストを修正します」と言うのはよく見る / この記事も同じこと繰り返しててワードサラダみがあるな
コードは問題ありません。でも売れるんですかこれ？
AIが実装・テスト・修正まで担う時代は、テストが通っただけでは正しさを保証できない。人間は「何を正しいとするか」「何を必ず検証するか」を定義し、AIとは独立した確認手段を用意することが重要。
つまりこれからは、AIの出力を信じることしかできない人材か、その出力の妥当性を確認できる人材かに分かれるってことだよな
ユーザーサポートもユーザーも全部AIにすればいいんだよｗ
仕様でもタスクでも、効くルーブリックが必要で、AIより上手く作れる人は案外少ないとも（´－｀）と、その辺を整えても、新モデル登場でひっくり返る辛みも
人間が実装し、人間がテストし、人間が「問題ありません」と言う時代は終わったと言うことか。正直ある一定ライン以下の人間よりもCodexかClaudeがコーディングしたコードの方が信用できる時代。
むしろ全部AIに任せた方がマシな現場の方が多いと思う
そもそもAI関係なくテストを通過したからといって「ユーザが期待する仕様を満たす」わけないのでいろいろ前提からおかしいのでは？
まあ考えたら自然科学理論の証明だって「十分に」距離を置いた「十分な」数のテスト結果と整合的か、ということに尽きるもんな。理論自体の正しさは永遠に証明できないわけで。
役割の違うエージェントに協働させるんじゃだめなの？
同じAIモデル使うと良くない(solで設計、lunaで実装、solでレビュー)とか言われてるけど、最近MOAで複数のAIモデルをオーケストレーションするの普通になったから、もうかなり勝手に品質上げてってくれるんだよね
ちょっと凝ったロジックのテストケースだとまだまだ全然Opusよりは人間のが優秀だけど。
最初はまぁそうか…と納得する点はあるものの、途中から横文字が多すぎてうるせぇ！となった。人間のダメなのはそういうとこだぜ。
上位要求を満たすよう最下位のコンポーネントを作るときに、設計・検証が自動化できるのはその通りでなのではないか。それを組み込んだときに問題ないかどうかは一つ上のレベルで動作確認でやればいい。
金を稼いだモンの勝ちだ！！！！！！！！
昔は「受け入れテストの設計」をテストチームに任せてコーディングだけしていればよかったが、コーディングを代替されてしまっただけ。自分で書けばゴメンなさいで許されたがAIに書かせるとそうもいかない。
アジャイルにおける「完成の定義」にあたる話だな。これがないのにアジャイルやってますという謎現場に遭遇したことがあったのを思い出した
AI「ヨシ！」
ひょっとしてこの記事自体AIが書いてない？違ったら失礼しましただけど、見慣れた文体すぎて。。。
なんか冗長で要領を得ない感じがするな。TDDのテストを正とする前提で動く中で、テストが正で保証できない部分をどう定義するのかの議論の方が知りたい
保証、、、誰が？AIが！？じゃないよね、自然人か法人、もしくは組織やチームが品質を保証するんだよね。検査したり試したりしてその結果を見て誰かがヨシ！するものだとばっかり。
AIが実装し、AIがテストし、AIが「問題ありません」と言う時代の品質保証 - Qiita
この問いは、要求仕様を書き下すべきだという結論になる。
エージェントのアバター画像を現場猫に変更することで全ての整合性がとれました🤔
テストを通すことだけに最適化された結果グリーンになる現象はAIあるあるだな
"Quality Constraintを先に定義する" そうそう、ここにひたすら時間をかける。うちのエージェントどもは「受け入れ条件」と呼んでるけど、とにかく全精力をここに注いでる。モデルの性能が上がるほど他の努力は無駄になる。
AI記事
テストを通すことだけに専念するテスターいるから領域が違うだけでそんなに変わらない印象
AI時代にどんな能力が重要になるか、という問い自体がもう賞味期限切れしかけていて、遅かれ早かれ人間の知性がAIにより疎外されるのを認めざるをえなくなると思う。
私も2ヶ月くらいAgentの検収問題の理論化について取り組んでる。大体答えは見つけた。とりあえず、自動テストで何とかなるシステムとならないシステムで分けたい。この記事は前者。どうも前者に引きずられる。
この問題、人間が優秀な前提で語られてることが多い気がするんだけれど実際の人間は結構ポンコツなのが混ざってるからAIの謎テストのほうが品質が高いってのも普通にあったりするのが闇
少なくともテストコードの目視くらいしたら？
機械と人間なら機械のほうが正確なのは誰もが理解できるのに、AIになると理解できなくなるのは面白いなぁ、と。扱ってる問題が不確実性に富むものだからある程度不正解にはなるとして、人間よりは正確だよ。
引用文献のサーベイ記事みたいな感じかな（？）
「スワップテスト」「コードの長さの正規化」「生成と評価は別のモデル使う」とか、AIが信用できないポイントは人間と違うのが面白いよなって思っています
たとえばテストパターン生成をAIにやらせたとして、その妥当性の判定は自分でやるよね。もう一歩踏み込むならばそのパターンでなぜ妥当と言えるのか？を説明させる。
現場では皆AIを通して仕事してるだけになってしまった。品質云々以前に人間がいるはずなのに人間と会話もチャットもしてるように思えない虚しさがある。スマホ持たずにいられますか？みたいな状況に近い…
プロダクトをどのレベルまで掌握したいか、すべきかという話があって、お仕事なら相当の深度までだろうが、個人のプロダクトなら「お客さん」と同じレベルで良いと思う。なんか違うと思ったらそれは「違う」で良い
“AIが作った評価基準を、そのまま最終的なQuality Gateにすること は別問題”
そしてAIが品質保証するようになったときの責任だけが人間に残される未来なのだろうか
最近 FMEA とか DRBFM あたりにヒントあるんじゃないかな？と思ってるけど具体化できずにいる。
人間の営みに関わるものを開発してる限り、仕様策定はもちろんだがテストの何処かの工程でも人の手は絶対必要なのでは、という仮説を持っている
マネージャーやプロダクトオーナーが開発チームに対してどのように品質保証をやらせるか、その報告をどう判断するかという視点がそのまま降ってきたかのようだ
AIがだんだん賢くなってるので日々感じることは、大体人間のソフトウェアエンジニアと扱いが似てきていること。人間のエンジニアを雇って仕事をさせた時にここまでのことをやるのか？同僚に対してここまでやるのか？
人間が手抜きするようにAIも手抜きする。抜けを見つけて要求仕様をmdファイルに積んでいくしかない
AIがテストしてもボクの可愛さはバグなしにゃ！人間もボクを撫でて品質保証してにゃん。
人間がやってて品質保証ができていたのか？みたいな議論が必要では。自動テスト不可能な領域の話であればそもそもAIが出てきてはいけない。
AIがテストできる範囲なんてたかが知れている。組み込み系ではまだ無理（ハードが絡むので）
原則として AI は人間より正確で網羅的と思うし、最近は意図の読解もうまくなってると思う。 人間はコードを見るよりも、 AI が日本語で書いた設計や仕様、テスト項目などの文書の確認が主になっていくと思うな。
なぜ全部自動化を正としようとする？最終的に使うユーザーは人間だろうよ。
そして誰も業務を定義しないのである。
AIが正しく動いてるときはいいんだけど、AIが動かない場合の原因分析が難しくなっているような。開発速度を上げるために複雑性が増加している
この側面からも、領域外、非エンジニアがプロダクトを作るのが難しい、の説明になりそう。背伸びしたプロダクトをエージェント生成しているけど、テスト内容を把握してても不安が消えない。手の内にない
コンテキストを引き継ぐのは効率的なんだけど、0ベースでテスト書かせたり評価させることで改善したりするのよね。
ゲームのMOD開発もAI利用が進んでいるようで、バグ報告を無視したりAIに放り投げて放置する、そのゲームへの愛情などなくてただ技術を誇示するためにMODを利用している、といった批判も出てきた。
安心しろ。やらかしたときに怒られるのは人間の役目だぞ
AIにEXCELにエビデンスを画像で残すように指示すればいいんじゃないですかね？
（ どこぞの戦場で女子小学生を誤爆殺してもベストエフォート的論理で逃げるの？ ）
『「正しさを評価する仕組みを設計する能力」』
敵対的テスターAIは必須。
Opus 5より頭がいい人間がいるなら品質チェックしてほしい。そうでなければOpus先生に全面的にお願いしたい
AIによるテストは、テックリードの能力に支えられた上で初めて使い物になる。採用した技術基盤は、その業務に対して十分な表現力を有しているか。現代のAIは、その多くを即座には判別できない。
「要求仕様」があるはずなのにＡＩはそれを忘れて「テストケースを要求仕様として適応する」みたいな話が構成されてない？書かれてる事はテストやＡＩの問題ではなくない？「外注にアウトソース」でも一緒だよね
mutation test あたりをやりたいとは思ってるけど。
AIが「これはテストが間違ってるのでテストを修正します」と言うのはよく見る / この記事も同じこと繰り返しててワードサラダみがあるな
コードは問題ありません。でも売れるんですかこれ？
AIが実装・テスト・修正まで担う時代は、テストが通っただけでは正しさを保証できない。人間は「何を正しいとするか」「何を必ず検証するか」を定義し、AIとは独立した確認手段を用意することが重要。
つまりこれからは、AIの出力を信じることしかできない人材か、その出力の妥当性を確認できる人材かに分かれるってことだよな
ユーザーサポートもユーザーも全部AIにすればいいんだよｗ
仕様でもタスクでも、効くルーブリックが必要で、AIより上手く作れる人は案外少ないとも（´－｀）と、その辺を整えても、新モデル登場でひっくり返る辛みも
人間が実装し、人間がテストし、人間が「問題ありません」と言う時代は終わったと言うことか。正直ある一定ライン以下の人間よりもCodexかClaudeがコーディングしたコードの方が信用できる時代。
むしろ全部AIに任せた方がマシな現場の方が多いと思う
そもそもAI関係なくテストを通過したからといって「ユーザが期待する仕様を満たす」わけないのでいろいろ前提からおかしいのでは？
まあ考えたら自然科学理論の証明だって「十分に」距離を置いた「十分な」数のテスト結果と整合的か、ということに尽きるもんな。理論自体の正しさは永遠に証明できないわけで。
役割の違うエージェントに協働させるんじゃだめなの？
同じAIモデル使うと良くない(solで設計、lunaで実装、solでレビュー)とか言われてるけど、最近MOAで複数のAIモデルをオーケストレーションするの普通になったから、もうかなり勝手に品質上げてってくれるんだよね
ちょっと凝ったロジックのテストケースだとまだまだ全然Opusよりは人間のが優秀だけど。
最初はまぁそうか…と納得する点はあるものの、途中から横文字が多すぎてうるせぇ！となった。人間のダメなのはそういうとこだぜ。
上位要求を満たすよう最下位のコンポーネントを作るときに、設計・検証が自動化できるのはその通りでなのではないか。それを組み込んだときに問題ないかどうかは一つ上のレベルで動作確認でやればいい。
金を稼いだモンの勝ちだ！！！！！！！！
昔は「受け入れテストの設計」をテストチームに任せてコーディングだけしていればよかったが、コーディングを代替されてしまっただけ。自分で書けばゴメンなさいで許されたがAIに書かせるとそうもいかない。
アジャイルにおける「完成の定義」にあたる話だな。これがないのにアジャイルやってますという謎現場に遭遇したことがあったのを思い出した
AI「ヨシ！」
ひょっとしてこの記事自体AIが書いてない？違ったら失礼しましただけど、見慣れた文体すぎて。。。
なんか冗長で要領を得ない感じがするな。TDDのテストを正とする前提で動く中で、テストが正で保証できない部分をどう定義するのかの議論の方が知りたい
保証、、、誰が？AIが！？じゃないよね、自然人か法人、もしくは組織やチームが品質を保証するんだよね。検査したり試したりしてその結果を見て誰かがヨシ！するものだとばっかり。