自然言語で操作し、結果を検証するテストフレームワーク e2e

e2eは自然言語でUI操作し、expectで結果検証するTypeScriptテスト。Todo追加をagent.actで行いキャッシュ/uniqueも解説。

テストを自然言語で書く時代か。Playwrightベースだから既存の知識も活かせてunique関数が地味に便利そう

ClaudeCLIでplaywrightでテストしてたら、一部のテーブル幅が指定されてなかったので縦長の表示を検出してて幅を固定するかnowrap入れろと指摘があった。そういう時代。チャットでこのchangeをテストしてといっただけ。

かつてCucumberという自然言語で書いてテストを実行するというフレームワークがあったけれど、それがより実用的になったと考えると感慨深い

自然言語で操作を指示できるテストフレームワークe2e。AIの操作をコードで検証し、成功した操作をキャッシュして再利用する。Todoの例では6.90秒・モデル3回から169ms・0回に短縮。unique()で毎回異なる入力値にも対応。