TIAしらなかった
3万5千件のテストは草。マージキューとDatadog TIAの組み合わせで差分だけ回す構成は現場の苦労が偲ばれるな
総量の問題で、PRでは必要なテストだけ回す。mainへ入れる直前には全テストを回す。
文字が小さくてスマホでは読めん…!
開発中はTIAほど高度じゃなくても雑に関係ありそうなものを回すだけで良いのでは
開発中は関連してそうなとこだけテスト回して、マージするときだけフルのテスト回すのは良さそう
『 Datadog Test Impact Analysis(TIA)』
うーん、並列数の割に時間かかりすぎてるけど、Railsのテストってそんな遅いの?
「増え続ける」と言っているからこの事例では導入が正なんだろうけど、テストが急激に増え続ける見込みがない場合、1並列あたりのテスト実行時間が10分くらいなら、運用コスト増で費用対効果が悪いという印象。
おもしろい / PHPでも類似の仕組み作れんかな
良さそう
やめた(やめてない)だった。良さそう。
わかりみがふかい。あとでしっかりよむ。
テスト数が継続的・高速に増える大規模開発では、PRで全テストを高速に回すという前提が持続不能。CIの完全性を各PRに要求するのをやめ、PRではTIAでの選択的テストで高速FB、mainへのmerge時に全テスト実行の最終ゲート化
AI使う開発だと品質を担保するためにユニットテストが増えるし、AIにテストを書かせるとすごい勢いで増えていくので、ユニットエストの実行がボトルネックになりそうなのはわかる。
テストが増えすぎてもう限界だったので、PRで全テストを回すのをやめた話 - Timee Product Team Blog
TIAしらなかった
3万5千件のテストは草。マージキューとDatadog TIAの組み合わせで差分だけ回す構成は現場の苦労が偲ばれるな
総量の問題で、PRでは必要なテストだけ回す。mainへ入れる直前には全テストを回す。
文字が小さくてスマホでは読めん…!
開発中はTIAほど高度じゃなくても雑に関係ありそうなものを回すだけで良いのでは
開発中は関連してそうなとこだけテスト回して、マージするときだけフルのテスト回すのは良さそう
『 Datadog Test Impact Analysis(TIA)』
うーん、並列数の割に時間かかりすぎてるけど、Railsのテストってそんな遅いの?
「増え続ける」と言っているからこの事例では導入が正なんだろうけど、テストが急激に増え続ける見込みがない場合、1並列あたりのテスト実行時間が10分くらいなら、運用コスト増で費用対効果が悪いという印象。
おもしろい / PHPでも類似の仕組み作れんかな
良さそう
やめた(やめてない)だった。良さそう。
わかりみがふかい。あとでしっかりよむ。
テスト数が継続的・高速に増える大規模開発では、PRで全テストを高速に回すという前提が持続不能。CIの完全性を各PRに要求するのをやめ、PRではTIAでの選択的テストで高速FB、mainへのmerge時に全テスト実行の最終ゲート化
AI使う開発だと品質を担保するためにユニットテストが増えるし、AIにテストを書かせるとすごい勢いで増えていくので、ユニットエストの実行がボトルネックになりそうなのはわかる。