Testes e2e na pipeline do CI ou em um CronJob separado?

Topic created · 5 Posts · 118 Visualizações
  • Boa tarde,

    Estou definindo como vou executar os testes automatizados e2e e bateu uma duvida.

    Vocês acham valido deixar a execução dos testes na pipeline e2e e assim garantindo que nada deployado quebre o ambiente de testes, porém o tempo de deploy aumenta consideravelmente ou deixar a execução dos testes em uma cron job apartada e assim todo dia você tem um feedback de como está sua aplicação, porém caso suba algo novo você não terá esse feadback no CI

  • Boa tarde Marcio!

    Então, eu acredito que separar seria o ideal, pra dar um feedback mais rápido dos outros testes para o time.
    Mas acho que vai do tamanho do teu teste e2e também, se for algo rápido não custaria colocar no teu pipeline.
    Se demorar, rodar um job uma ou duas vezes ao dia seria um feedback bom também, apesar de não ser “na hora”.
    É importante avaliar também quando o deploy será publicado, pois não poderia ser até que o teu e2e fosse executado.

  • A dúvida que bateu agora foi: Quao alto vai ser se rodar tudo junto no pipeline?
    Pois se o “consideravel” não é tãooooo ruim assim, ter no pipeline ajuda a ter visibilidade dos builds que contem modificações que quebraram o ambiente.
    Também vale analisar o quanto tu tá executando a cada deploy…talvez garantir minimamente o estado da aplicação , fazer o deploy e depois rodar o restante dos testes pode ser uma estratégia.
    O que poderia fazer, na pior das hipoteses, é rodar os testes depois do deploy ter ocorrido e analisar.

  • Então @WernerFernandes e @Ramses-Saccol-de-Almeida acho que vocês tem pensamento bem parecidos. Eu pensei em deixar apenas um smoketest no CI e o resto da bateria deixar numa CronJob mesmo.

    Muito obrigado.

  • Tenha um set de “asserções e validações” no pipeline para “garantir o deploy” …O pesado depois se roda e analisa… 🤙🏻