Um test runner é a ferramenta que descobre, executa e reporta os testes, por exemplo Jest, pytest, JUnit ou Go test.
No CI
O código de saída do runner é o que um passo de CI lê: zero aprova o job, diferente de zero o falha, então os testes devem ser invocados de modo que as falhas apareçam como um código de saída diferente de zero.