Schema Evolution - Definição do Glossário de CI/CD
A schema evolution é a mudança da estrutura de um dataset ao longo do tempo mantendo a compatibilidade retroativa para os leitores existentes.
A schema evolution é a mudança controlada da estrutura de um dataset ao longo do tempo (adicionar, renomear ou retipar colunas) mantendo os leitores existentes funcionando. Mudanças aditivas são seguras; remoções e mudanças de tipo quebram a compatibilidade.
Os frameworks de serialização e os formatos de tabela fornecem regras sobre quais mudanças de schema são seguras, para que os pipelines evoluam sem quebrar os consumidores.
Seguro vs quebra de compatibilidade
Adicionar uma coluna nullable é retrocompatível. Remover uma coluna, renomear ou estreitar um tipo quebra a compatibilidade e deve fazer uma checagem de data-contract falhar no CI.