Embraer: o caso do Data Lake mais seguro que você já conheceu.

Desafio

A Embraer, uma empresa multinacional líder no setor aeroespacial, enfrentava um desafio significativo: a gestão manual de seus ativos de dados estava se tornando cada vez mais complexa e propensa a erros.

Com a expansão contínua de dados em diversos departamentos e sistemas, a
equipe responsável pela gestão de dados estava sobrecarregada, lutando para manter a qualidade, segurança e governança necessárias.

Os principais obstáculos enfrentados incluíam a falta de centralização, inconsistência e baixa qualidade dos dados, dificuldade de acesso e compartilhamento, perda de tempo e recursos, tomada de decisão ineficaz e escassez de colaboração entre os diferentes setores da organização.

Esse cenário estava prejudicando a capacidade da Embraer de extrair insights valiosos de seus dados e tomar decisões estratégicas com agilidade.

Entrega

A infraestrutura modular está sendo provisionada por meio da IaC, garantindo
preparação completa para facilitar o uso, parametrização e manutenção. Além
disso, foram implementados pipelines CI/CD específicos para Composer e Dataproc, agilizando o desenvolvimento e a implantação de dados.

Inovação

• Arquitetura de camadas em IaC;
• Descentralização da gestão e provisionamento dos recursos de dados;
• Preparação para estrutura lógica de Data Mesh;
• Redução do esforço com manutenção e ajustes de código;

Resultado

Melhoramos o controle no provisionamento dos ativos de dados, proporcionando uma maior autonomia no processo de implementação de pipelines e modelos de produção. A descentralização do procedimento permite sua execução simultânea com outras equipes, proporcionando uma flexibilidade e eficiência superiores.

A implementação desta solução acarretou em uma série de benefícios para a
organização. Houve uma redução significativa no tempo e nos custos associados à gestão de dados, graças à automação de tarefas manuais.

Isso possibilitou uma alocação mais eficaz de recursos, direcionando esforços para atividades estratégicas. Além disso, a padronização e a governança dos dados aumentaram sua qualidade e confiabilidade, resultando em insights mais precisos e embasados para as decisões.

Adicionalmente, o acesso e compartilhamento de dados entre as áreas foram
ampliados por meio de uma plataforma centralizada, fomentando a colaboração e a inovação. E a disponibilidade de dados atualizados melhorou de forma significativa o processo de tomada de decisão, impulsionando o crescimento e a competitividade do negócio.

Próximos passos

A Embraer mantém um compromisso contínuo com o aprimoramento de sua gestão de dados. A empresa está em constante busca por novas tecnologias e soluções, visando elevar ainda mais os padrões de eficiência, qualidade e valor de seus dados.

Conclusão

A implementação de uma solução abrangente para automatizar, agilizar e centralizar o processo de construção e configuração dos ativos de dados representou um marco significativo para a Embraer.

Esta iniciativa proporciona uma base sólida de dados que não apenas possibilita a tomada de decisões mais inteligentes, mas também impulsiona de maneira substancial o crescimento do negócio.

Tipo de projeto: Consultoria
Data: Jan a Ago 23
Equipe: Monica Kubiak, Ricardo Neto, Gabriel Domene, Mayana Maranhão, Igor Caetano, Vivian Varela