Caso de uso · exemplo ilustrativoMigração de DW para data lake
Como levamos os dados de um Data Warehouse tradicional para um data lake no Databricks, com ingestão pelo AWS DMS, camadas bronze, silver e gold e governança desde o primeiro dia.
Arquitetura
Toque em cada etapa para ver o que acontece nela.
Cada camada pode ser reprocessada a partir da anterior, o que facilita correções e auditorias.
Como conduzimos a migração
Em etapas, com o DW atual funcionando até a virada.
Inventário de tabelas, volumes, rotinas e relatórios que dependem do DW.
AWS DMS com carga inicial e CDC para o S3, sem parar os sistemas de origem.
Construção de bronze, silver e gold com regras de qualidade e testes.
Conciliação com o DW e execução em paralelo para ganhar confiança.
Migração dos dashboards, desligamento do legado e governança no catálogo.
Antes e depois
O que muda para o negócio e para a equipe de dados.
Data Warehouse tradicional
- Capacidade e custo presos ao servidor
- Foco em dados estruturados
- Cargas em lote, em janelas fixas
- Regras e acessos espalhados
- Pensado principalmente para relatórios
Data lake com Databricks
- Armazenamento em nuvem que cresce sob demanda
- Dados estruturados e semiestruturados
- Lote e quase tempo real com CDC
- Catálogo único com permissões e linhagem
- Base para BI, analytics avançado e IA
Pontos de atenção
O que acompanhamos de perto em toda migração.
Totais e contagens comparados entre origem, DW e gold antes da virada.
Acompanhamento do custo por rotina e dimensionamento dos recursos de processamento.
Acesso por perfil, mascaramento de dados sensíveis e trilha de auditoria.
O LufyHub Data planeja e executa a migração com a sua equipe.
Exemplo ilustrativo de arquitetura e metodologia. Ferramentas, etapas e prazos variam conforme o ambiente de cada cliente.