Arquitetura de Dados Órgão Público Judiciário
O órgão público possuía uma infraestrutura de dados desenvolvida no SAP, porém, com a frequente atualização dos sistemas eletrônicos de justiça e com a quantidade de ajustes manuais realizados nos dados, a estrutura estava defasada e causava diversos erros nos relatórios e dashboards publicados.
O maior problema do órgão era o seu débito técnico, isto é, quem construiu os processos não estava mais na operação e, consequentemente, os profissionais atuais não conseguiam desvendar o modo como o pipeline de dados foi desenvolvido. Com a recente substituição do sistema de processos judiciais e com a impossibilidade de incluir esse novo aparato nos sistemas atuais, foi necessário desenvolver uma nova arquitetura que, não somente atendesse as necessidades atuais do órgão — como a integração de todos os sistemas —, mas que também possibilitasse a alteração de componentes de forma individualizada.
A solução foi migrar os dados de on-premisse para a cloud da AWS e modularizar os processos de transformação de dados com DBT, fazendo com que cada etapa do processo pudesse ser alterada individualmente, sem precisar refazer dependências. Também foi necessário aumentar a visibilidade dos dados entre os processos de transformação. Para isso, o Data Lakehouse foi desenvolvido, o que permitiu que os dados se relacionassem entre diferentes camadas e qualquer uma das etapas pudesse ser usada para criação de relatórios.
A nova arquitetura desenvolvida na AWS utilizou os seguintes serviços: AWS DMS (saiba mais) AWS Lambda (saiba mais), AWS Glue (saiba mais), Amazon S3 (saiba mais), Amazon Redshift (saiba mais), Amazon Quicksight (saiba mais), AWS Step Functions (saiba mais), Amazon CloudWatch (saiba mais), Data Build Tool (saiba mais) e Apache Iceberg (saiba mais).
Os resultados obtidos foram:
Migração para Cloud
Pipeline de Dados (ETL)
Data Lakehouse
+50 Dashboards
Com a finalização do projeto, o órgão público migrou totalmente de uma infraestrutura on-premise para uma arquitetura 100% em nuvem. Todas as fontes de dados passaram a ser integradas de forma estruturada na camada de transformação, garantindo a qualidade e centralização das informações.
A implementação do Data Lakehouse trouxe flexibilidade para o time de dados, que antes dedicava muito tempo à identificação de inconsistências. Agora, com dados mais confiáveis e acessíveis, a equipe pode focar na geração de insights e no desenvolvimento de novos relatórios estratégicos. Além disso, todos os processos de transformação foram documentados e modularizados, facilitando a evolução da arquitetura ao longo do tempo.
Se você sente que…
-
Já viveu a situação de pedir o mesmo número para dois times diferentes e receber respostas distintas?
Por exemplo, você pergunta o faturamento do mês para o time de vendas e depois para o de marketing — e os números não batem.
-
Vendas em um sistema, atendimentos em outro, e o financeiro em planilhas. Para montar um relatório completo, alguém precisa copiar, colar, revisar... e torcer pra não errar.
-
Você recebe relatórios e dashboards bonitos, mas eles não ajudam a tomar decisões.
Se os seus dados não direcionam seu negócio, eles se tornam ruído.
-
A área de negócios pede uma coisa, mas o time técnico entrega outra — falam línguas diferentes. A tecnologia até funciona, no entanto não atende à necessidade real do negócio.