Estamos em busca de Engenheiro(a) de Dados para trabalhar no desenvolvimento de arquitetura e fluxo de Dados robusta e escalável, que suporte os times de dados e negócios, democratizando o acesso aos dados, de forma segura, baixa complexidade, estruturada e com qualidade. Experiência com implantação de arquitetura de dados e modelagem de camadas de dados; Ingestão de dados via Streaming (com foco no Azure Event Hub) e Batch; Conhecimento em Cloud (preferencialmente Azure); Experiência em Python ePySpark (com foco no Azure Databricks e Azure Functions); Proficiência em SQL, com domínio de queries complexas, índices e particionamento; Experiência e domínio da modelagem de objetos complexos em grandes negócios, com alta volumetria de dados e diversidade de dados; Construção de Pipelinesde ingestão e manipulação de dados (ETL/ELT), com foco em Azure Data Factory; Conhecimento em banco de dados (SQL Server); Conhecimento em banco não-relacional (Cosmos DB). Principais desafios: Interação próxima com as áreas de negócio Você será responsável por estabelecer uma forte relação e interação com as áreas de negócio, absorvendo conhecimentos específicos para entender profundamente os problemas e necessidades dos(as) usuários(as) finais. Esta interação é crucial para garantir que os objetos de dados que você modela sejam aderentes e resolvam efetivamente os desafios enfrentados pelos clientes. Modelagem de dados alinhada às necessidades do cliente Utilizando sua expertise em modelagem de dados e conceitos, como a criação de tabelas fato e tabelas mestras, você deverá traduzir as necessidades do cliente em modelos de dados eficientes e coerentes. Sua excelente capacidade analítica será fundamental para compreender as demandas dos clientes e transformá-las em soluções práticas e eficazes. Desenvolvimento de soluções escaláveis e robustas Você será responsável por criar e manter pipelines de dados e processos de ETL/ELT que garantam a escalabilidade e robustez necessárias para suportar as operações de negócio. Isso inclui o desenvolvimento de arquiteturas de dados sólidas e fluxos de dados que atendam às demandas de diversas soluções de negócio. Garantia de qualidade e segurança dos dados Você terá o desafio de garantir a qualidade e a segurança dos dados, garantindo que os dados sejam processados de forma confiável e que permaneçam protegidos contra possíveis ameaças. Colaboração multidisciplinar Sua capacidade de comunicação e trabalho em equipe será essencial para colaborar efetivamente com outras pessoas da equipe, incluindo desenvolvedores(as), analistas de dados e profissionais de negócio, garantindo que as soluções desenvolvidas atendam às expectativas e necessidades de todas as partes interessadas.
