Engenheiro De Dados Aws Sênior (1)

Requisitos técnicos (experiência):Cloud Computing na plataforma AWS;Apache Spark;Apache Airflow;Scala/Python;ETL/ELT;Git;SQL/NoSQL;Data Modeling;Docker;Linux;Databricks;Arquitetura Lambda/Kappa.Tempo mínimo de atuação prática (experiência): 3 anos. Diferencial:Experiência com Big Data e Analytics;Experiência com ferramentas de Big Data da AWS: EMR/Spark, Athena, Glue, Lambda, Redshift, S3, Kafka, ou outros;Certificação AWS.Responsabilidades:Criação/Sustentação de pipeline de dados entre camadas no data lake, assim como otimização.Preparação/modelagem de base de dados;Ingestão de bases de dados para o data lake;Garantir o funcionamento dos processos e do ambiente produtivo;Pró atividade para identificação prévia de problemas de perfomance e/ou dados.Principais Atividades:Criar/sustentar pipeline de dados entre camadas no data lake;Documentar as evoluções das atividades no JIRA diariamente;Fazer ingestão de bases para o data lake;Realizar análise de qualidade de dados, e se certificar de que padrões de analytics estão sendo aplicados;Versionar códigos desenvolvidos.Utilização de técnicas para a sustentação de arquiteturas escaláveis no ambiente da AWS, desenvolvendo a coleta dos dados por meio de serviços ou Jobs, transformações e armazenamento por meio de pipelines diversos de todos os dados da companhia e garantir a disponibilidade por meio de serviços e interfaces.