Visão Geral da Posição:Estamos buscando um Arquiteto de Banco de Dados & Desenvolvedor ETL altamente qualificado para estruturar e modelar nosso repositório de dados extenso, atualmente composto por 7TB de arquivos CSV e 5TB de dados em SQL Server, em um banco de dados relacional MariaDB hospedado em uma nuvem privada alemã (Hetzner). Esta função envolve o design de arquiteturas de dados de alto desempenho, o desenvolvimento de ETLs e a criação de algoritmos para gerar insights acionáveis por meio de APIs e processos em batch. Além disso, utilizaremos o LLM Studio para consumir esta base de dados e criar agentes sobre essa LLM que consumirão essa inteligência.Responsabilidades Principais:Design e Modelagem de Banco de Dados:Estruturar e modelar os dados existentes em um banco de dados relacional MariaDB.Garantir a integridade dos dados, escalabilidade e alto desempenho.Migrar dados de CSV e SQL Server para MariaDB.Implantação em Nuvem:Implantar o banco de dados MariaDB na plataforma de nuvem Hetzner.Assegurar uma infraestrutura de nuvem segura, eficiente e robusta.Desenvolvimento de ETL:Desenvolver processos ETL para ingerir, transformar e carregar dados no MariaDB.Implementar e gerenciar fluxos de trabalho e pipelines de dados.Desenvolvimento de Algoritmos:Criar algoritmos para gerar indicadores de pontuação a partir dos dados.Desenvolver APIs (RESTful) para consumo de dados em tempo real e batch usando Python ou Node.Js.Otimização de Performance:Otimizar o desempenho do banco de dados para consumo via API.Garantir alta disponibilidade e confiabilidade da arquitetura de dados.Colaboração e Documentação:Colaborar com equipes internas para mapear bases de conhecimento e convertê-las no ciclo do MariaDB.Documentar designs de banco de dados, processos ETL e algoritmos para referência futura.Habilidades e Competências Necessárias:Habilidades Técnicas:Proficiência em MariaDB e SQL Server.Sólida experiência em design, modelagem e otimização de bancos de dados.Expertise em ferramentas e processos ETL.Compreensão sólida de plataformas de nuvem, especificamente Hetzner.Proficiência em Python ou Node.Js para desenvolvimento de APIs.Certificações:Certified Database Administrator (CDBA) ou equivalente.Certified MariaDB Administrator (CMA) é um diferencial.AWS Certified Solutions Architect ou certificação de nuvem similar.Competências Profissionais:Excelentes habilidades de resolução de problemas e análise.Fortes habilidades de comunicação e colaboração.Capacidade de trabalhar de forma independente e gerenciar múltiplas tarefas.Orientado a detalhes com forte foco em qualidade e desempenho.Experiência:Mínimo de 5 anos em arquitetura de banco de dados e desenvolvimento de ETL.Histórico comprovado de migração de grandes volumes de dados para bancos de dados relacionais.Experiência em implantar e gerenciar bancos de dados em ambientes de nuvem.
