Engenheiro de Dados Sênior | Automações com IA | Azure e AWS

Descrição da vaga UTILIZE A SUA PAIXÃO POR TECNOLOGIA PARA CAUSAR IMPACTO POSITIVO E #VemSerLuminiIT Aqui na Lumini IT a inovação e a resiliência fazem parte da nossa rotina. Somos uma empresa de soluções de TI que preza pela qualidade e agilidade na entrega de seus serviços. O nosso grande segredo para estar sempre um passo à frente do mercado é a audácia e a transformação que cada LUMINER promove todos os dias. Nossa integridade nos impulsiona e, o melhor, todo mundo colabora com todo mundo, não importa quem deu a ideia, somos uma empresa de estratégia horizontal, todas as pessoas estão dispostas a ajudar e se envolvem legitimamente para fazer dar certo e entregar resultados. Curtiu? Inscreva-se na vaga! Responsabilidades e atribuições Estamos em busca de um Engenheiro de Dados para atuar na construção e integração de pipelines de dados no ambiente Azure e AWS, garantindo a ingestão, automações com IA, processamento e disponibilidade dos dados. O profissional será responsável pela integração de APIs e ETLs externas e bases de dados existentes, além da implementação de arquiteturas escaláveis para análise e tomada de decisão. O projeto está inserido em um programa de longa duração de modernização e inovação com foco em Dados, IA, Produtividade, Otimização e Automação de Processos. Principais Responsabilidades: • Projetar e desenvolver pipelines de ingestão de dados de fontes externas (ETLs, APIs, bancos relacionais e não relacionais, arquivos, sensores de telemetria, etc.); • Integrar e consolidar dados de diferentes fontes no ambiente Azure, garantindo qualidade e consistência; • Implementar arquitetura de referência para processamento e armazenamento de dados; • Criar e gerenciar data lakes, data warehouses e data marts dentro do ecossistema Azure; • Desenvolver e otimizar processos de ETL/ELT utilizando ferramentas da Microsoft como Azure Data Factory, Databricks, Synapse Analytics e Azure Functions; • Garantir a governança, segurança e escalabilidade dos pipelines de dados; • Monitorar e otimizar a performance das cargas de dados, identificando gargalos e propondo melhorias; • Trabalhar em estreita colaboração com cientistas de dados e analistas funcionais para atender às necessidades do negócio. Requisitos e qualificações Perfil Desejado: • Experiência sólida como Engenheiro de Dados, com foco em construção de pipelines escaláveis; • Conhecimento avançado em Azure Data Services, incluindo Data Factory, Synapse, Databricks, Azure SQL, Blob Storage e Monitoramento; • Experiência em integração de dados via APIs REST/SOAP e consumo de dados em tempo real; • Conhecimento em bancos de dados relacionais (SQL Server, PostgreSQL) e não relacionais (CosmosDB, MongoDB); • Habilidade com Python, Spark, SQL e PowerShell para manipulação e processamento de dados; • Experiência com DataOps, versionamento de código (Git) e CI/CD para pipelines de dados; • Conhecimento em modelagem de dados, otimização de consultas e tuning de banco de dados; • Noções de segurança e compliance em dados, incluindo LGPD e melhores práticas de armazenamento e compartilhamento; • Capacidade de documentação e comunicação clara para interação com equipes técnicas e de negócio. Diferenciais: • Experiência com event-driven architectures usando Azure Event Hub ou Kafka; • Conhecimento em machine learning pipelines e MLOps no Azure; • Certificações Microsoft (DP-203 – Azure Data Engineer Associate ou afins). Informações adicionais Modalidade de Trabalho: Home Office; Obs: possíveis viagens ao cliente (Campinas/SP, entre outros), custeadas pela empresa; Contratação: PJ; Horário de atuação da equipe: comercial/especificar. Importante: Nós valorizamos a diversidade e inclusão, consideramos todos os candidatos para as nossas vagas, independente de cor, raça, religião, gênero e identidade de gênero, nacionalidade, deficiência, orientação sexual, ascendência, idade, etc.

Ver descrição completa.