Engenheiro de Dados Pleno/Senior
Descrição da vaga
Estamos buscando um Engenheiro de Dados com mentalidade de automação para integrar nosso time. Você será o elo entre a infraestrutura de nuvem AWS e a inteligência de negócio, projetando pipelines resilientes, escaláveis e seguros.
Esta função exige profundo conhecimento técnico no ecossistema de dados da Amazon Web Services (AWS) e a habilidade de transformar grandes volumes de dados brutos em formatos otimizados para análise.
Responsabilidades e atribuições
- Arquitetura de Dados na AWS: Projetar, construir e manter o Data Lake (S3) e Data Warehouse (Redshift), garantindo alta disponibilidade e particionamento eficiente.
- Engenharia de Pipelines (ETL/ELT): Desenvolver rotinas de ingestão e transformação de dados utilizando AWS Glue e EMR (Spark), priorizando performance e custo.
- Infraestrutura como Código (IaC): Provisionar e gerenciar todos os recursos de dados (bancos, buckets, instâncias) utilizando Terraform. Nada é criado manualmente no console.
- DataOps: Implementar esteiras de integração e entrega contínua para pipelines de dados utilizando GitLab CI, garantindo versionamento e testes automatizados.
- Serverless e Eventos: Criar arquiteturas orientadas a eventos utilizando AWS Lambda, EventBridge e Step Functions para processamento em tempo real ou batch.
- Governança e Qualidade: Configurar políticas de acesso e catálogo de dados via AWS Lake Formation, garantindo conformidade com LGPD e segurança da informação.
- Monitoramento e Observabilidade: Implementar logs e métricas (CloudWatch) para garantir a saúde dos pipelines e atuar proativamente na resolução de incidentes.
- Colaboração: Trabalhar em estreita colaboração com analistas de dados, cientistas de dados e engenheiros de software para entender os requisitos e entregar soluções de dados eficazes
Requisitos e qualificações
- Formação: Graduação em Ciência da Computação, Engenharia de Dados/Software ou equivalente.
- Experiência Prévia: Experiência comprovada atuando como Engenheiro de Dados ou em posição similar.
- Linguagens: Domínio avançado em Python (foco em manipulação de dados e scripting) e SQL avançado.
- AWS Core: Experiência prática comprovada com S3, Redshift, Glue, Lambda, Athena e IAM.
- IaC (Mandatório): Experiência com Terraform para gerenciamento de infraestrutura.
- Pyspark (Mandatorio)
- AWS Core: + DMS, + EMR, +Lake Formation
Informações adicionais
Conhecimentos Desejáveis (Diferenciais)
- Orquestração Avançada: Experiência com Apache Airflow (Self-hosted ou MWAA).
- Streaming: Conhecimento em Amazon Kinesis ou Kafka.
- Containers: Familiaridade com Docker e orquestradores como Kubernetes (EKS).
- Práticas de DevOps/DataOps: Vivência com esteiras de CI/CD para automação de deploy de pipelines de dados.
- Certificações: AWS Certified Data Analytics ou AWS Certified Solutions Architect.
Etapas do processo
- Etapa 1: Cadastro
- Etapa 2: Fit Cultural + Mapeamento de Perfil
- Etapa 3: Social + Motivacional + Raciocínio
- Etapa 4: Entrevista RH + Comitê
- Etapa 5: Projeto prático
- Etapa 6: Contratação
Alterdata é #FeitadeGente
Encontre um trabalho que você ama.
Junte-se a nós para construir a empresa que você sonha!
Desenvolvemos soluções para impulsionar a prosperidade da sociedade através da tecnologia nos mais variados ramos de atuação, com destaque nos segmentos contábil, empresarial, food, imobiliário, moda e varejo.
Contamos com:
✔️+1.900 colaboradores;
✔️+ 500k sistemas em uso;
✔️+ 60 mil clientes;
✔️+100 bases em TODO Brasil!
Acompanhe a Alterdata por aí 😉