Tech Lead em Engenharia de Dados

Job Description:
Habilidades
Atuar como membro de Squad multidisciplinar, com foco em engenharia de dados, colaborando com as áreas de ciência de dados;
Participar de reuniões técnicas com clientes para compreender desafios de negócios e identificar oportunidades no campo da Engenharia de Dados;
Contribuir na criação e execução de arquiteturas em nuvem que atendam aos requisitos de negócio do cliente;
Garantir entregas de qualidade;
Monitorar e garantir o funcionamento do processo de ETL por meio de métricas;
Criar e implementar métodos e técnicas para melhorar eficiência, qualidade e confiabilidade dos dados;
Trabalhar com resiliência e espírito de equipe, fomentando um ambiente colaborativo e saudável para o Squad e cliente.

Responsabilidades
Projetar, construir e manter pipelines de dados eficientes e escaláveis utilizando serviços AWS como AWS Glue, Amazon EMR e AWS Data Pipeline;
Implementar e gerenciar soluções de armazenamento de dados em grande escala com Amazon S3, Amazon Redshift e AWS Lake Formation;
Desenvolver processos de transformação e limpeza de dados utilizando AWS Glue e Amazon Athena para garantir a qualidade e integridade dos dados;
Assegurar conformidade e segurança de dados implementando controles de acesso e políticas de criptografia com AWS IAM e AWS KMS;
Desenvolver soluções de dados em tempo real utilizando Amazon Kinesis e AWS Lambda para aplicações críticas e de alta disponibilidade;
Monitorar e otimizar a performance dos processos de ingestão, processamento e consulta de dados, visando eficiência e redução de custos;
Colaborar com cientistas de dados, analistas e outros stakeholders para entender requisitos e fornecer soluções que atendam às necessidades do negócio;
Liderar e orientar equipes de engenharia de dados.

Perfil Desejado
Ensino Superior Completo em Ciência da Computação, Estatística, Engenharias, Economia, Matemática, ou áreas correlatas;
Certificações desejáveis: AWS Certified Data Engineer e/ou AWS Certified Data Analytics Specialty;
Experiência com processos ETL (Extract, Transform and Load);
Conhecimento avançado em Python e biblioteca Pandas (Series e DataFrames);
Experiência em modelagem de Banco de Dados SQL;
Proficiência na linguagem SQL para consulta e manipulação de dados;
Experiência com Airflow e outros orquestradores;
Experiência na manipulação de grandes conjuntos de dados com ferramentas de Big Data como Spark, PySpark e Trino;
Experiência em ambientes data-driven;
Conhecimento das melhores práticas para construção de Data Lakes, Lake House e Data Warehouses em ambientes cloud;
Experiência com serviços AWS.