Sobre o trabalho Engenheiro(a) de Dados | Azure & Databricks
Venha fazer parte de um ecossistema vivo onde o futuro dos negócios é criado e vivido todos os dias. Faça parte desta transformação!
Na LUZA Group, a paixão, a perseverança e a vontade de superar limites definem o nosso caminho para o sucesso.
Fundada em 2006, somos uma multinacional portuguesa com mais de 1.200 profissionais talentosos e um volume de negócios. Com presença em mercados estratégicos como Portugal, Espanha, Marrocos, Brasil, México, Estados Unidos e China, oferecemos soluções inovadoras em engenharia, TI, design, consultoria, Indústria 4.0, treinamento e recrutamento. Tudo o que fazemos é movido pelo talento de nosso povo.
Este é um momento de crescimento e oportunidade. O futuro pertence a mentes visionárias. Junte-se a nós!
Modelo de atuação: Remoto
Nível: Pleno / Sênior
Sobre a posição
Buscamos um(a) Engenheiro(a) de Dados para atuar em um ambiente corporativo de grande porte e alta complexidade, apoiando diferentes áreas de negócio na construção e evolução de soluções de dados.
O profissional terá papel importante na interface entre Tecnologia e Negócio, participando desde o entendimento das necessidades e definição da solução até a implementação, configuração e sustentação dos ambientes e pipelines de dados.
Procuramos alguém com boa capacidade de comunicação, autonomia e visão de negócio, capaz de transformar demandas das áreas internas em soluções de dados estruturadas, escaláveis e sustentáveis.
Principais Responsabilidades
- Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados (ETL/ELT).
- Desenvolver e otimizar consultas e estruturas utilizando SQL.
- Configurar, administrar e otimizar ambientes e workloads no Azure Databricks.
- Atuar com processamento de dados utilizando Spark/PySpark.
- Construir e evoluir soluções de dados em ambiente Microsoft Azure.
- Trabalhar com Azure Data Factory, Azure Storage/Data Lake e Azure SQL.
- Apoiar a definição de arquiteturas e soluções de Data Lake / Lakehouse.
- Garantir qualidade, performance, confiabilidade e disponibilidade dos pipelines de dados.
- Realizar troubleshooting e análise de problemas relacionados a processamento, integração e disponibilização de dados.
- Participar de reuniões com áreas de negócio para levantamento e entendimento de necessidades.
- Traduzir requisitos de negócio em requisitos técnicos e projetos de dados, propondo arquiteturas e abordagens adequadas.
- Apoiar estimativas, definição de escopo, arquitetura, esforço e planejamento das iniciativas.
- Trabalhar de forma integrada com equipes de Analytics, BI, Arquitetura, Sistemas e áreas corporativas.
- Contribuir para padrões e boas práticas de engenharia, governança e segurança de dados.
Conhecimentos Técnicos
Obrigatórios
- Experiência sólida com SQL.
- Experiência prática com Azure Databricks, incluindo configuração e utilização da plataforma.
- Conhecimento de Spark / PySpark.
- Experiência na construção e sustentação de pipelines ETL/ELT.
- Experiência com ambientes de dados em Microsoft Azure.
- Conhecimento de Azure Data Factory.
- Conhecimento de Data Lake, Lakehouse e modelagem de dados.
- Experiência com Git e práticas de versionamento.
Desejáveis
- Azure DevOps e práticas de CI/CD.
- Delta Lake e arquitetura Medallion.
- Python aplicado à Engenharia de Dados.
- Conhecimentos de governança, qualidade e observabilidade de dados.
- Experiência com integração de dados provenientes de SAP.
- Conhecimento de ambientes AWS.
- Experiência em ambientes corporativos de grande porte e múltiplas unidades de negócio.
Perfil Comportamental
- Excelente comunicação com áreas de negócio e stakeholders.
- Capacidade de conduzir reuniões de levantamento e definição de requisitos.
- Perfil consultivo e capacidade de questionar e entender a necessidade real do negócio.
- Capacidade de transformar problemas de negócio em soluções técnicas.
- Proatividade e autonomia para propor alternativas.
- Organização e capacidade de atuar simultaneamente em diferentes iniciativas.
- Facilidade para trabalhar com equipes multidisciplinares.
- Visão crítica sobre arquitetura, qualidade, performance e custos das soluções de dados.
Diferencial esperado
Mais do que um perfil exclusivamente técnico, buscamos um profissional capaz de atuar como ponte entre Engenharia de Dados e Negócio, participando da concepção das iniciativas e ajudando as áreas internas a transformar necessidades e oportunidades em projetos de dados tecnicamente viáveis e capazes de gerar valor para a organização.