Pular para o conteúdo
VagasJobs
Salvas

Engenheiro de Dados SR

Magazine Luiza

Publicada agora há pouco

Local
São Paulo, SP
Modalidade
Híbrido
Contratação
Efetivo (CLT)
Salário
A combinar
Nível
Sênior
Área
Tecnologia (TI)

Jornada

Habilidades

Vagas de Analista de dados em São Paulo, SP Mais vagas de Analista de dados Mais vagas em São Paulo, SP

Sobre a vaga

Descrição do Cargo

  • Principais responsabilidades

    • Desenvolver, manter e otimizar pipelines de dados para ingestão, processamento, transformação e disponibilização de informações.

    • Desenvolver consultas e scripts SQL avançados para transformação, consolidação e processamento de grandes volumes de dados no Google BigQuery.

    • Construir e manter tabelas analíticas, estruturando dados de diferentes fontes para consumo por aplicações e sistemas internos.

    • Desenvolver processos automatizados de carga e atualização de dados, incluindo rotinas incrementais, cargas históricas e reprocessamentos.

    • Implementar e manter fluxos de processamento e dependências utilizando ferramentas de orquestração, como Apache Airflow.

    • Desenvolver scripts em Python para automação de rotinas, integração entre sistemas e processamento de dados.

    • Integrar diferentes fontes de dados, garantindo consistência, integridade e padronização das informações.

    • Implementar mecanismos de validação, testes e monitoramento para identificar falhas, inconsistências e atrasos no processamento.

    • Investigar e corrigir problemas relacionados à execução de pipelines, divergências de dados e falhas de integração.

    • Otimizar consultas, estruturas de tabelas e processos de processamento, buscando melhorar desempenho e reduzir custos computacionais.

    • Aplicar boas práticas de particionamento, clusterização, versionamento de código e organização dos ativos de dados.

    • Desenvolver documentação técnica dos pipelines, tabelas, regras de transformação e dependências entre processos.

    • Contribuir para a evolução da arquitetura de dados, identificando oportunidades de automação, padronização e melhoria contínua.

    • Garantir a confiabilidade e a disponibilidade dos dados utilizados pelos sistemas e processos da companhia.

    Requisitos técnicos

    • Experiência sólida em Engenharia de Dados e desenvolvimento de pipelines em ambientes produtivos.

    • Domínio de SQL avançado e experiência com Google BigQuery.

    • Experiência com Python aplicado à automação e ao processamento de dados.

    • Experiência com ferramentas de orquestração, preferencialmente Apache Airflow.

    • Conhecimento de modelagem de dados e estruturação de tabelas analíticas.

    • Experiência com processos ETL/ELT, cargas incrementais e reprocessamento de dados.

    • Conhecimento de otimização de consultas, particionamento, clusterização e controle de custos.

    • Experiência com versionamento de código utilizando Git.

    • Conhecimento de testes, validação, monitoramento e tratamento de falhas em pipelines.

    • Capacidade de investigar problemas técnicos e implementar soluções robustas e escaláveis.
       

    Diferenciais

    • Experiência com ambientes de dados em nuvem, especialmente Google Cloud Platform.

    • Conhecimento de integração de APIs e ingestão de dados de plataformas externas.

    • Experiência com grandes volumes de dados e processamento de eventos.

    • Conhecimento de práticas de CI/CD e DataOps.

    • Experiência com governança, catálogo e documentação de ativos de dados.

Modelo de Trabalho

Adotamos o modelo híbrido de trabalho

‘’Se você busca um ambiente de crescimento e desafios, Vem ser feliz!"

Nossos valores nos unem e nossas diferenças nos potencializam como um grupo. Mais do que igualdade, buscamos equidade: Aqui, temos espaço para sermos autênticos, independentemente de gênero, etnia, raça, orientação sexual, clero ou deficiência.

Candidatar-se
Compartilhar
Compartilhar em: WhatsApp Telegram LinkedIn X
Baixe o app Vagas JobsVagas no Brasil e no exterior, grátisGoogle Play