Engenheiro de Dados Senior

 🔎 #Conheça um pouco sobre a área:

Estamos à procura de uma pessoa Engenheira de Dados Sênior para integrar o time de Dados da oferta Cortex Growth. O time é responsável pelos dados que abastecem nossas soluções de inteligência para vendas B2B, desde a coleta e o tratamento até a disponibilização para os produtos da plataforma, com todo o processamento em Databricks. Aqui a IA faz parte do dia a dia: usamos modelos de linguagem e agentes para coletar, estruturar e validar dados com mais escala e qualidade, e o Claude Code é a nossa ferramenta oficial de desenvolvimento. Se você domina SQL, gosta de grandes volumes de dados e já usa IA de forma prática no seu trabalho, queremos conhecer você!

Responsabilidades e atribuições

🎯#Desafios que você vai encontrar:

• Desenvolver, manter e otimizar pipelines de dados em larga escala no Databricks, principalmente com SQL e também com PySpark.
• Utilizar IA generativa, LLMs e agentes para automatizar a coleta, extração, estruturação e validação de dados, inclusive a partir de fontes não estruturadas.
• Integrar novas fontes de dados internas e externas, garantindo rastreabilidade e eficiência de custo.
• Desenvolver e manter APIs que disponibilizam dados para os produtos da plataforma.
• Garantir a qualidade e a integridade dos dados com testes automatizados, validações e monitoramento, tratando os problemas na causa raiz.
• Aplicar boas práticas de privacidade e conformidade com a LGPD no tratamento de dados.
• Otimizar performance e custo de processamento em Databricks e AWS.
• Participar das decisões de arquitetura e da definição de boas práticas de engenharia de dados do time.
• Usar o Claude Code no ciclo de desenvolvimento e contribuir para que o time aproveite melhor as ferramentas de IA, com qualidade e senso crítico.
• Compartilhar conhecimento com o time por meio de code review e pareamento.
• Colaborar com Produto, Data Science, Plataforma e áreas de negócio para traduzir necessidades em soluções e comunicar resultados com clareza.
• Documentar pipelines, regras de negócio e arquitetura de dados.

Requisitos e qualificações

✔️ #Conhecimentos importantes para a posição:

• Formação em Ciência da Computação, Engenharia de Dados, Sistemas de Informação ou áreas relacionadas, ou experiência equivalente.
• Experiência como Data Engineer ou em funções similares.
• SQL avançado e sólidos conhecimentos em modelagem de dados.
• Experiência prática com Databricks.
• Uso prático de IA no trabalho com dados, como LLMs ou agentes para coleta, extração, classificação ou validação de informações.
• Uso no dia a dia de ferramentas de IA para desenvolvimento, como Claude Code, Cursor, GitHub Copilot ou similares.
• Conhecimentos em Python e PySpark.
• Conhecimento em serviços AWS como S3, Lambda e EKS.
• Familiaridade com Git e testes automatizados.
• Capacidade de trabalhar com autonomia e de comunicar resultados com clareza.
• Experiência em ambiente ágil e colaborativo.

⭐ #Diferencial para a posição:

• Experiência com Claude Code.
• Conhecimento em Delta Live Tables (DLT) e/ou pipelines de dados em streaming.
• Experiência com Unity Catalog.
• Otimização de performance e custo de pipelines no Databricks.
• Construção de APIs de dados.
• CI/CD e boas práticas de code review.
• Web scraping e coleta de dados públicos em escala.
• Construção de agentes de IA ou integração com APIs de LLMs.
• Conhecimento de LGPD aplicada a dados.
• Inglês para leitura técnica.