A Tech For TI está com oportunidade para Engenheiro de Dados Senior , para atuar em projeto de cliente AutoTech, focada no mercado B2B, presente em diversos países. - Modalidade PJ - Modelo Remoto Full Descrição das Atividades: - Desenvolvimento de Pipelines de Dados - Projetar, construir e manter pipelines de dados escaláveis (ETL/ELT), utilizando Python e SQL avançado para integração de grandes volumes de dados. - Orquestração e Workflows - Implementar e gerenciar a orquestração de fluxos complexos via Apache Airflow, garantindo alta disponibilidade, monitoramento e tratamento de falhas. - Cultura DevOps e Automação - Implementar e manter pipelines de CI/CD para automação de deploys, testes unitários e de integração, garantindo que o ciclo de vida do dado siga padrões de engenharia de software. - Gestão de Configuração e Git - Administrar o versionamento de código, definindo estratégias de branching (GitFlow), revisão de código (Code Review) e integridade dos repositórios. - Documentação Técnica Rigorosa - Responsável pela criação e manutenção de uma documentação forte, incluindo dicionários de dados, diagramas de arquitetura, manuais de sustentação e registros de decisão técnica (ADRs). - Ecossistema Cloud (GCP) - Utilizar de forma avançada os serviços da Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub, Cloud Composer) com foco em performance e otimização de custos. - Qualidade e Governança - Garantir a observabilidade dos dados e a qualidade do código, seguindo as melhores práticas de DataOps e governança de dados. Requisitos Imprescindíveis: - Experiência Sênior com GCP - Domínio comprovado em arquiteturas de dados no Google Cloud, especialmente com BigQuery e serviços de processamento. - Domínio em Apache Airflow - Experiência sólida na criação de DAGs, hooks e operators, preferencialmente utilizando Cloud Composer - Sênior em Python e SQL - Vasta experiência no desenvolvimento de soluções robustas e performáticas, com foco em bibliotecas de manipulação de dados. - Experiência em DevOps e CI/CD - Conhecimento prático na criação de esteiras de deploy automatizadas (ex: GitHub Actions, GitLab CI, Jenkins) e conteinerização (Docker/Kubernetes). - Domínio de Git: Experiência avançada em versionamento, gestão de conflitos, tags e fluxos de trabalho colaborativos em equipe. - Foco em Documentação: Habilidade comprovada em documentar processos técnicos de forma clara, utilizando ferramentas como Wiki, Notion, Readme ou similares. Formação acadêmica: - Graduação completa em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas. Requisitos Diferenciais (Não Eliminatórios): - Infraestrutura como Código (IaC): Experiência com *Terraform* para provisionamento de infraestrutura de dados na GCP. - Observabilidade: Experiência com ferramentas de monitoramento e alertas (ex: Cloud Monitoring, Grafana, Datadog). Data Quality - Frameworks: Conhecimento em ferramentas de validação de dados como Great Expectations ou dbt tests. - Experiência com Ciência de Dados: Familiaridade com o ecossistema de ML (Vertex AI) e como preparar dados para modelos de Machine Learning. Requisitos da vaga: Formação Mínima: Ensino Superior Completo