Bootcamp de Engenharia de Dados

Antes do bootcamp, irás completar um módulo de pré-trabalho autónomo para construir a tua base em Python, SQL e manipulação de dados, juntamente com controlo de versões com Git e conceitos essenciais de cloud. Vais praticar programação, manipulação de dados com Pandas, execução de queries SQL e compreender fluxos de trabalho de dados modernos, de forma a transitar suavemente para o desenvolvimento prático de pipelines desde a primeira semana. No final, estarás confiante a programar em Python, a tratar dados com Pandas e a navegar em bases de dados relacionais e na cloud, pronto para enfrentar desafios reais desde o primeiro dia.

Começa com força, construindo as competências essenciais de programação e arquitetura de dados que todo Data Engineer precisa. Vais aprender Python para manipulação de dados, dominar Pandas e NumPy para transformação, e elevar o teu SQL a outro nível. Depois, mergulha na modelagem de dados: desde o desenho de esquemas e bases de dados até compreender como os data lakes e os warehouses funcionam em conjunto. No final, vais construir a tua primeira pipeline ETL e desenhar o teu próprio esquema de dados desde o início.

Este módulo apresenta-te à construção e automação de pipelines com Airflow e dbt. Vais agendar transformações, rastrear a proveniência dos dados e testar workflows de ponta a ponta. Em seguida, mergulhas no mundo do big data com Apache Spark, processando grandes volumes de dados de forma eficiente e escalando a performance como um profissional. Vais otimizar transformações em PySpark, explorar lazy execution e ajustar o desempenho de workloads distribuídos, entregando no final a tua primeira pipeline completa que alimenta sistemas analíticos reais.

Aprenderás a construir e gerir data warehouses com Snowflake, BigQuery ou Redshift, automatizar infraestrutura com Terraform e Docker, e desenhar soluções multi-cloud eficientes. O teu projeto irá integrar pipelines ETL, transformações dbt e reporting BI. Depois, irás processar dados em tempo real com Kafka e Spark Streaming, gerir escalabilidade e tolerância a falhas, e explorar serviços de streaming cloud como Pub/Sub e Kinesis. No final, vais construir uma pipeline de ingestão e análise em tempo real, visualizada num dashboard ao vivo, adquirindo experiência prática em arquiteturas orientadas a eventos e análises instantâneas.

Este módulo foca-se no que distingue um grande Data Engineer: fiabilidade, transparência e impacto. Vais testar e validar a qualidade dos dados com Great Expectations, rastrear a proveniência dos dados com dbt e aplicar boas práticas de governança para privacidade e conformidade. Segue-se o Capstone Sprint, um projeto prático de nível de produção em que vais desenhar, construir e implementar um sistema completo integrando pipelines em tempo real, governança e visualização de dados.

No final do Bootcamp de Engenharia de Dados, vais completar projetos capstone de nível de produção que simulam sistemas empresariais reais. Vais desenhar, construir e implementar pipelines que integrem streaming em tempo real, governança e visualização analítica. Na Parte I, vais criar uma pipeline de transações bancárias em tempo real, enquanto na Parte II vais focar-te em streaming e governança de CDRs de telecom. Paralelamente, vais praticar colaboração Agile, workflows Git, comunicação técnica e preparação para entrevistas, garantindo que estás pronto para o mercado de trabalho.