Formação em Engenharia de Dados com Python e SQL

Formação em Engenharia de Dados com Python e SQL

Carga horária: 40h

Pré-requisitos mínimos

• Lógica de programação básica: variáveis, loops (for/while) e condicionais (if/else) em qualquer linguagem.
• Fundamentos de bancos de dados: noções de banco relacional e comandos simples de SQL (SELECT, FROM e WHERE).

Ementa detalhada

Módulo 1: Fundamentos de Engenharia de Dados e SQL Avançado

• Introdução à Engenharia de Dados: diferenças entre Cientista, Analista e Engenheiro de Dados; arquiteturas modernas de dados.
• SQL para grandes volumes: consultas complexas, subqueries, CTEs (Common Table Expressions), funções de janela (Window Functions) e otimização de queries.
• Modelagem de dados: arquiteturas relacionais e não relacionais (NoSQL), Data Warehouses, Data Lakes e modelagem dimensional (Star Schema e Snowflake).

Módulo 2: Programação Python voltada para Dados

• Estruturas de dados em Python: listas, dicionários e manipulação de arquivos (CSV, JSON, Parquet).
• Bibliotecas essenciais: Pandas e NumPy para limpeza, tratamento e estruturação de grandes massas de dados.
• Integração prática: conexão de scripts Python a bancos de dados por meio de ORMs e drivers.

Módulo 3: Pipelines de ETL e Ingestão de Dados

• Processos ETL/ELT: extração de APIs, bancos transacionais e web scraping; transformação e carga em repositórios centrais.
• Ferramentas modernas de transformação: introdução prática ao dbt (data build tool) para testes e transformações SQL estruturadas.
• Garantia de qualidade: validação e limpeza de dados corrompidos ou ausentes.

Módulo 4: Orquestração e Monitoramento

• Automatizando fluxos: Apache Airflow para agendamento e monitoramento de pipelines.
• Boas práticas e cloud: integração de pipelines a ambientes de nuvem (AWS/Azure) de forma segura.

A quem se destina

Profissionais técnicos que desejam migrar para a área de dados ou consolidar suas práticas estruturais:

• Analistas de BI e Analistas de Dados: que precisam manipular dados direto na infraestrutura para lidar com volumes maiores.
• Desenvolvedores de Software (Back-End ou Full-Stack): que desejam expandir suas habilidades para a arquitetura e o gerenciamento de grandes fluxos de informação.
• Administradores de Banco de Dados (DBAs): que buscam se atualizar nas práticas modernas de desenvolvimento de pipelines.
• Recém-formados ou estudantes de TI: que desejam entrar em uma das carreiras mais valorizadas e com maior escassez de profissionais.

O que o mercado espera dos profissionais

• Automação e escalabilidade: pipelines automatizados que rodem sem intervenção humana diária, no lugar de importações manuais de relatórios.
• Garantia de qualidade da informação (Data Quality): dados limpos, auditados e sem duplicidades no destino final.
• Domínio de ferramentas de orquestração: usar gerenciadores modernos (como o Airflow) para mapear falhas e garantir a entrega contínua dos dados.