Engenharia de Dados
( 24 Módulos )

módulo #1
Introdução à Engenharia de Dados
Visão geral da engenharia de dados, importância e papel na ciência de dados

módulo #2
Fundamentos da Engenharia de Dados
Processamento de dados, armazenamento de dados e fundamentos da arquitetura de dados

módulo #3
Padrões de Ingestão de Dados
Projeto e implementação de pipelines de ingestão de dados

módulo #4
Opções de Armazenamento de Dados
Bancos de Dados Relacionais, Bancos de Dados NoSQL e Data Warehouse

módulo #5
Soluções de Armazenamento de Big Data
HDFS, HBase e outras opções de armazenamento de big data

módulo #6
Fundamentos do Processamento de Dados
Processamento em lote, processamento de fluxo e processamento em tempo real

módulo #7
Fundamentos do Apache Spark
Introdução ao Apache Spark, Spark Core e Spark SQL

módulo #8
Processamento em lote com Apache Spark
Casos de uso e implementações de processamento em lote com Spark

módulo #9
Processamento de fluxo com Apache Spark
Casos de uso e implementações de processamento de fluxo com Spark

módulo #10
Processamento em tempo real com Apache Flink
Introdução ao Apache Flink e casos de uso de processamento em tempo real

módulo #11
Data Pipelines e gerenciamento de fluxo de trabalho
Projetando e implementando pipelines de dados com Apache Airflow e Apache NiFi

módulo #12
Qualidade de dados e governança de dados
Métricas de qualidade de dados, governança de dados e linhagem de dados

módulo #13
Segurança de dados e controle de acesso
Criptografia de dados, controle de acesso e práticas recomendadas de segurança

módulo #14
Engenharia de dados baseada em nuvem
Engenharia de dados baseada em nuvem com AWS, GCP e Azure

módulo #15
Containerização e orquestração
Containerização com Docker e orquestração com Kubernetes

módulo #16
Monitoramento e registro em engenharia de dados
Melhores práticas de monitoramento e registro em engenharia de dados

módulo #17
Teste e validação em engenharia de dados
Estratégias de teste e validação para pipelines e sistemas de dados

módulo #18
Engenharia de dados para aprendizado de máquina
Engenharia de dados para modelos de aprendizado de máquina e aplicativos de IA

módulo #19
Uso de engenharia de dados no mundo real Casos
Estudos de caso e exemplos reais de aplicações de engenharia de dados

módulo #20
Ferramentas e tecnologias de engenharia de dados
Pesquisa de ferramentas e tecnologias de engenharia de dados

módulo #21
Melhores práticas de engenharia de dados
Melhores práticas para design, desenvolvimento e implantação de engenharia de dados

módulo #22
Engenharia de dados em escala
Considerações sobre escalabilidade e desempenho para sistemas de engenharia de dados em larga escala

módulo #23
Engenharia de dados para ciência de dados
Colaboração entre engenheiros de dados e cientistas de dados

módulo #24
Conclusão e encerramento do curso
Planejando os próximos passos na carreira de Engenharia de Dados

Pronto para aprender, compartilhar e competir?