Инженерия данных
( 24 Модули )

модуль #1
Введение в инженерию данных
Обзор инженерии данных, важность и роль в науке о данных

модуль #2
Основы инженерии данных
Обработка данных, хранение данных и основы архитектуры данных

модуль #3
Шаблоны приема данных
Проектирование и реализация конвейеров приема данных

модуль #4
Параметры хранения данных
Реляционные базы данных, базы данных NoSQL и хранилища данных

модуль #5
Решения для хранения больших данных
HDFS, HBase и другие варианты хранения больших данных

модуль #6
Основы обработки данных
Пакетная обработка, потоковая обработка и обработка в реальном времени

модуль #7
Основы Apache Spark
Введение в Apache Spark, Spark Core и Spark SQL

модуль #8
Пакетная обработка с Apache Spark
Варианты использования и реализации пакетной обработки с помощью Spark

модуль #9
Потоковая обработка с Apache Spark
Варианты использования и реализации потоковой обработки с помощью Spark

модуль #10
Обработка в реальном времени с помощью Apache Flink
Введение в Apache Flink и примеры использования обработки в реальном времени

модуль #11
Конвейеры данных и управление рабочими процессами
Проектирование и реализация конвейеров данных с Apache Airflow и Apache NiFi

модуль #12
Качество данных и управление данными
Метрики качества данных, управление данными и происхождение данных

модуль #13
Безопасность данных и контроль доступа
Шифрование данных, контроль доступа и лучшие практики безопасности

модуль #14
Облачная инженерия данных
Облачная инженерия данных с AWS, GCP и Azure

модуль #15
Контейнеризация и оркестровка
Контейнеризация с Docker и оркестровка с Kubernetes

модуль #16
Мониторинг и ведение журнала в инженерии данных
Лучшие практики мониторинга и ведения журнала в инженерии данных

модуль #17
Тестирование и валидация в инженерии данных
Стратегии тестирования и валидации для конвейеров и систем данных

модуль #18
Инженерия данных для машинного обучения
Инженерия данных для моделей машинного обучения и приложений ИИ

модуль #19
Использование инженерии данных в реальных условиях Cases
Исследования случаев и реальные примеры приложений для обработки данных

модуль #20
Инструменты и технологии обработки данных
Обзор инструментов и технологий обработки данных

модуль #21
Лучшие практики обработки данных
Лучшие практики проектирования, разработки и развертывания обработки данных

модуль #22
Масштабная обработка данных
Вопросы масштабируемости и производительности для крупномасштабных систем обработки данных

модуль #23
Обработка данных для науки о данных
Сотрудничество между инженерами и специалистами по обработке данных

модуль #24
Подведение итогов и заключение курса
Планирование следующих шагов в карьере инженера данных

Готовы учиться, делиться и соревноваться?