Интеллектуальный анализ больших данных

Тематический план

• Выбрать тему Общее

  Общее

  Свернуть всё Развернуть всё

  Баллы: 20 - посещение и работа на занятиях, 40 - контрольные, 40 - экзамен

  • Выбрать элемент Список группы

    

    Список группы Гиперссылка

    Недоступно, пока не выполнены условия: Ваше поле Адрес электронной почты не пустое
  • Выбрать элемент Презентации и конспект лекций

    

    Презентации и конспект лекций Гиперссылка
• Выбрать тему Введение: повтороение SQL, DuckDB

  Введение: повтороение SQL, DuckDB
  • Выбрать элемент Лабораторная работа 1. Повторение SQL

    

    Лабораторная работа 1. Повторение SQL Гиперссылка
• Выбрать тему Data Lakes, Data Warehouses, Lakehouses

  Data Lakes, Data Warehouses, Lakehouses
  • Data Lakes vs Data Warehouses: характеристики и отличия
  • Медальная архитектура
  • Object Storage в Data Lakes: хранение и организация данных
  • Концепция Lakehouse: объединение лучших качеств
  • Практические рекомендации и примеры использования

  • Выбрать элемент Лабораторная работа №1. Знакомство с S3 и форматом Parquet

    

    Лабораторная работа №1. Знакомство с S3 и форматом Parquet Гиперссылка
• Выбрать тему DBT. Витрины данных и методы моделирования

  DBT. Витрины данных и методы моделирования

  • Data Build Tool
  • Витрины данных
  • Основы моделирования данных
  • Dimensional Modeling (Kimball) 
  • Data Vault Modeling (Linstedt)

  • Выбрать элемент Лабораторная работа 2. Этап 1. dbt. Аналитика поверх сырого ODS

    

    Лабораторная работа 2. Этап 1. dbt. Аналитика поверх сырого ODS Гиперссылка
  • Выбрать элемент Лабораторная работа 2. Этап 2: Dimensional Modeling и магия Star Schema

    

    Лабораторная работа 2. Этап 2: Dimensional Modeling и магия Star Schema Гиперссылка
  • Выбрать элемент Лабораторная работа 2. Этап 3: Data Vault 2.0 — Интеграция без боли

    

    Лабораторная работа 2. Этап 3: Data Vault 2.0 — Интеграция без боли Гиперссылка
• Выбрать тему Data Streaming

  Data Streaming

  • Фундаментальные концепции — Event Time, Watermarks, Windowing
  • Гарантии доставки — At-Most-Once, At-Least-Once, Exactly-Once
  • Стриминговая архитектура — Message Brokers, Kappa, CDC
  • Технологический стек — Spark Structured Streaming, dbt
  • Хранение и консистентность — Iceberg/Delta, Compaction

  
  

  • Выбрать элемент Лабораторная работа 3. Потоковый конвейер данных интернет-магазина

    

    Лабораторная работа 3. Потоковый конвейер данных интернет-магазина Гиперссылка
  • Выбрать элемент Экзаменационное задание

    

    Экзаменационное задание Гиперссылка