Основы работы с данными для ИИ

Задачи:

1. Анализ данных в Python (pandas и numpy)

Загрузить датасет в формате CSV и выполнить полный анализ данных. Минимальные требования:

A. Загрузка и первичный обзор

• загрузить данные через pandas;

• вывести первые/последние строки;

• посмотреть структуру данных;

• проверить типы данных и при необходимости привести их к корректным типам.

B. Обработка данных

Нужно выполнить::

1. Пропущенные значения

   • найти пропуски (isnull, isna);

   • посчитать количество пропусков по столбцам;

   • выбрать стратегию заполнения или удаления:

     • удаление строк/столбцов;

     • заполнение медианой/средним/модой/значениями по группам.

2. Дубликаты

   • найти дубликаты (duplicated);

   • вывести количество дублирующихся строк;

   • удалить их при необходимости (drop_duplicates).

3. Выбросы (при необходимости)

   • с помощью z-score из numpy;

   • визуально (boxplot).

Статистики данных:

• описательная статистика (describe);

• подсчёт уникальных значений, частоты;

• корреляционный анализ (corr).

C. Визуализация данных

Нужно построить минимум 5 графиков:

• гистограммы распределений;

• линейный график;

• столбчатые диаграммы;

• boxplot;

• heatmap корреляций.

Можно использовать:
matplotlib, seaborn, plotly.

D. Группировки и агрегации

Нужно применить группировки (groupby) и выполнить минимум 3 вида агрегаций:

Примеры:

• среднее / медиана по группам;

• подсчёт количества;

• суммирование;

• построение сводной таблицы (pivot_table).

---

2. Аналитика в Yandex DataLens

Необходимо:

1. Загрузить датасет в Datalens.

2. Создать минимум 3 чарта:

   • диаграмма по категориям,

   • линейный график,

   • таблица или карта (если есть геоданные).

3. Создать дашборд минимум из 3 визуализаций.

4. Настроить:

   • фильтры,

   • селекторы,

   • интерактивность графиков.

---

3. Публикация проекта на GitHub

Нужно

1. Создать публичный репозиторий.

2. Добавить:

   • Jupyter Notebook (.ipynb) с анализом;

   • исходный CSV-датасет;

   • README.md с описанием проекта.

3. Сделать минимум два коммита:

   • первый — загрузка исходных данных и структуры проекта;

   • второй — финальный анализ и визуализации.

---

Возможные варианты:
1. Поведение покупателей
2. Модные тренды зимы
3. Книги
4. Сон и образ жизни
5. Свой вариант 

Выбор варианта нужно утвердить у преподавателя

Проект принимается только при защите у преподавателя с ответами на вопросы