Основы работы с данными для ИИ

Современный анализ данных опирается на работу с табличными структурами: каждая строка — это наблюдение (объект), а каждый столбец — его характеристика (признак).
В Python основной инструмент для работы с такими данными — библиотека pandas, которая предоставляет:

• DataFrame — двумерную структуру данных, похожую на таблицу в Excel или БД.

• Series — одномерную структуру, обычно представляющую один столбец.

📈 Этапы анализа данных

1. 📥 Загрузка данных — чтение из файлов (CSV, Excel), баз данных или API.

2. 🔍 Первичный анализ — проверка структуры, типов данных, пропусков.

3. 🧹 Очистка данных — удаление/заполнение пропусков, приведение типов.

4. 🛠 Преобразование — создание новых признаков, фильтрация, сортировка.

5. 📊 Аналитика — группировка, агрегирование, статистика.

6. 📉 Визуализация — представление данных в виде графиков.

7. 📚 Выводы — интерпретация результатов анализа.

📚 Подсказки: основные методы и их назначение

Ниже приведены часто используемые методы pandas и их функции.

📥 Загрузка и обзор данных

🧹 Очистка и подготовка данных

🔍 Извлечение и фильтрация

🛠 Преобразование данных

📚 Теория: функция lambda и создание категориальных признаков

Иногда необходимо создать новый признак (столбец), который классифицирует объекты по категориям. Такой столбец называется категориальным — его значения принадлежат ограниченному набору категорий.

Например:

• Страна: 🇷🇺 Россия, 🇩🇪 Германия, 🇺🇸 США

• Тип вуза: государственный, частный

• Возрастная группа: Ancient / Old / Modern

Для таких задач часто используется функция lambda — это короткая анонимная функция, которую можно применить к каждому элементу столбца:

lambda аргументы: выражение

Пример: классификация по возрасту университета:

df['Age_Group'] = df['Age'].apply(
    lambda x: 'Ancient' if x > 300 else ('Old' if x >= 100 else 'Modern')
)

📌 Здесь lambda x: ... — это мини-функция, которая проверяет значение x и возвращает одну из трёх категорий.

Категориальные признаки удобны для:

• группировки данных;

• построения диаграмм;

• анализа распределения.

📉 Теория: визуализация данных в Python

Визуализация — важнейший этап анализа. Даже сложные зависимости часто становятся очевидны именно на графиках. Основные библиотеки: Matplotlib, pandas.plot, Seaborn.

В pandas можно строить графики напрямую из DataFrame с помощью метода .plot() или .hist().

📊 Основные типы графиков

📌 Пояснение к основным параметрам:

• kind — тип графика ('bar', 'pie', 'line', 'hist')

• bins — количество интервалов (для гистограмм)

• title — заголовок графика

• xlabel, ylabel — подписи осей

Пример:

import matplotlib.pyplot as plt

df['Age'].hist(bins=20)
plt.title("Распределение возраста университетов")
plt.xlabel("Возраст (лет)")
plt.ylabel("Количество")
plt.show()

🧑‍💻 Практическая часть

1. Подготовка среды и загрузка данных

Задания:

1. Импортируйте pandas и numpy.

2. Загрузите CSV-файл с данными.

3. Отобразите первые и последние 5 строк таблицы.

4. Определите размер таблицы и типы данных.

5. Проверьте наличие пропусков.

2. Первичный анализ данных

Задания

• Удалите дубликаты
• Найдите столбцы с пропущенными значениями и заполните их.
• Для форматирования даты используйте следующий код:

1. Посчитайте количество уникальных стран.

2. Найдите минимальный и максимальный год основания университетов.

3. Рассчитайте средний и медианный год основания.

4. Отсортируйте университеты по году основания.

3. Очистка и преобразование данных

3.1. Преобразование типов

• Создайте столбец с годом основания.

3.2. Создание столбца age

• Рассчитайте возраст университета на 2025 год.

3.3. Категориальный столбец age_group

• С помощью lambda создайте категориальный столбец:

  • 🏛️ Ancient — старше 300 лет

  • 📜 Old — 100–300 лет

  • 🎓 Modern — младше 100 лет

4. Аналитика и статистика

 Задания:

1. Найдите самый старый и самый новый университет.

2. Рассчитайте средний и медианный возраст.

3. Определите 10 стран с наибольшим количеством университетов.

   top_10_countries = df['country'].value_counts().head(10)

   или

   df.groupby('country').size().sort_values(ascending=False).head(10)

4. Найдите средний возраст университетов по странам.

5. Определите страны с самой «старой» и самой «молодой» системой образования.

6. Подсчитайте количество университетов по возрастным категориям.

5. Визуализация данных

 Задания:

1. Постройте гистограмму распределения годов основания.

2. Постройте столбчатую диаграмму топ-10 стран.

3. Постройте круговую диаграмму распределения категорий age_group.

6. Итоги и выводы

 Задания:

1. Сформулируйте 4–5 выводов:

   • Какие страны лидируют по количеству университетов?

   • Каков средний возраст вузов?

   • Какие годы были наиболее активными?

   • Какие категории университетов преобладают?