Учебная практика Датасеты

Общая идея задания

Цель практики - создать ядро русских учебных датасетов для обучения машинному обучению с использованием библиотеки ML PascalABC.NET.

Библиотека входит в комплект поставки последней версии PascalABC.NET (не менее 3.11.1.3813).

• Примеры использования библиотеки доступны после установки в директории 
C:\PABCWork.NET\Samples\MachineLearning.
• Стандартные датасеты (для формирования представления об их формате) - в директории 
C:\Program Files (x86)\PascalABC.NET\Files\Datasets.

В рамках практики необходимо разработать набор учебных датасетов. Датасеты должны быть понятны русскоязычным пользователям, опираться на близкую и узнаваемую предметную область и позволять решать задачи машинного обучения: регрессию, классификацию, кластеризацию.

Результатом работы должен стать не просто набор CSV-файл, а полноценный учебный пакет: 

• данные (.csv)
• метаинформация (.meta)
• примеры загрузки и минимального использования в PascalABC.NET
• описание признаков
• отчёт о качестве данных и описание использования ИИ-помощников (ai_log.md)

Лучшие работы будут использованы как основа для дальнейшего формирования набора учебных датасетов PascalABC.NET ML.

Использование ИИ и вайб-кодинга

При выполнении задания разрешается и приветствуется использование ИИ-помощников, агентных сред и инструментов вайб-кодинга.

ИИ можно использовать для:

• выбора идеи датасета
• проектирования признаков
• генерации синтетических данных
• поиска открытых источников
• написания скриптов очистки и преобразования данных
• подготовки .meta-файлов
• написания примеров программ на PascalABC.NET
• подготовки README и отчёта о качестве данных
• проверки структуры датасета

При этом ответственность за корректность результата несёт студент. Все данные, метаинформация и примеры программ должны быть проверены вручную.

Использование ИИ необходимо описать в отдельном файле ai_log.md.

Типы датасетов

• Минимальные
• Средние

• Большие

При работе с датасетами необходимо соблюдать требования к CSV-файлам

Формат .meta-файла

Примеры программ на PascalABC.NET

В архиве должны быть примеры программ на PascalABC.NET.

Минимально необходимо подготовить:

• 01_load_dataset.pas
• 02_describe_dataset.pas
• 03_baseline_model.pas

Для датасета с raw-версией желательно добавить:

• 04_preprocessing_raw.pas

Формат отчетных материалов

Работа сдаётся в Moodle в виде zip-архива.

Имя архива: surname_dataset_name.zip

Пример: ivanov_moscow_housing.zip

Рекомендуемая структура архива для одного датасета:

dataset/
  data/
    dataset_name.csv

  meta/
    dataset_name.meta

  samples/
    01_load_dataset.pas
    02_describe_dataset.pas
    03_baseline_model.pas

  report/
    README.md
    quality_report.md
    ai_log.md
    sources.md

Примерные идеи тем датасетов

По этой ссылке доступен список возможных тем. Можно выбрать тему из списка или предложить собственную идею.

Собственную идею необходимо предварительно согласовать с преподавателем практики

Критерии оценивания и итоговый результат

В работе приветствуется:

• собственная оригинальная идея датасета
• русская или локально узнаваемая предметная область
• понятная учебная ML-задача
• несколько версий одного датасета
• наличие признаков типа DateTime
• разумные пропуски и выбросы в версиях medium и raw
• качественные русские и английские описания признаков
• аккуратные технические имена столбцов
• примеры программ, которые реально запускаются
• честное описание использования ИИ
• правдоподобные синтетические данные
• реальные открытые данные при наличии источников и лицензий
• понятная методическая ценность датасета

Не допускается сдавать:

• бессмысленный случайный CSV
• датасет без понятной ML-задачи
• CSV без .meta-файла
• .meta-файл, не соответствующий CSV
• датасет с русскими названиями столбцов
• датасет с пробелами в именах столбцов
• датасет с неустойчивыми типами данных в одном столбце
• датасет без target для задачи классификации или регрессии
• датасет с персональными данными
• реальные данные студентов без полной анонимизации
• полностью скопированный чужой датасет без обработки, источника и описания
• датасет, который невозможно загрузить и использовать в PascalABC.NET
• формально заполненный .meta-файл, не отражающий реальное содержание данных

Итоговый результат практики - zip-архив, загруженный в Moodle. В архиве должны быть:

• CSV-файл или несколько CSV-файлов
• соответствующие .meta-файлы
• примеры программ на PascalABC.NET
• README.md
• quality_report.md
• ai_log.md
• sources.md
• при необходимости - скрипты обработки данных и файл с лицензией

Работа должна быть оформлена так, чтобы другой пользователь мог открыть архив, понять назначение датасета, загрузить данные, прочитать метаинформацию и запустить минимальные примеры использования в PascalABC.NET ML.