Data Mining - методы анализа и обработки данных

Необходимо реализовать алгоритм Fuzzy C-Means (FCM) для кластеризации числовых данных. Использование готовых реализаций FCM запрещено до этапа сравнения.

В качестве данных можно использовать датасет Mall Customer Segmentation Data или аналогичный с числовыми признаками.

Реализация алгоритма
Реализация должна включать:

• инициализацию матрицы принадлежностей;
• расчёт центров кластеров с учётом весов;
• обновление степеней принадлежности;
• параметр нечёткости $m$m;
• критерий остановки.

Эксперименты
После реализации необходимо исследовать влияние параметров алгоритма. Требуется:

• провести эксперименты при разных значениях числа кластеров $k$k;
• исследовать влияние параметра нечёткости $m$m;
• сравнить результат с K-Means (sklearn).

Визуализация
Полученные кластеры необходимо визуализировать.

Требуется:

• отобразить кластеры в пространстве признаков (или после PCA/t-SNE);
• отдельно визуализировать степень принадлежности объектов (например, через цвет/прозрачность);
• показать различия между FCM и K-Means.

Оценка качества
Поскольку кластеризация является мягкой, необходимо рассмотреть как «мягкие», так и «жёсткие» оценки качества.

Требуется:

• вычислить Fuzzy Partition Coefficient (FPC) и интерпретировать его;
• перевести мягкую кластеризацию в жёсткую (через argmax принадлежностей) и рассчитать Silhouette Score;
• сравнить результаты с K-Means.

Анализ результатов
Необходимо:

• выявить объекты с неуверенной принадлежностью к кластерам;
• проанализировать, какие объекты относятся сразу к нескольким сегментам;
• объяснить влияние параметра $m$m;
• сравнить мягкую и жёсткую кластеризацию;
• сделать вывод, в каких случаях FCM даёт более информативный результат.