Искусственный интеллект

Все варианты представляют собой небольшое исследование работы LLM, оформляемое в виде отчёта. 

• Стиль текста и оформления отчёта выбирайте такой, чтобы было приятно писать и понятно читать.

• К интерпретации условий допустимо подходить творчески и изменять план исследования.

• Графики приветствуются.

• Для оформления допустимо использовать нейронку, но основные выводы и оценки должны быть произведены студентом. 

• Результат отрендерьте в pdf или другое кроссплатформенное представление, допустимо загрузить дополнительные файлы как архив.

Самый простой бесплатный доступ к LLM:

• duck.ai – онлайн прокси к нескольким бесплатным нейронкам

• ollama.com – локальная установка open source моделей в стиле Docker. С локальным HTTP API можно легко автоматизировать обработку множества запросов (придётся найти баланс между вашим железом и размером модели)

Вариант 1

Для тех, кто регулярно пользуется LLM: проанализировать качество результатов и типы решаемых задач в свободной форме.

Для чего нужно собрать статистику за какой-то период времени (неделя/пара десятков задач). Если у вас уже есть история чатов, можете ей и воспользоваться.

Выделите как минимум следующие параметры для каждого запроса:

• Какая модель использовалась

• С размышлениями она или нет

• С инструментами или нет (веб-поиск, файлы, ещё что-то)

• Вход: текст/картинка/звук/комбинация

• Выход: текст/картинка/звук/комбинация

• Длина диалога до получения удобоваримого результата: в сообщениях/токенах, что получится достать

• Довольство результатом по какой-то шкале (например, десятибалльной)

• Тип задачи: программирование (можно разбить по уровням типа “генерация бойлерплейта”, “проектирование”, “отладка” или по языкам), генерация отчётов по курсу ИИ текста, перевод с бюрократического на человеческий и прочее – зависит от ваших задач.

 По составленной таблице сделайте выводы.

Вариант 2

Проанализируйте понимание языковыми моделями юмора. Примерный план:

1. Составьте список видов юмора

2. Сгенерируйте анекдоты для каждого вида и оцените

3. Добудьте список человеческих анекдотов соответствующих видов (в идеале, с сайта с оценками), попросите нейронку оценить и оцените оценку (личное мнение или по разнице со средней оценка из источника анекдотов)

4. Сделайте выводы

 Дополнительные модификации варианта:

• Провести такое для одной модели с разным квантованием/количеством весов или для разных моделей.

• Взять мультимодальную модель и использовать мемы вместо анекдотов.

Вариант 3

Проанализируйте способность языковых моделей считать символы, например “Сколько символов в данном предложении?” или "Сгенерируй лаборатоную по курсу ИИ на 3000 символов".

1. На разных размерах текста.

2. На разных моделях (как минимум на одной модели без рассуждений).

3. В режимах one-shot (с уточнением “выдай только число”) и диалога с уточнениями/запросом рассуждения.

4. Попробуйте запросы на генерацию текста заданного размера в символах.

Что бы вы сделали, если бизнес запросил бы с вас генерацию текста “в диапазоне 2800-3000 символов”?

Вариант 4

Опишите свой опыт применения LLM для автоматизации какой-то крупной рутинной задачи или применения в продакшене.