Geodezik/llm-course-hw3-dora

Введение

В этом репозитории представлен результат обучения LoRA в рамках курса по LLM от VK.

В наших экспериментах используется датасет cardiffnlp/tweet_eval. Решаемая задача - предсказание тональности текста (Sentiment Classification). Для файнтюна на задачу Sentiment Classification бралась модель OuteAI/Lite-Oute-1-300M-Instruct. Эта модель имеет около 300 млн обучаемых параметров, размер контекста модели до 4096 токенов.

Отметим, что в zero-shot режиме качество предсказаний модели даже с учётом вспомогательных сценариев (некоторого парсинга ответов модели) остаётся довольно низким.

Детали

Описание модели

DoRA - один из способов эффективного файнтюна модели.

Этот метод является модификацией LoRA. По аналогии с LoRA используются скелетные разложения вместо полных матриц, однако также выучивается некоторое перемасштабирование внутри каждого DoRA-слоя.

Сравнение результатов моделей

Baseline (F1 = 0.22)

LoRA (F1 = 0.52)

DoRA (F1 = 0.50)

Референсы

• Модель: OuteAI/Lite-Oute-1-300M-Instruct
• Датасет: cardiffnlp/tweet_eval
• Оригинальная статья: https://arxiv.org/abs/2402.09353