library_name: transformers
tags: []
Введение
В этом репозитории представлен результат обучения LoRA в рамках курса по LLM от VK.
В наших экспериментах используется датасет cardiffnlp/tweet_eval. Решаемая задача - предсказание тональности текста (Sentiment Classification). Для файнтюна на задачу Sentiment Classification бралась модель OuteAI/Lite-Oute-1-300M-Instruct. Эта модель имеет около 300 млн обучаемых параметров, размер контекста модели до 4096 токенов.
Отметим, что в zero-shot режиме качество предсказаний модели даже с учётом вспомогательных сценариев (некоторого парсинга ответов модели) остаётся довольно низким.
Детали
Описание модели
DoRA - один из способов эффективного файнтюна модели.
Этот метод является модификацией LoRA. По аналогии с LoRA используются скелетные разложения вместо полных матриц, однако также выучивается некоторое перемасштабирование внутри каждого DoRA-слоя.
Сравнение результатов моделей
Baseline (F1 = 0.22)
LoRA (F1 = 0.52)
DoRA (F1 = 0.50)
Референсы
- Модель: OuteAI/Lite-Oute-1-300M-Instruct
- Датасет: cardiffnlp/tweet_eval
- Оригинальная статья: https://arxiv.org/abs/2402.09353