Китайский стартап DeepSeek, получивший известность благодаря своей рассуждающей ИИ-модели R1, анонсировал новый метод обучения, обещающий значительное увеличение эффективности искусственного интеллекта. Совместно с исследователями из университета Цинхуа, DeepSeek опубликовал статью, раскрывающую детали инновационного подхода к обучению моделей посредством позитивного подкрепления результата, о чем сообщает издание SCMP.
Разработанный метод нацелен на улучшение соответствия ИИ-моделей человеческим предпочтениям. Он использует механизм вознаграждения, стимулирующий генерацию более точных и понятных ответов. Обучение с подкреплением уже доказало свою пользу в узкоспециализированных задачах, однако его эффективность снижалась при применении к более общим задачам. Команда DeepSeek предложила решение, объединив генеративное моделирование вознаграждения (GRM) с самокритичной настройкой на основе принципов.
Согласно исследованию, новый подход превосходит существующие методы улучшения рассуждающих способностей больших языковых моделей (LLM). Тестирование показало, что модели, обученные с использованием GRM, демонстрируют максимальную производительность при обработке общих запросов, при этом требуя меньших вычислительных ресурсов.
Новые модели получили название DeepSeek-GRM, от аббревиатуры Generalist Reward Modeling (универсальное моделирование вознаграждения). Компания заявила о планах сделать модели с открытым исходным кодом, однако точные сроки релиза пока не объявлены.
