Описание модели WORK IN PROGRESS!!! Инструктивная версия адаптированной на русский язык модели Qwen2.5 7B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon). Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen 2.5 7B Instruct. Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях. Токенизация Метрики и оценка качества Модель была оценена на Ru Arena General, MERA, llmtf open Результаты на Ru Arena General Замеры были произведены с использованием оффициального кода лидерборда (https://github.com/VikhrModels/ru llm arena), но с repetition penalty=1.1 . Приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка (https://huggingface.co/spaces/Vikhrmodels/arenahardlb). Model Name Winrate 95% CI Average Tokens gpt 4 1106 preview 90.9 ( +1.3 / 0.9) 541 vikhr nemo 12b instruct r 21 09 24 87.3 (+1.1…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy