A vibe это большая языковая модель, созданная Авито Тех, дочерней технологической компанией Авито, на базе открытой модели Qwen3 8B Base. Мы адаптировали Qwen3 8B Base под русский язык и домен Авито с помощью нескольких шагов: 1. Сделали свой токенизатор, оптимальный для русского и английского языка 2. Подменили оригинальный токенизатор Qwen3 8B Base на собственный токенизатор 3. Обучили полученную модель на большом корпусе данных 4. Провели SFT этап 5. Сделали RL В результате нам удалось получить модель, которая выигрывает instruct версию Qwen3 8B по многим русскоязычным бенчмаркам. На SFT и RL этапе нам удалось научить модель Function Calling и улучшить ее навыки в решении математических задач. Qwen3 8B (no think) A vibe : : : mmlu ru 0,701 0,718 mmlu en 0,730 0,752 gpqa diamond ru 0,318 0,343 gpqa diamond en 0,369 0,318 shlepa 0,454 0,486 baby mmlu 0,682 0,766 math 500 ru 0,546 0,686 math 500 en 0,736 0,714 gsm8k en 0,927 0,910 DOoM 0,240 0,280 ru facts 0,724 0,718 rublimp 0,916 0,930 ru drop 0,318 0,394 BFCL V3 en 60,2% 58,63% BFCL V3 ru 50.72% 49.00% MERA text 0,510 0,618 MERA CODE private total 0,336 0,367 В токенизаторе A vibe плотность токенизации выше, чем у Qwen3 8B поэто…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy