rubert mini frida лёгкая и быстрая модификация FRIDA Модель для расчетов эмбеддингов предложений на русском и английском языках получена методом дистилляции эмбеддингов ai forever/FRIDA (размер эмбеддингов 1536, слоёв 24) в sergeyzh/rubert mini sts (размер эмбеддингов 312, слоёв 7). Основной режим использования FRIDA CLS pooling заменен на mean pooling. Каких либо других изменений поведения модели (модификации или фильтрации эмбеддингов, использования дополнительной модели) не производилось. Дистиляция выполнена в максимально возможном объеме эмбеддинги русских и английских предложений, работа префиксов. Рекомендуемый размер контекста модели соответствует FRIDA и не превышает 512 токенов (фактический унаследованный от исходной модели 2048). Префиксы Все префиксы унаследованы от FRIDA. Оптимальный (обеспечивающий средние результаты) для большинства задач "categorize: " прописан по умолчанию в config sentence transformers.json Перечень используемых префиксов и их влияние на оценки модели в encodechka: Префикс STS PI NLI SA TI : : : : : : : : : : : 0.839 0.762 0.475 0.801 0.972 search query: 0.846 0.761 0.498 0.800 0.973 search document: 0.830 0.748 0.468 0.794 0.972 paraphrase: 0.835…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy