BERTA Модель для расчетов эмбеддингов предложений на русском и английском языках получена методом дистилляции эмбеддингов ai forever/FRIDA (размер эмбеддингов 1536, слоёв 24) в sergeyzh/LaBSE ru turbo (размер эмбеддингов 768, слоёв 12). Основной режим использования FRIDA CLS pooling заменен на mean pooling. Каких либо других изменений поведения модели не производилось. Дистиляция выполнена в максимально возможном объеме эмбеддинги русских и английских предложений, работа префиксов. Размер контекста модели соответствует FRIDA 512 токенов. Префиксы Все префиксы унаследованы от FRIDA. Оптимальный (обеспечивающий средние результаты) префикс для большинства задач "categorize entailment: " прописан по умолчанию в config sentence transformers.json Перечень используемых префиксов и их влияние на оценки модели в encodechka: Префикс STS PI NLI SA TI : : : : : : : : : : : 0,842 0,757 0,463 0,830 0,985 search query: 0,853 0,767 0,479 0,825 0,987 search document: 0,831 0,749 0,463 0,817 0,986 paraphrase: 0,847 0,778 0,446 0,825 0,986 categorize: 0,857 0,765 0,501 0,829 0,988 categorize sentiment: 0,589 0,535 0,417 0,805 0,982 categorize topic: 0,740 0,521 0,396 0,770 0,982 categorize entailment…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy