hotchpotch/japanese reranker xsmall v2 とても小さく速い日本語リランカーモデルシリーズ(v2)です。 モデル名 レイヤー数 隠れ層サイズ スコア(avg) 速度(GPU) hotchpotch/japanese reranker tiny v2 3 256 0.8138 2.1s hotchpotch/japanese reranker xsmall v2 10 256 0.8699 6.5s hotchpotch/japanese reranker small v2 13 384 0.8856 15.2s hotchpotch/japanese reranker base v2 19 512 0.8930 32.5s hotchpotch/japanese reranker cross encoder xsmall v1 6 384 0.8131 20.5s hotchpotch/japanese reranker cross encoder small v1 12 384 0.8254 40.3s hotchpotch/japanese reranker cross encoder base v1 12 768 0.8484 96.8s hotchpotch/japanese reranker cross encoder large v1 24 1024 0.8661 312.2s hotchpotch/japanese bge reranker v2 m3 v1 24 1024 0.8584 310.6s リランカーについてや、技術レポート・評価等は以下を参考ください。 とても小さく速く実用的な日本語リランカー japanese reranker tiny,xsmall v2 を公開 日本語最高性能のRerankerをリリース / そもそも Reranker とは? 日本語 Reranker 作成のテクニカルレポート 使い方 動作には transformers ライブラリの v4.48 以上が必要です。 GPU が Flash Attention 2 をサポートしている場合、flash attn ライブラリを入れることで、高速な推論が可能です。 SentenceTransformers SentenceTransformers + onnx の利用 CPU 環境や arm 環境などで、より高速に動かしたい場合は onnx や量子化モデルを利用できます。 HuggingFace transformers 小型リランカーの特徴 japanese reranker tiny v2、japanese reranker xsmall v2、japanese reranker small v2、japanese reranke…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy