ruri-v3-310m-GGUF-Q4_K_M-imatrix

cl-nagoya/ruri-v3-310m を GGUF 形式に変換し、importance matrix (imatrix) を用いて Q4_K_M に量子化したモデルです。

このモデルは 埋め込みモデル であり、チャット用のモデルではありません。

ファイル

• ruri-v3-310m-Q4_K_M-imatrix.gguf: imatrix キャリブレーション付きで生成した Q4_K_M 量子化モデル。
• benchmarks/benchmark_summary.json: サイズ、速度、品質比較をまとめたサマリ。
• benchmarks/jmteb_jsts_q4_scores.json: この GGUF に対する JMTEB JSTS の生結果。

使い方

llama.cpp embedding

./llama-embedding \
  -m ruri-v3-310m-Q4_K_M-imatrix.gguf \
  --pooling mean \
  --attention non-causal \
  -p "Your text here"

llama.cpp server

./llama-server \
  -m ruri-v3-310m-Q4_K_M-imatrix.gguf \
  --embedding \
  --pooling mean \
  --port 8080 \
  --host 0.0.0.0

比較サマリ

量子化と評価は、Hugging Face の元重みから変換した F16 GGUF を基準に実施しました。

補足

• 変換には、ModernBERT アーキテクチャとこのモデルの SentencePiece tokenizer に対応させた patched llama.cpp を使っています。
• Q4_K_M 量子化は日本語テキストで作成した imatrix を用いて生成しています。
• 評価環境の llama-cpp-python は modern-bert を読めなかったため、JMTEB 評価は llama.cpp の embedding CLI backend で実施しました。

関連リポジトリ

• Q8_0 版: Targoyle/ruri-v3-310m-GGUF
• 元モデル: cl-nagoya/ruri-v3-310m

This is a GGUF release of cl-nagoya/ruri-v3-310m quantized to Q4_K_M with an importance matrix (imatrix).

This model is an embedding model, not a chat model.

Files

• ruri-v3-310m-Q4_K_M-imatrix.gguf: Q4_K_M quantization generated with imatrix calibration.
• benchmarks/benchmark_summary.json: Consolidated size, speed, and quality comparison summary.
• benchmarks/jmteb_jsts_q4_scores.json: Raw JMTEB JSTS result for this GGUF.

Usage

llama.cpp embedding

./llama-embedding \
  -m ruri-v3-310m-Q4_K_M-imatrix.gguf \
  --pooling mean \
  --attention non-causal \
  -p "Your text here"

llama.cpp server

./llama-server \
  -m ruri-v3-310m-Q4_K_M-imatrix.gguf \
  --embedding \
  --pooling mean \
  --port 8080 \
  --host 0.0.0.0

Comparison Summary

Quantization and evaluation were run against the original F16 GGUF converted from the Hugging Face weights.

Notes

• Conversion used a patched llama.cpp build to support the ModernBERT architecture with the SentencePiece tokenizer used by this model.
• The Q4_K_M quantization was produced with imatrix-based calibration on Japanese text.
• The installed llama-cpp-python version in the evaluation environment did not support modern-bert, so JMTEB evaluation was executed through the llama.cpp embedding CLI backend.

Related Repositories

• Q8_0 release: Targoyle/ruri-v3-310m-GGUF
• Original model: cl-nagoya/ruri-v3-310m