LLM OS Models/LFM2.5 8B A1B Terminal ToolBench Full SFT 1Epoch 터미널 작업 자동화를 위한 Terminal SFT 모델입니다. 입력된 작업/이전 터미널 상태를 보고 다음에 실행할 명령을 JSON 형태로 생성하는 용도로 학습했습니다. 모델 요약 Base model: LiquidAI/LFM2.5 8B A1B Training setup: full SFT, 1 epoch , Terminal + ToolBench conversation data Model card snapshot: 2026 06 04 23:09:57 UTC Corrected TB2 lite score: 52.30 Rank at publication: 1 in the local Terminal README ranking Quickstart 설치와 로그인: 관련 코드: GitHub: https://github.com/LLM OS Models/Terminal vLLM 평가 실행: tb2 lite/scripts/replay eval.py chat template/fallback 생성: tb2 lite/scripts/prompt builder.py JSON/command 채점: tb2 lite/scripts/replay metrics.py vLLM 직접 실행 예시. 평가 코드와 동일하게 chat template을 우선 사용하고, template이 없으면 ChatML/Gemma fallback을 사용합니다. 권장 출력 형식: 평가와 동일한 replay 명령: 기본 권장 tensor parallel: 1 . OOM이면 tp 와 tensor parallel size 를 2/4/8로 올리세요. corrected TB2 lite 평가는 temperature=0.0 , top p=1.0 , max tokens=1024 로 고정했습니다. Gemma 4는 JSON 출력을 위해 enable thinking=False 를 사용하고, 26B/31B 계열은 평가 코드에서 empty thought channel 처리를 자동 적용합니다. 평가 상태 Corrected TB2 lite score: 52.30 Cmd F1: 0.5230 Precision: 0.5854 Recall: 0.5431 First command exact: 49.5% Valid JSON: 76.9% Sec/Step: 0.087 Evaluation split: correc…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy