WiNGPT2 WiNGPT 是一个基于GPT的医疗垂直领域大模型，旨在将专业的医学知识、医疗信息、数据融会贯通，为医疗行业提供智能化的医疗问答、诊断支持和医学知识等信息服务，提高诊疗效率和医疗服务质量。 更新日志 [2024/04/23] 更新 WiNGPT2 Llama 3 8B Base 和 WiNGPT2 Llama 3 8B Chat 模型（中文增强/多语言）与测评结果 [2024/04/01] 更新 WiNEval 测评结果 [2024/03/05] 开源7B/14B Chat 4bit模型权重: 🤗WiNGPT2 7B Chat 4bit和🤗WiNGPT2 14B Chat 4bit。 [2023/12/20] 新增用户微信群二维码，有效期到12月27日，扫码进群。 [2023/12/18] 发布卫宁健康医疗模型测评方案 WiNEval MCKQuiz的评测结果。 [2023/12/12] 开源 WiNGPT2 14B模型权重: 🤗WiNGPT2 14B Base 和 🤗WiNGPT2 14B Chat。 [2023/11/02] 34B模型平台测试 和 欢迎加入微信讨论群 [2023/10/13] 更新一个简单的Chatbot示例，可以进行简单的多轮对话。 [2023/09/26] 开源 WiNGPT2 与7B模型权重: 🤗WiNGPT2 7B Base 和 🤗WiNGPT2 7B Chat。 如何使用 推理 提示 WiNGPT Llama 3 8B Chat 使用了自定义的提示格式： 用户角色：System/User/Assistant chat template: 指令提示 示例： 多轮对话 示例： 翻译功能 示例： 模型卡 训练配置与参数 名称 训练策略 长度 精度 学习率 Weight decay Epochs GPUs WiNGPT2 Llama 3 8B Base 继续预训练 (20G) 8192 bf16 5e 5 0.05 2 A100 8 WiNGPT2 Llama 3 8B Chat 微调/对齐 (50万条) 8192 bf16 5e 6 0.01 4 A100 8 训练数据 预训练数据约20G，指令微调对齐数据约50万条，详细内容 。 中文医疗评测 WiNEval 更新时间：2024 04 23 Type MCKQuiz MSceQA WiNGPT Llama 3 8B Base Continued Pre training 66.3 / Meta Llama 3 8B Pre training 37 / WiNGPT Llama 3 8B Chat Finetuning/Alignment 65.2 79.8 Meta Llama 3 8B Instruct Finetuning/Alignment 49.…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy