Language version Python Rust LTP 4 LTP（Language Technology Platform） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。 引用 如果您在工作中使用了 LTP，您可以引用这篇论文 参考书： 由哈工大社会计算与信息检索研究中心（HIT SCIR）的多位学者共同编著的《自然语言处理：基于预训练模型的方法 》（作者：车万翔、郭江、崔一鸣；主审：刘挺）一书现已正式出版，该书重点介绍了新的基于预训练模型的自然语言处理技术，包括基础知识、预训练词向量和预训练模型三大部分，可供广大LTP用户学习参考。 更新说明 4.2.0 \[结构性变化\] 将 LTP 拆分成 2 个部分，维护和训练更方便，结构更清晰 \[Legacy 模型\] 针对广大用户对于 推理速度 的需求，使用 Rust 重写了基于感知机的算法，准确率与 LTP3 版本相当，速度则是 LTP v3 的 3.55 倍，开启多线程更可获得 17.17 倍的速度提升，但目前仅支持分词、词性、命名实体三大任务 \[深度学习模型\] 即基于 PyTorch 实现的深度学习模型，支持全部的6大任务（分词/词性/命名实体/语义角色/依存句法/语义依存） \[其他改进\] 改进了模型训练方法 \[共同\] 提供了训练脚本和训练样例，使得用户能够更方便地使用私有的数据，自行训练个性化的模型 \[深度学习模型\] 采用 hydra 对训练过程进行配置，方便广大用户修改模型训练参数以及对 LTP 进行扩展（比如使用其他包中的 Module） \[其他变化\] 分词、依存句法分析 (Eisner) 和 语义依存分析 (Eisner) 任务的解码算法使用 Rust 实现，速度更快 \[新特性\] 模型上传至 Huggingface Hub，支持自动下载，下载速度更快，并且支持用户自行上传自己训练的模型供LTP进行推理使用 \[破坏性变更\] 改用 Pipeline API 进行推理，方便后续进行更深入的性能优化（如SDP和SDPG很大一部分是重叠的，重用可以加快推理速度），使用说明参见Github快速使用部分 4.1.0 提供了自定义分词等功能 修复了一些bug 4.0.0 基于Pytorch 开发，原生 Python 接口 可根据需要自由选择不同速度和指标的模型 分词、词性、命名实体、依存句法、语义角色、语义依存6大任务 快速使用 Python 注： 如果遇到任何错误，请尝试使用上述命令重新安装 ltp，如果依然报错，请在 Github issues 中反馈。 详细说明 Rust 模型性能以及下载地址 深度学习模型 分词 词性 命名实体 语义角色 依存句法 语义依存 速度(句/S) : : : : : : : : :…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy