分词HanLP2.x介绍

Posted on Views:

HanLP 是一个面向生产环境的自然语言处理工具包，覆盖中文及多语种场景，提供了从基础词法分析到高级语义分析的一整套能力。官方将其定位为“面向生产环境的前沿多语种自然语言处理技术”，并同时**提供 RESTful API 与本地 native API **两种接入方式。

HanLP 1.x vs 2.x

HanLP 官方目前明确区分为 1.x 与 2.x 两条线：

  • HanLP 2.x：偏前沿、多语种、多任务、深度学习路线。
  • HanLP 1.x：偏经典、稳定、高效，继续维护但不再增加新
版本 特点 适用场景
HanLP 2.x RESTful 安装最快、依赖最轻 快速验证、轻量接入、无 GPU 场景
HanLP 2.x 本地版 功能强、可离线、本地推理 专业 NLP 工程、本地批处理、私有化部署
HanLP 1.x / pyhanlp 经典稳定，传统中文 NLP 工具链成熟 老项目维护、传统分词/词法任务、Java 生态兼容

HanLP 2.x 安装

1.RESTful版安装

安装方式：

1
pip install hanlp-restful

示例：

1
2
3
4
from hanlp_restful import HanLPClient

HanLP = HanLPClient('https://www.hanlp.com/api', auth=None, language='zh')
print(HanLP('HanLP 是一个优秀的 NLP 工具包'))

该方式的优点是：

  • 安装轻
  • 上手快
  • 不需要本地模型
  • 不依赖本地 GPU/深度学习环境

2.本地安装

1
2
3
4
5
# 精简版安装
pip install hanlp

# 完整版安装
pip install hanlp[full]

官方说明：

  • 默认版包含常用依赖，如 PyTorch
  • full 版包含 TensorFlow、fastText 等更多重量级依赖
  • 不建议自行随意升降第三方依赖版本，否则可能引发兼容性问题。

模型缓存目录：

  • ~/.hanlp
  • ~/.cache/huggingface

适用于内网隔离、生产环境离线部署

3.HanLP 2.x RESTful

1
2
3
4
python3 -m venv venv
source venv/bin/activate
pip install -U pip
pip install hanlp-restful

4.HanLP 2.x 本地精简版

1
2
3
4
python3.9 -m venv venv
source venv/bin/activate
pip install -U pip
pip install hanlp

5.HanLP 2.x 本地完整版

1
2
3
4
python3.9 -m venv venv
source venv/bin/activate
pip install -U pip
pip install "hanlp[full]"

6.HanLP 1.x Python版

1
2
3
4
5
conda create -n pyhanlp python=3.8 -y
conda activate pyhanlp
conda install -c conda-forge openjdk -y
pip install pyhanlp
hanlp

其中 2.x 本地版我建议优先按官方要求使用 Python 3.6~3.9 范围；1.x 的 pyhanlp 官方页面显示兼容 Python>=3.6，但在工程落地上仍建议优先用较成熟的 3.8 环境以减少依赖漂移。