结巴分词(java版)

结巴分词（java版）

引⽤

<groupId>com.huaban</groupId>

<artifactId>jieba-analysis</artifactId>

</dependency>

如何使⽤

@Test

public void testDemo() {

JiebaSegmenter segmenter = new JiebaSegmenter();

String[] sentences =

new String[] {"这是⼀个伸⼿不见五指的⿊夜。我叫孙悟空，我爱北京，我爱Python和C++。", "我不喜欢⽇本和服。", "雷猴回归⼈间。", "⼯信处⼥⼲事每⽉经过下属科室都要亲⼝交代24⼝交换机等技术性器件的安装⼯作", "结果婚的和尚未结过婚的"};

for (String sentence : sentences) {

System.out.println(segmenter.process(sentence, SegMode.INDEX).toString());

}

性能评估

测试机配置

Processor 2 Intel(R) Pentium(R) CPU G620 @ 2.60GHz

Memory：8GB

分词测试时机器开了许多应⽤(eclipse、emacs、)，可能

会影响到测试速度

测试结果(单线程，对测试⽂本逐⾏分词，并循环调⽤上万次)

循环调⽤⼀万次

第⼀次测试结果：

time elapsed:12373, rate:2486.986533kb/s, words:917319.94/s

第⼆次测试结果：

time elapsed:12284, rate:2505.005241kb/s, words:923966.10/s

第三次测试结果：

time elapsed:12336, rate:2494.445880kb/s, words:920071.30/s

循环调⽤2万次

分词技术第⼀次测试结果：

time elapsed:22237, rate:2767.593144kb/s, words:1020821.12/s

第⼆次测试结果：

time elapsed:22435, rate:2743.167762kb/s, words:1011811.87/s

第三次测试结果：

time elapsed:22102, rate:2784.497726kb/s, words:1027056.34/s

统计结果：词典加载时间1.8s左右，分词效率每秒2Mb多，近100万词。

2 Processor Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz

12G 测试效果

time elapsed:19597, rate:3140.428063kb/s, words:1158340.52/s

time elapsed:20122, rate:3058.491639kb/s, words:1128118.44/s

本文发布于:2024-09-22 15:42:35，感谢您对本站的认可！

标签：测试结果分词交换机

留言与评论（共有 0 条评论）