酷讯校园招聘产品，还在完善中，如有任何想法请即刻回帖我和我联系！
如您觉得好用，请帮忙宣传(blog,bbs,webstie)。
http://offer.kooxoo.com

python写了一个分词程序
作者： onebird
发布时间： 2007-08-26 00:11
分类： 技术

主要为了写一些python小爬虫和数据分类过滤用。针对GBK编码文本的（实际代码是可以参数化支持utf8和GBK的）
原计划3个小时写完，实际花了6个小时。主要是对python一些语言细节还是不够熟悉。不知道ord这个函数以及对传引用的一些问题折腾了好一阵时间。
目前只是实现了 段分，句分，最长匹配分词。计划明天花2小时加上全角英文单词，国名，姓名的处理。

标签: none

添加新评论