Python無監督抽詞
來源:SEO優化 2012-10-13
如何快速正確分詞,對于SEO來說,是提取tags聚合,信息關聯的好幫手。
目前很多分詞工具都是基于一元的分詞法,需要詞庫來輔助。
通過對Google黑板報第一章的學習,如何利用統計模型進行分詞。
本方法考慮了3個維度:
凝聚程度:兩個字連續出現的概率并不是各自獨立的程度。例如“上”出現的概率是1×10^-5,”床”出現的概率是1×10^-10,如果這兩個字的凝聚程度低,則”上床”出現的概率應該和1×10^-15接近,但是事實上”上床”出現的概率在1×10^-11次方,遠高于各自獨立概率之積。所以我們可以認為“上床”是一個詞。
左鄰字聚合熵:分出的詞左邊一個字的信息量,比如”巴掌”,基本只能用于”打巴掌”,“一巴掌”,“拍巴掌”,反之”過去”這個詞,前面可以用“走過去”,“跑過去”,“爬過去”,“打過去”,“混過去”,“睡過去”,“死過去”,“飛過去”等等,信息熵就非常高。
右鄰字聚合熵:分出的詞右邊一個詞的信息量,同上。
下面是一個利用Python實現的demo(轉自:/?p=682
收藏本文
文章編輯: 365webcall在線客服系統(www.365webcall.com)
我的評論
| 登錄賬號： | 密碼： | 快速注冊 | 找回密碼 |  |
