马赛不雅视频种子
不斷超越
總版主
總版主
  • UID32
  • 粉絲0
  • 關注0
  • 發帖數3
閱讀:472回復:0

網站布局之TF-IDF算法

樓主#
更多 發布于:2018-08-15 16:28
網站布局之TF-IDF算法,說白了在我理解來,這個算法就是通過一個的數學計算,來確定每個詞在文章中的權重,從而得到一篇文章的關于詞的帶權重的向量,知道了這個以后就好辦了,之后什么文章關鍵字提取、概述、不同的文章之前的相似性比較都引刃而解了。
求一個詞的權重就用到TF-IDF算法,其實TF-IDF算法是分為TF(Term Frequency,縮寫為TF)與IDF(Inverse Document Frequency,縮寫為IDF)的計算。
說起來也簡單,TF就是這個詞在文章中的詞頻,出現的次數比上文章的總次數或者出現次數最高的詞的個數。而IDF則是表示TF-IDF算法分母上加一是為了防止分母為零。

圖片:334.png



這個數學的表達式也符合情理,如果關鍵字(除去“的”、“為了”之類的去除字)在越多的文檔中出現,它在本篇文章中的權重自然就低了,舉個簡單的例子:給你一個關鍵字計算機,你一點也不知道這貨表達的意思,因為(從這個算法角度講)它在太多的文章中出現,但是如果你的關鍵字為0day就不一樣了,包含它的文檔數遠遠小于包含關鍵字“計算機”的文檔數。由此,如果在同一篇文章里,如果“0day”與“計算機”的TF(詞頻)相同,IDF就可以保證“0day”的權重較高了。
基本的算法就是這樣了,其實很簡單,但是這個算法是基于這樣一個前提,關鍵詞越重要,出現的頻率越高。同時忽略了詞出現位置的影響,所以這個算法存在漏洞。

最新喜歡:

adminadmin
游客

返回頂部
马赛不雅视频种子 重庆时时彩v1.2.0版本 篮球 好运来腾讯分分彩app 百人游app 3肖6码中特 二十一点单机游戏 澳贝娱乐平台多久了 北京pk赛车20分钟一期 内蒙古时时十一选五开奖 pc蛋蛋幸运28 北京塞车pk拾开奖 后三独胆计划 电子游戏平台网站大全 BETVICTOR伟德下载 时时彩平投1:1盈利技巧 3d单选组六复式投注表价格