網站中的文本相似度也異常重要。
分享
評論
贊0
網站中的文本相似度也異常重要。
在今日頭條中，用戶反饋了大量的問題在這中間提到最多的問題就是網站中為什么總推薦一些重要的問題？對于這種情況來說，不同的人重復的內容意義不同。舉個例子來說，有人在看一些將娛樂八卦的文章。但這些文章確是昨天已經看到的類似內容，那么今天再看，它就是重復的了。對于如何解決這一內容，我們就需要能夠判斷相似的文章，看看他們的主題、主體等內容，然后根據這些內容做一些線上策略。
同樣的文章中還有一些時空特征，這些特征能夠幫助我們分析內容發生的地點以及它的時效。比如在傷害現行的事情推給廣州的用戶就沒有意義。在文本的最后我們還要考慮與質量相關的特征。來判斷文章的內容是低俗還是軟文亦或是雞湯。
另外我們要知道語義標簽的特征以及它能夠使用的場景。要知道在他們之間存在著不同的層級以及不同的要求。
而作為分類的目標他就是能夠覆蓋全面，希望網站中的每一篇文章每一個視頻都能夠分類，它的實體體系要求更加準確，要知道相同的名字或相同的內容指定的人或物也不盡相同，覆蓋的范圍也不全面，而在概念體系中，它主要解決一些較為精確，但又有些抽象的語義。這些就是網站最初的分類。
目前，隱式語義特征已經可以很好的幫助推薦，而語義標簽需要持續標注，新名詞新概念不斷出現，標注也要不斷迭代。其做好的難度和資源投入要遠大于隱式語義特征，那為什么還需要語義標簽?有一些產品上的需要，比如頻道需要有明確定義的分類內容和容易理解的文本標簽體系。語義標簽的效果是檢查一個公司NLP技術水平的試金石。
網站中的
今日頭條推薦系統的線上分類采用典型的層次化文本分類算法。最上面Root，下面第一層的分類是像科技、體育、財經、娛樂，體育這樣的大類，再下面細分足球、籃球、乒乓球、網球、田徑、游泳...，足球再細分國際足球、中國足球，中國足球又細分中甲、中超、國家隊...，相比單獨的分類器，利用層次化文本分類算法能更好地解決數據傾斜的問題。有一些例外是，如果要提高召回，可以看到我們連接了一些飛線。這套架構通用，但根據不同的問題難度，每個元分類器可以異構，像有些分類SVM效果很好，有些要結合CNN，有些要結合RNN再處理一下。
上圖是一個實體詞識別算法的case。基于分詞結果和詞性標注選取候選，期間可能需要根據知識庫做一些拼接，有些實體是幾個詞的組合，要確定哪幾個詞結合在一起能映射實體的描述。如果結果映射多個實體還要通過詞向量、topic分布甚至詞頻本身等去歧，最后計算一個相關性模型。
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論