基于bert的文本相似度 如何用python計算文本的相似度?
如何用python計算文本的相似度?第1步:將每個網頁文本分成單詞,形成一袋單詞。第三步:統計網頁(文檔)總數M。第三步:統計第一個網頁n中的字數,計算第一個網頁的第一個字在網頁n中出現的次數,然后計
如何用python計算文本的相似度?
第1步:將每個網頁文本分成單詞,形成一袋單詞。第三步:統計網頁(文檔)總數M。第三步:統計第一個網頁n中的字數,計算第一個網頁的第一個字在網頁n中出現的次數,然后計算出該字在所有文檔M中出現的次數,則該字的TF IDF為:n/n*1/(M/M)(還有其他規范化公式,這里是最基本、最直觀的公式)。第四步:重復第三步計算網頁中所有單詞的TF-IDF。第五步:重復第四步計算所有網頁中每個單詞的TF-IDF值。三。用戶查詢處理的第一步:用戶查詢的分詞。第二步是根據web數據庫(文檔)的數據計算用戶查詢中每個詞的TF-IDF值。4余弦相似度用于計算用戶查詢與每個網頁之間的夾角。角度越小,越相似。