基于bert的文本相似度 如何用python計算文本的相似度？
如何用python計算文本的相似度？第1步：將每個網頁文本分成單詞，形成一袋單詞。第三步：統計網頁（文檔）總數M。第三步：統計第一個網頁n中的字數，計算第一個網頁的第一個字在網頁n中出現的次數，然后計
如何用python計算文本的相似度？
第1步：將每個網頁文本分成單詞，形成一袋單詞。第三步：統計網頁（文檔）總數M。第三步：統計第一個網頁n中的字數，計算第一個網頁的第一個字在網頁n中出現的次數，然后計算出該字在所有文檔M中出現的次數，則該字的TF IDF為：n/n*1/（M/M）（還有其他規范化公式，這里是最基本、最直觀的公式）。第四步：重復第三步計算網頁中所有單詞的TF-IDF。第五步：重復第四步計算所有網頁中每個單詞的TF-IDF值。三。用戶查詢處理的第一步：用戶查詢的分詞。第二步是根據web數據庫（文檔）的數據計算用戶查詢中每個詞的TF-IDF值。4余弦相似度用于計算用戶查詢與每個網頁之間的夾角。角度越小，越相似。