ROST ?CM6使用手冊??????????????????ROST ?內容挖掘 系統ROST ??Content ?Mining ?System ??User ?Manual ???Version

ROST ?CM6使用手冊?

???????????????

?

?ROST ?內容挖掘 系統

ROST ??

Content ?Mining ?System ??

User ?Manual ??

?

Version ?6.0?

2010.9.23??

武漢大學

www.fanpq.com

ROST 虛擬學習團隊

1

論文檢測 http://www.duoge007.com/

ROST ?CM6使用手冊?

目 錄

一、功能性分析……………………………………………………………………4????1）分詞…………………………………………………………………………4????2）字頻分析……………………………………………………………………4????3）英文詞頻分析………………………………………………………………4? 文件詞頻統計………………………………………………………………4? 剪切板詞頻統計?…………………………………………………………5? 查看統計表格?……………………………………………………………5? 查看大綱列表?……………………………………………………………5? 描紅超綱詞?………………………………………………………………5? 查看非詞表?………………………………………………………………6? 加密詞表?…………………………………………………………………6? 打開詞典目錄?……………………………………………………………6????4）漢語頻度分析………………………………………………………………6????5）社會網絡和語義網絡分析??………………………………………………6????6）情感分析??…………………………………………………………………8????7）流量分析??…………………………………………………………………9????8）相似分析……………………………………………………………………9????9）網絡環境分析………………………………………………………………10????10）?/IDF批量詞頻分析………………………………………………………10????11）聚類分析??…………………………………………………………………10????12）分類分析??…………………………………………………………………11?

二、文本操作………………………………………………………………………11????1）字段抽取??…………………………………………………………………11????2）一般性行處理……??………………………………………………………11????3）基于正則的特定信息抽取…………………………………………………12????4）基于字段特征的行處理……………………………………………………12????5）基于輔助詞群的行抽取及處理……………………………………………12????6）文本的替換和增補??………………………………………………………13?

三、?可視化?………………………………………………………………………14????1）標簽云………………………………………………………………………14?

四、工具……………………………………………………………………………14????1）剪貼板控制器………………………………………………………………14????2）域名排名查詢器……………………………………………………………15????3）批量文件格式轉換器………………………………………………………15????4）批量文件處理器……………………………………………………………16????5）瀏覽網頁文本實時抓取器…………………………………………………17????6）NetDraw ?……………………………………………………………………17????7）ROST ?WebSpider ?……………………………………………………………17????8）調試用???……………………………………………………………………18????9）程序目錄?……………………………………………………………………19?

?2

論文檢測 http://www.duoge007.com/

ROST ?CM6使用手冊?

???10）數據目錄……………………………………………………………………19????11）第三方工具…………………………………………………………………19????12）自定義文件…………………………………………………………………19??

五、聊天分析………………………………………………………………………19?

六、全網分析………………………………………………………………………20????1）全網數據中的摘要或標題數據中的詞語、機構的共現關系……………20????2）情感分析……………………………………………………………………20????3）域名的批量流量分析??……………………………………………………20????4）將網址列表載入到迅雷中進行下載………………………………………20?

七、網站分析………………………………………………………………………21????1）獲得網站數據………………………………………………………………21????2）分析…………………………………………………………………………22?

八、瀏覽分析………………………………………………………………………22?

九、微博分析………………………………………………………………………23????1）掃描數據……………………………………………………………………23????2）分析…………………………………………………………………………23?

十、期刊分析………………………………………………………………………23??

?

?

?

?

?

?

?

?

?

?

?

?

3

論文檢測 http://www.duoge007.com/

ROST ?CM6使用手冊?

?

?

一、功能性分析?

???（1）分詞?

?????點擊功能性分析下拉列表框中的分詞選項，打開分詞窗口，在待處理文本框中載入待處理文件，如“虛擬學習團隊2010‐8‐7.txt ”，則系統按照程序目錄下的User 目錄下的User.txt 文檔，自動在輸出文件框中生成“虛擬學習團隊2010‐8‐7_分詞后.txt ”文件，獲得以空格分離的分詞后文檔，如果原來文檔中有空格的位置保留空格。點擊確定按鈕，即可打開該文檔。?

????如果需要自己增加一些詞，則點擊工具下拉列表框中的自定義文件→分詞自定義詞表，系統將自動在記事本中打開user 目錄下的user.txt 文件，編輯后點擊保存存盤，再次重新啟動本軟件，方可生效。?

???（2）字頻分析?

點擊功能性分析下拉列表框中的字頻分析選項，打開字頻分析窗口，在待處理文件框中載入待處理文件，如“虛擬學習團隊2010‐8‐7.txt ”，則系統自動在輸出文件框中生成“虛擬學習團隊2010‐8‐7_字頻.txt ”文件，點擊確定按鈕，即可打開該文檔。?

（3）英文詞頻分析?

文件詞頻統計?

點擊功能性分析下拉列表框中的英文詞頻分析選項, ?打開ROST ?

4

論文檢測 http://www.duoge007.com/

ROST ?CM6使用手冊?

英文詞頻統計和超綱單詞分析窗口。點擊文件菜單下的打開菜單項或點擊工具欄上的打開按鈕，打開要統計的英文文檔，然后選擇統計菜單下的統計文件詞頻菜單項或工具欄上的統計按鈕，即可統計出文檔的所有單詞。點擊單選按鈕綱內，可統計該文檔的綱內詞；點擊單選按鈕超綱，可統計該文檔中的超綱詞。選擇復選框全選，可全選表格所有單詞；選擇復選框歸并單詞變形，可將變形單詞進行歸并。?

對統計出的單詞，在表格上點擊右鍵，彈出快捷菜單，可以將選擇的詞匯添加到常用詞語表，或者將選擇的詞匯從常用詞語表中刪除。?

要在文本框中高亮顯示某單詞，可以勾選該單詞的檢查框；如果取消勾選，則文本框中該單詞恢復普通顯示狀態。?

剪切板詞頻統計?

?如果要統計剪切板詞頻，則選擇統計菜單下的統計剪切板詞頻菜單項，則剪切板上的單詞會顯示在打開文件框中，再點擊工具欄上的統計按鈕即可。?

查看統計表格?

點擊查看菜單下的統計表格菜單項，即可查看空的統計表格。? 查看大綱列表?

點擊查看菜單下的大綱列表菜單項，打開大綱列表窗口，即可查看大綱列表。如果要查看某大綱，雙擊該行即可。在大綱列表窗口，還可以自定義某個詞匯表，方法是在大綱名稱文本框中輸入大綱名稱，然后在大綱文件文本框中載入大綱文件，再點擊添加按鈕即可。

5

論文檢測 http://www.duoge007.com/

ROST ?CM6使用手冊?

若要刪除某詞匯表，則選中該詞匯表后，點擊刪除按鈕即可。?

描紅超綱詞?

如果要查看所有勾選的超綱詞匯在文章中的位置，則首先點擊統計、然后選擇超綱，再勾選全選，然后點擊查看菜單中的描紅選定的超綱的詞匯即可。?

查看非詞表??

非詞表你不想統計的單詞或者字符的列表，該文件位于程序目錄下的dict 子目錄下的notwords.txt 。要查看非詞表，點擊工具菜單下的查看非詞表即可。如果要啟動非詞表，則工具菜單下的點擊啟動非詞表。?

加密詞表?

如果要對詞表加密，則點擊工具菜單下的加密詞表；如果要解密詞表，則則點擊工具菜單下的解密詞表即可。?

打開詞典目錄?

點擊工具菜單下的打開詞典目錄即可。?

（4）漢語頻度分析?

點擊功能性分析下拉列表框中的漢語詞頻分析選項，打開漢語詞頻統計窗口，在分詞后待統計詞頻文件文本框中載入分詞后的文件，如“虛擬學習團隊2010‐8‐7_分詞后.txt ”，則系統自動載入過濾詞表，并在輸出文件文本框中生成詞頻統計文件“虛擬學習團隊2010‐8‐7_

。在歸并詞群表文本框中載入歸并詞群表，還可以分詞后_詞頻.txt ”

對文檔中的詞進行歸并。在保留詞表文本框中載入保留詞表，則可

6

論文檢測 http://www.duoge007.com/

ROST ?CM6使用手冊?以將文檔中在保留詞表中的詞保留下來。?

（5）社會網絡和語義網絡分析?

點擊功能性分析下拉列表框中的社會網絡分析選項，打開ROST 語義網絡和社會網絡生成工具，在待處理文本框中載入待處理文件（待處理文件格式可以是一行一句的未分詞文件，比如聊天記錄，全網分析中的摘要文件等；也可以是一句若干詞的已分詞文件；還可以是多行有關聯的已分詞文件），然后點擊高頻詞按鈕，可以生成高頻詞表；點擊過濾無意義詞按鈕，可以生成過濾后的高頻詞和共現矩陣詞表；點擊提取行特征按鈕，可以生成行特征詞；點擊構建網絡按鈕可以生成語義網絡的.VNA 文件和.txt 文件，如果進一步點擊啟動

NetDraw 按鈕，則可以打開NetDraw 工具，查看圖形結果；點擊構建矩陣按鈕則可以生成共現矩陣文件。雙擊文件框可查看相應結果。?

如果想進行快速分析，則載入待處理文件后，點擊“快速分析”按鈕，即可一次生成上述文件。可以是聊天內容文件，文件格式是?

例如，以下是對“虛擬學習團隊摘要文件”分析的結果：?

?

?

?

?

?

?

?

7

論文檢測 http://www.duoge007.com/

ROST ?CM6使用手冊?

?

?

（6）情感分析?

點擊功能性分析下拉列表框中的情感分析選項，在待分析文件路徑文本框中載入待分析的文件，點擊分析，然后雙擊各文本框后的查看，即可查看情感分析詳細結果、情感分段統計結果、中性情緒結果文件和情感分布統計視圖結果。?

?

?

?

8

ROST ?CM6使用手冊?

（7）流量分析?

點擊功能性分析下拉列表框中的流量分析選項，打開Rost ?Alexa 網絡流量分析工具，在輸入網址文本框中輸入要進行流量分析的網址，點擊數據分析按鈕即可。?

?????還可以在該工具中進行批量分析，這時只需要點擊批量分析按鈕，導入需要進行批量分析的網頁鏈接表，即可得到批量分析結果。?

（8）TF/IDF批量詞頻分析

點擊功能性分析下拉列表框中的TF/IDF批量詞頻分析選項，打開TF/IDF批量詞頻分析窗口，點擊批量打開文件按鈕，選擇需要打開的文件夾，即可在工具欄的下方打開所選文件夾中所有的.txt文件。勾選文件前面的復選框,選中文件（可同時勾選多個文件），點擊計算批量文件IDF ，窗口的左下方即可出現所選文件的IDF 值。在已計算完IDF 值的文件中選擇一個文件，

9

論文檢測 http://www.duoge007.com/

ROST ?CM6使用手冊?

然后點擊計算當前所選文件TFIDF 值，則在窗口的右下方出現所選文件的TFIDF 值。

（9）相似分析

點擊功能性分析下拉列表框中的相似分析選項，打開文檔相關性監測工具，首先點擊打開按鈕，在待查文章選項卡下可以打開要檢測的文檔，點擊檢測按鈕，即進行文檔相關性檢測，并可在結果查看選項卡下查看檢測結果。點擊停止按鈕，即可停止檢測。點擊結果按鈕，可以查看分析統計數據。點擊目錄按鈕，可以打開相似度分析目錄。點擊退出按鈕，即可退出檢測系統。

（10）網站信息分析

點擊功能性分析下拉列表框中的網站信息分析選項，打開ROST 網絡環境分析窗口，點擊分析按鈕，即可完成網絡的環境分析。

（11）聚類分析?

點擊功能性分析下拉列表框中的聚類分析（測試模塊）選項，打開聚類分析窗口，在待處理文本框中載入待類聚文件，然后填上類別數量，點擊開始聚類即可對所選文件進行聚類分析。?

（12）分類分析?

????點擊功能性分析下拉列表框中的分類分析（測試模塊）選項，打開短文本分類工具窗口，在待處理文本框中載入待分類文件，然后填上按第幾字段分類，點擊分析即可對所選文件進行分類分析；雙擊輸出文件框中的文件目錄即可打開分類后文件；雙擊特征詞表中的文件目錄即可看到特征詞表。?

10

論文檢測 http://www.duoge007.com/