一个中文文本自动分类数学模型

1、一個中文文本自動分類數學模型w文本自動分類w數學模型n向量空間的數學表達n數學模型n目標空間的相關質量w實驗結果文本自動分類Automatic Text Categorization 何謂文本自動分類：n用電腦對文本集(或其他實體或物件)按照一定的分類體系或標準進行自動分類標記n基於分類體系的自動分類n基於資訊過濾和用戶興趣(Profiles)的自動分類文本自動分類基於分類體系的自動分類n所謂分類體系就是針對詞的統計來分類針對詞的統計來分類n關鍵字分類，現在的全文檢索n詞的正確切分不易分辨（白癡造句法）基於資訊過濾和用戶興趣的自動分類n學習人類對文本分類的知識和策略 n從人對文本和類別之間相關

2、性判斷來學習文件用字和標記類別之間的關聯 數學模型-向量空間的數學表達用兩個向量空間來定義和解決以來源辭彙到目標辭彙的轉換 來源向量空間：空間維數(向量維數)爲訓練集合中所有出現的字的個數或經過篩選後的漢字個數，向量的特徵用字權值表示(加權方式稍後定義)。目標向量空間：以類別個數作爲目標向量空間的維數，用類別標識作爲向量的特徵。數學模型-向量空間的數學表達方式1：二進位加權(Binary Weight) 方式2：文本頻率權值(The Within Document Word Frequency,TF) aij=Tfij=在第i個文本中第j個字的出現頻數數學模型-向量空間的數學表達方式3：逆文件

3、頻率權值(Inverse Document Frequency,IDF) aij=IDFj=log(文本集中的文本數/出現第j個字的文本數)+1方式4：組合加權方式：方式2和方式3的組合(TFIDF)即： aij=TFijIDFj 數學模型-向量空間的數學表達範例訓練集中有4篇文本共有6個字出現（市，和，計，算，法，教）共分教育、經貿、法律、電腦4個類別。數學模型-向量空間的數學表達文本1： 市和計算 類別集合1=c3,c4文本2： 市和計算法 類別集合2=c2,c3,c4文本3： 教和計算法 類別集合3=c1,c4文本4： 教和市 類別集合4=c1,c3數學模型-向量空間的數學表達漢字權值（

4、）類別教5.0C1：教育和1.0C2：法律計8.1C3：經貿算4.9C4：電腦市4.2法3.1數學模型-向量空間的數學表達矩陣A採用TFIDF加權方式，矩陣B採用二進位加權方式矩陣矩陣數學模型-LLSF數學模型定義1：線性回歸：EY=0+1x1+pxp+e稱爲線性回歸。其中Y爲回應變數，Xi,i=1,2,p爲回歸因數，0,p爲待估計的未知參數，e爲隨機誤差。數學模型-LLSF數學模型定義2LLSF問題：對於線性模型B=FA+e，求得LS估計F，使得殘差平方和最小：用圖1給出的矩陣A和B計算出LLSF解Flxn如下它是字-類別關聯矩陣，它的列是來源空間的漢字，行是目標空間的類別數學模型-目標空間的相關性質量定義3類別向量c和文本向量x的相關值是c和y的余弦值。對任意一篇文本，相關函數值給出了此文本同每一類別之間的相關性度量，相關值在-1到1之間取值，相關值最高的類相關值最高的類別被認爲是文本可能歸屬的類別別被認爲是文本可能歸屬的類別。實驗結果通過從1990年人民日報和1994年電腦世界報選出的電腦、經貿、政治、教育、法