Python版数据挖掘实验5报告：使用朴素贝叶斯进行社会媒体挖掘

一、实验名称：使用朴素贝叶斯进行社会媒体挖掘1、实验目的：使用朴素贝叶斯进行社会媒体挖掘2、实验内容：学习朴素贝叶斯算法原理，并使用朴素贝叶斯进行社会媒体挖掘3、实验环境（设备、软件、实验数据）：设备：笔记本电脑 软件：Pythonidle 实验数据：python_classes.data、python_tweets.data 4、实验步骤：安装相关Python库Json、nltk、Numpy、Sklearn、twitter；从社交网站下载数据；importtwitterconsumer_key="<YourConsumerKeyHere>"consumer_secret="<YourConsumerSecretHere>"access_token="<YourAccessTokenHere>"access_token_secret="<YourAccessTokenSecretHere>"authorization=twitter.OAuth(access_token,access_token_secret,consumer_key,consumer_secret)importosoutput_filename=os.path.join(os.path.expanduser("~"),"Data","twitter","python_tweets.json")importjsont=twitter.Twitter(auth=authorization)获取到Twitter消息，使用json库的dump函数将其转换为字符串形式后，写入到输出文件中；withopen(output_filename,'a')asoutput_file:search_results=t.search.tweets(q="python",count=100)['statuses']fortweetinsearch_results: if'text'intweet: output_file.write(json.dumps(tweet)) output_file.write("\n\n")加载库，提取消息；importos

importjson

fromsklearn.feature_extractionimportDictVectorizer

fromsklearn.naive_bayesimportBernoulliNB

importnumpyasnp

fromsklearn.baseimportTransformerMixin

fromnltkimportword_tokenize

fromsklearn.model_selectionimportcross_val_score

fromsklearn.pipelineimportPipeline#添加文件路径,路径最好不要出现中文input_filename=os.path.join("../","Data","twitter","python_tweets.json")

labels_filename=os.path.join("../","Data","twitter","python_classes.json")#加载消息。我们只对消息内容感兴趣，因此只提取和存储它们的text值，存在tewwts[]内tweets=[]

withopen(input_filename)asinf:

forlineininf:#strip()方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。

iflen(line.strip())==0:

continue

tweets.append(json.loads(line)['text'])#加载数据集：消息的类别（设置消息的类别为1或0）withopen(labels_filename)asinf:

labels=json.load(inf)构造一个用于抽取特征的类，返回结果为一个元素为字典的列表，第一个字典的各项为第一条消息中的所有词语；classNLTKBOW(TransformerMixin):

deffit(self,X,y=None):

returnself

deftransform(self,X):#word_tokenize对句子进行分词

return[{word:Trueforwordinword_tokenize(document)}fordocumentinX]抽取特征，将字典转换为矩阵，分类器安装顺序组装起来，创建流水线，将之前获取的消息导入流水线进行处理，得出结果；#流水线的每一步都用元组（‘名称’，步骤）来表示。现在来创建流水线。#具体使用流水线在第三章实验流水线。

pipeline=Pipeline([('bag-of-words',NLTKBOW()),('vectorizer',DictVectorizer()),('naive-bayes',BernoulliNB())])#通过交叉检验使用流水线，导入数据

scores=cross_val_score(pipeline,tweets,labels,scoring='f1',cv=3