数据分析与可视化 课件Chapter8 高级可视化

数据分析与可视化第八章高级可视化8.1文本数据可视化8.2空间数据可视化8.3计算机模拟8.4绘制交互图第八章高级可视化2《数据分析与可视化》第八章高级可视化8.1.1利用TextBlob构造朴素贝叶斯分类器8.1.2利用词云了解电影影评8.1文本数据可视化3《数据分析与可视化》第八章高级可视化8.1.1利用TextBlob构造朴素贝叶斯分类器TextBlob：含用于文本处理的工具，并带有用于自然语言处理（NaturalLanguageProcessing，NLP）任务（例如分类、名词短语提取、词性标记和情感分析）的API可以帮助构造朴素贝叶斯分类器8.1文本数据可视化4《数据分析与可视化》第八章高级可视化$python-mtextblob.download_corpora[nltk_data]Downloadingpackagebrownto[nltk_data]/Users/administrator/nltk_data...[nltk_data]Unzippingcorpora/brown.zip.[nltk_data]Downloadingpackagepunktto[nltk_data]/Users/administrator/nltk_data...[nltk_data]Unzippingtokenizers/punkt.zip.[nltk_data]Downloadingpackagewordnetto[nltk_data]/Users/administrator/nltk_data...[nltk_data]Unzippingcorpora/wordnet.zip.[nltk_data]Downloadingpackageconll2000to[nltk_data]/Users/administrator/nltk_data...[nltk_data]Unzippingcorpora/conll2000.zip.[nltk_data]Downloadingpackagemaxent_treebank_pos_taggerto[nltk_data]/Users/administrator/nltk_data...[nltk_data]Unzippingtaggers/maxent_treebank_pos_tagger.zip.[nltk_data]Downloadingpackagemovie_reviewsto[nltk_data]/Users/administrator/nltk_data...[nltk_data]Unzippingcorpora/movie_reviews.zip.Finished.8.1文本数据可视化5《数据分析与可视化》第八章高级可视化下载语料库TextBlob分类器（1）基本分类器（BaseClassifier）（2）决策树分类器（DecisionTreeClassifier）（3）最大熵分类器（MaxEntClassifier）（4）NLTK分类器（NLTKClassifier）（5）朴素贝叶斯分类器（NaiveBayesClassifier）（6）正向朴素贝叶斯分类器（PositiveNaiveBayesClassifier）8.1文本数据可视化6《数据分析与可视化》第八章高级可视化fromtextblob.classifiersimportNaiveBayesClassifierfromtextblob.blobimportTextBlobfromtextblob.classifiersimportNaiveBayesClassifierfromtextblob.blobimportTextBlobtrain=[('Ilikethisnewtvshow.','pos'),]#训练集中情感类似的句子test=[('Idonotenjoymyjob','neg'),]#测试集中情感类似的句子cl=NaiveBayesClassifier(train)cl.classify("Thenewmoviewasamazing.")#showsifposornegcl.update(test)#分类blob=TextBlob("Thefoodwasgood.Buttheservicewashorrible.""Myfatherwasnotpleased.",classifier=cl)8.1文本数据可视化7《数据分析与可视化》第八章高级可视化例：情感分析（朴素贝叶斯分类器+训练分类系统）print(blob)print(blob.classify())forsentenceinblob.sentences:print(sentence)print(sentence.classify())8.1文本数据可视化8《数据分析与可视化》第八章高级可视化程序运行显示结果如下：posnegThefoodwasgood.posButtheservicewashorrible.negMyfatherwasnotpleased.pos[{"text":"missionimpossiblethreeisawesomebtw","label":"pos"},{"text":"brokebackmountainwasbeautiful","label":"pos"},{"text":"davincicodeisawesomesofar","label":"pos"},{"text":"10thingsihateaboutyou+aknight'stale*brokebackmountain","label":"neg"},{"text":"missionimpossible3isamazing","label":"pos"},{"text":"harrypotter=gorgeous","label":"pos"},{"text":"ilovebrokebackmountaintoo:]","label":"pos"},]8.1文本数据可视化9《数据分析与可视化》第八章高级可视化从文本格式或JSON格式的文件中读取训练数据fromtextblob.classifiersimportNaiveBayesClassifierfromtextblob.blobimportTextBlobfromnltk.corpusimportstopwordsstop=stopwords.words('english')pos_dict={}neg_dict={}withopen('/Users/administrator/json_train.json','r')asfp:cl=NaiveBayesClassifier(fp,format="json")print"DoneTraining"rp=open('/Users/administrator/test_data.txt','r')res_writer=open('/Users/administrator/results.txt','w')8.1文本数据可视化10《数据分析与可视化》第八章高级可视化从文本格式或JSON格式的文件中读取训练数据forlineinrp:linelen=len(line)line=line[0:linelen-1]sentvalue=cl.classify(line)blob=TextBlob(line)sentence=blob.sentences[0]forword,posinsentence.tags:if(wordnotinstop)and(len(word)>3andsentvalue=='pos'): ifpos=='NN'orpos=='V': pos_dict[word.lower()]=word.lower() if(wordnotinstop)and(len(word)>3andsentvalue=='neg'): ifpos=='NN'orpos=='V': neg_dict[word.lower()]=word.lower()res_writer.write(line+"=>sentiment"+sentvalue+"\n")#print(cl.classify(line))print"Lengthsofpositiveandnegativesentiments",len(pos_dict),len(neg_dict)Lengthsofpositiveandnegativesentiments2031288.1文本数据可视化11《数据分析与可视化》第八章高级可视化从文本格式或JSON格式的文件中读取训练数据test=[("missionimpossiblethreeisawesomebtw",'pos'),("brokebackmountainwasbeautiful",'pos'),("thatandthedavincicodeisawesomesofar",'pos'),("10thingsihateaboutyou=",'neg'),("brokebackmountainisaspectacularlybeautifulmovie",'pos'),("missionimpossible3isamazing",'pos'),("theactorwhoplaysharrypotterissobad",'neg'),("harrypotter=gorgeous",'pos'),('Thebeerwasgood.','pos'),('Idonotenjoymyjob','neg'),("Iain'tfeelingverygoodtoday.",'pos'),("Ifeelamazing!",'pos'),('Garyisafriendofmine.','pos'),("Ican'tbelieveI'mdoingthis.",'pos'),("iwenttoseebrokebackmountain,whichisbeautiful(",'pos'),("andilovebrokebackmountaintoo:]",'pos')]print("Accuracy:{0}".format(cl.accuracy(test)))8.1文本数据可视化12《数据分析与可视化》第八章高级可视化添加更多的训练数据，评估分类器的准确性：fromnltk.corpusimportmovie_reviewsreviews=[(list(movie_reviews.words(fileid)),category)forcategoryinmovie_reviews.categories()forfileidinmovie_reviews.fileids(category)]new_train,new_test=reviews[0:100],reviews[101:200]cl.update(new_train)accuracy=cl.accuracy(test+new_test)print("Accuracy:{0}".format(accuracy))#显示4个最有信息量的特征cl.show_informative_features(4)8.1文本数据可视化13《数据分析与可视化》第八章高级可视化添加更多的训练数据，评估分类器的准确性：输出如下：8.1文本数据可视化14《数据分析与可视化》第八章高级可视化绘制样本大小与准确率的关系图8.1.2利用词云了解电影影评词云（WordCloud）

：突出地展示在任何给定文本中出现次数更多的词，也被称为标签云或加权词基于其出现次数，单词的重要性在视觉上映射到其外观的大小8.1文本数据可视化15《数据分析与可视化》第八章高级可视化importrequestsfrombs4importBeautifulSoupimporttimeimportrandomurls=['/subject/35376457/comments?start={}&limit=20&status=P&sort=new_score'.format(str(i))foriinrange(0,200,20)]#通过观察网页翻页的规律，使用for循环得到10个链接，保存到urls列表中print(urls)dic_h={"User-Agent":"Mozilla/5.0(Macintosh;IntelMacOSX10_15_7)AppleWebKit/537.36(KHTML,likeGecko)Chrome/87.0.4280.88Safari/537.36"}comments_list=[]#初始化用于保存短评的列表8.1文本数据可视化16《数据分析与可视化》第八章高级可视化例：电影《爱情神话》影评词云（删除不需要的停用词）forurlinurls:#使用for循环分别获取每个页面的数据，保存到comments_list列表

r=requests.get(url=url,headers=dic_h).textsoup=BeautifulSoup(r,'lxml')ul=soup.find('div',id="comments")lis=ul.find_all('p')list2=[]forliinlis:list2.append(li.find('span').string)#print(list2)comments_list.extend(list2)time.sleep(random.randint(0,3))#暂停0-3秒8.1文本数据可视化17《数据分析与可视化》第八章高级可视化例：电影《爱情神话》影评词云（需删除不需要的停用词）withopen('comments.txt','w',encoding='utf-8')asf:#使用withopen()新建对象f#将列表中的数据循环写入文本文件

foriincomments_list:f.write(i+"\n")#写入数据接下来，利用jieba库对中文进行分词等操作。importjiebaimportwordcloud#读取文本withopen("comments.txt",encoding="utf-8")asf:s=f.read()print(s)ls=jieba.lcut(s)#生成分词列表text=''.join(ls)#连接成字符串8.1文本数据可视化18《数据分析与可视化》第八章高级可视化例：电影《爱情神话》影评词云（需删除不需要的停用词）stopwords=["的","是","了"]#去掉不需要显示的词wc=wordcloud.WordCloud(font_path="msyh.ttc",width=1000,height=700,background_color='white',max_words=100,stopwords=s)#msyh.ttc电脑本地字体wc.generate(text)#加载词云文本wc.to_file("wordcloud.png")#保存词云图片8.1文本数据可视化19《数据分析与可视化》第八章高级可视化例：电影《爱情神话》影评词云（需删除不需要的停用词）8.1文本数据可视化20《数据分析与可视化》第八章高级可视化词云分析结果词云分析Geoplotlib：地理空间数据可视化常用的Python程序包，其中包含大量的地理空间数据常见的可视化工具：dot（点），hist（二维柱状图）、voronoi（维诺图）和delaunay（三角剖分）等8.2空间数据可视化21《数据分析与可视化》第八章高级可视化8.2空间数据可视化22《数据分析与可视化》第八章高级可视化例：以世界地图数据绘制人口情况importpandasaspdimportgeoplotlibasgplfromgeoplotlib.utilsimportDataAccessObjectimportospd_dataset=pd.read_csv('poaching_points_cleaned.csv')gpl.dot(dataset)gpl.hist(dataset,binsize=20)gpl.show()dataset=DataAccessObject(pd_dataset)print(pd_dataset.head())gpl.dot(dataset)gpl.show()#如果没有前面那些操作，则gpl.show()结果为一张世界地图8.2空间数据可视化23《数据分析与可视化》第八章高级可视化例：以世界地图数据绘制人口情况importmatplotlib.pyplotaspltimportpandasaspdimportnumpyasnp'''读取人口信息'''dataset=pd.read_csv(r'world_cities_pop.csv',dtype={'Region':np.str})print(dataset.dtypes)print(dataset.head())（已核对：删除外链）'''输出人口的基本信息'''print('lenofdata:',len(dataset))#print('lenofCity:',len(dataset.groupby(['City'])))#lenofCity值比较大，计算时间比较长print('lenofCountry:',len(dataset.groupby(['Country'])))8.2空间数据可视化24《数据分析与可视化》第八章高级可视化例：以世界地图数据绘制人口情况'''输出每个国家的平均城市数量'''CountryInfo=dataset.groupby(['Country'])print(CountryInfo.size().head(5))print(CountryInfo.size().agg('mean'))print(CountryInfo.size().mean())dataset['lat']=dataset['Latitude']dataset['lon']=dataset['Longitude']gpl.dot(dataset)gpl.show()8.2空间数据可视化25《数据分析与可视化》第八章高级可视化例：以世界地图数据绘制人口情况#有效信息，统计到人口信息的城市/国家才参与后续计算dataset_with_pop=dataset[(dataset['Population']>0)]print('Originaldata:',len(dataset))print('Datawithusefulinformation',len(dataset_with_pop))dataset_100k=dataset_with_pop[(dataset_with_pop['Population']>=100_000)]#注意：数字是这种表达方式print('ThenumberofCitieswithover100,000population:',len(dataset_100k))#人口超过10万的城市个数gpl.dot(dataset_100k)gpl.show()gpl.voronoi(dataset_100k,cmap='hot_r',max_area=1e3,alpha=125)gpl.show()8.2空间数据可视化26《数据分析与可视化》第八章高级可视化部分生成结果

世界上人口数大于10万的城市8.3计算机模拟27《数据分析与可视化》第八章高级可视化8.3.1Python随机相关的程序包8.3.2SciPy中的随机函数8.3.3模拟示例8.3.4信号处理8.3.5动画8.3计算机模拟28《数据分析与可视化》第八章高级可视化计算机模拟（Simulation）：试图模拟抽象模型，有助于创建复杂系统，理解和评估隐藏或未知场景模拟的类型：（1）离散模型：在这种情况下，系统的更改仅在特定时间发生。（2）连续模型：在此模型中，系统状态在一段时间内连续变化。（3）混合模型：同时包含离散元素和连续元素。8.3计算机模拟29《数据分析与可视化》第八章高级可视化8.3.1

Python随机相关的程序包random包：（1）生成0.0～1.0或特定开始值和结束值之间的随机实数；（2）生成特定数字范围之间的随机整数；（3）从数字或字母列表中获取随机值。8.3计算机模拟30《数据分析与可视化》第八章高级可视化importrandomprintrandom.random()#生成0-1的随机数printrandom.uniform(2.54,12.2)#生成2.54-12.2的随机数printrandom.randint(5,10)#生成5-10的随机整数（已核对）printrandom.randrange(25)#生成递增基数集合0-25的随机数（已核对）#生成5～500的随机数，步长为5printrandom.randrange(5,500,5)#从列表中抽取3个随机数printrandom.sample([13,15,29,31,43,46,66,89,90,94],3)#从列表中随机抽取random.choice([1,2,3,5,9])使用random生成随机数8.3计算机模拟31《数据分析与可视化》第八章高级可视化8.3.2

SciPy中的随机函数Numpy包：提供了操作大型数字数据数组和矩阵的基本例程Spicy包：通过算法和数学技术扩展了NumPy所含的内容NumPy有一个内置的伪随机数生成器，使用相同的种子数，可以生成相同的随机数集合8.3计算机模拟32《数据分析与可视化》第八章高级可视化importnumpyasnpnp.random.seed(65536)使用相同的种子数，生成相同的随机数集合不指定种子值可以生成不同的随机序列（基于时间）np.random.seed()可以生成区间[0.0,1.0]中的5个随机数的数组，如下所示：importnumpyasnpnp.random.rand(5)#生成如下数组array([0.2611664,0.7176011,0.1489994,0.3872102,0.4273531])rand()函数也可用于生成随机二维数组，如下代码所示：np.random.rand(2,4)array([[0.83239852,0.51848638,0.01260612,0.71026089],[0.20578852,0.02212809,0.68800472,0.57239013]])8.3计算机模拟33《数据分析与可视化》第八章高级可视化生成随机整数，可以使用randint(min,max)，其中min和max用于定义数字的范围，必须选定为整数：np.random.randint(4,18)使用以下代码可获得λ=8.0的离散泊松分布的随机数：np.random.poisson(8.0)从均值为μ=1.25且标准差为σ=3.0的连续正态（高斯）分布中抽取随机数：np.random.normal(1.25,3.0)#均值为0，标准差为1np.random.normal()8.3计算机模拟34《数据分析与可视化》第八章高级可视化8.3.3模拟示例示例1：几何布朗运动用随机微分方程（StochasticDifferentialEquation，SDE）对股票价格行为进行建模

8.3计算机模拟35《数据分析与可视化》第八章高级可视化fromnumpy.randomimportstandard_normalfromnumpyimportzeros,sqrtimportmatplotlib.pyplotaspltS_init=20.222T=1tstep=0.0002sigma=0.4mu=1NumSimulation=6colors=[(214,27,31),(148,103,189),(229,109,0),(41,127,214),(227,119,194),(44,160,44),(227,119,194),(72,17,121),(196,156,148)]绘制布朗运动图像8.3计算机模拟36《数据分析与可视化》第八章高级可视化#将RGB数值标准化到[0,1]foriinrange(len(colors)): r,g,b=colors[i] colors[i]=(r/255.,g/255.,b/255.)plt.figure(figsize=(12,12))Steps=round(T/tstep);#按年步进S=zeros([NumSimulation,Steps],dtype=float)x=range(0,int(Steps),1)forjinrange(0,NumSimulation,1):S[j,0]=S_initforiinx[:-1]:S[j,i+1]=S[j,i]+S[j,i]*(mu-0.5*pow(sigma,2))*tstep+sigma*S[j,i]*sqrt(tstep)*standard_normal()plt.plot(x,S[j],linewidth=2.,color=colors[j])plt.title('布朗运动的6次模拟的结果,\n$\sigma$=%.6f$\mu$=%.6f$S_0$=%.6f'%(sigma,mu,S_init),fontsize=18)plt.xlabel('步长',fontsize=16)plt.grid(True)plt.ylabel('股票价格',fontsize=16)plt.ylim(0,90)plt.show()8.3计算机模拟37《数据分析与可视化》第八章高级可视化布朗运动6次模拟结果：8.3计算机模拟38《数据分析与可视化》第八章高级可视化示例2：应用Hodrick–Prescott滤波器来获得属于时间序列数据类的股票价格数据的平滑曲线8.3计算机模拟39《数据分析与可视化》第八章高级可视化frommatplotlibimportfinanceimportmatplotlib.pyplotaspltimportstatsmodels.apiassmtitleStr='FB公司的股票价格（2021年1月 ～2021年12月）'plt.figure(figsize=(11,10))dt1=datetime.datetime(2012,05,01)dt2=datetime.datetime(2014,12,01)sp=finance.quotes_historical_yahoo('FB',dt1,dt2,asobject=None)plt.title(titleStr,fontsize=16)plt.xlabel("日期",fontsize=14)plt.ylabel("股票价格",fontsize=14)xfilter=sm.tsa.filters.hpfilter(sp["Open"],lamb=100000)[1]plt.plot(sp["Open"])plt.plot(xfilter,linewidth=5.)绘制股票价格走势8.3计算机模拟40《数据分析与可视化》第八章高级可视化8.3.4信号处理卷积：两个信号的卷积是一种组合这两种信号以产生具有过滤效果的第三种信号的方法在现实生活中，可应用信号卷积来平滑图像，也可用于计算信号干扰8.3计算机模拟41《数据分析与可视化》第八章高级可视化importmatplotlib.pyplotaspltfromnumpyimportconcatenate,zeros,ones,hamming,convolvedigital=concatenate((zeros(20),ones(25),zeros(20)))norm_hamming=hamming(80)/sum(hamming(80))res=convolve(digital,norm_hamming)plt.figure(figsize=(10,10))plt.ylim(0,0.6)plt.plot(res,color='r',linewidth=2)plt.hold(True)plt.plot(data,color='b',linewidth=3)plt.hold(True)plt.plot(norm_hamming,color='g',linewidth=4)plt.show()例1：展示数字信号的卷积信号，并使用汉明法（hamming()）产生模拟信号8.3计算机模拟42《数据分析与可视化》第八章高级可视化数字信号、模拟信号和卷积结果信号运行结果：8.3计算机模拟43《数据分析与可视化》第八章高级可视化importmatplotlib.pyplotaspltfromscipyimportrandnfromnumpyimportfftplt.figure(figsize=(10,10))random_data=randn(500)res=fft.fft(random_data)plt.plot(res,color='b')plt.hold(True)plt.plot(random_data,color='r')plt.show()例2：使用Scipy的randn()函数产生随机信号random_data并应用快速傅里叶变换（FastFourierTransform，FFT）8.3计算机模拟44《数据分析与可视化》第八章高级可视化随机信号与其快速傅里叶变换运行结果：8.3计算机模拟45《数据分析与可视化》第八章高级可视化importscipy.miscasscmfromscipy.misc.pilutilimportImage#打开原始图片orig_image=Image.open('/Users/kvenkatr/Desktop/filter.jpg')#将图片转化为数组image1=scm.fromimage(orig_image)#反转图片数组inv_image=255-image1#使用反转后的数组重新生成图片inverted_image=scm.toimage(inv_image)#保存图片inverted_image.save('/Users/kvenkatr/Desktop/filter_invert.jpg')例3：使用SciPy包创建反转图像（InvertedImage）8.3计算机模拟46《数据分析与可视化》第八章高级可视化运行结果：其他过滤机制的函数使用：convolve()：多维卷积correlate()：多维相关性gaussian_filter()：多维高斯滤波器原始图像和反转图像8.3计算机模拟47《数据分析与可视化》第八章高级可视化8.3.5动画可以使用matplotlib在Python中完成动画制作，结果会保存在MP4格式的文件中，以便后续再播放8.3计算机模拟48《数据分析与可视化》第八章高级可视化#动画的基本设置importnumpyasnpimportmatplotlib.pyplotaspltfrommatplotlibimportanimation#设置图、轴和要“动画化”的绘图元素fig=plt.figure()ax=plt.axes(xlim=(0,3.2),ylim=(-2.14,2.14))line,=ax.plot([],[],lw=2)确保从matplotlib中导入动画包，设置轴，并准备必要的绘图变量（这里只是一个空行），如下所示：#初始化函数：绘制每一帧的背景definit(): line.set_data([],[]) returnline,8.3计算机模拟49《数据分析与可视化》第八章高级可视化在开始动画之前都需要进行绘图的初始化，它将会为动画创建一个基本帧，如下面的代码所示：#动画函数，是按顺序调用的defanimate(i): x=np.linspace(0,2,1000) xval=2*np.pi*(x-0.01*i) y=np.cos(xval)#试图将cos()函数做成动画

line.set_data(x,y) returnline,如下是一个动画函数，它以帧号作为输入，（已核对）并设置绘图变量：anim=animation.FuncAnimation(fig,animate,init_func=init,\frames=200,interval=20,blit=True)anim.save('basic_animation.mp4',fps=30)plt.show()8.3计算机模拟50《数据分析与可视化》第八章高级可视化三角函数（如sin()或cos()）曲线的动画展示可以将此MP4文件嵌入HTML进行显示，然后按左下角的播放按钮查看效果8.4绘制交互图51《数据分析与可视化》第八章高级可视化importcollections#importbokeh.sampledata#bokeh.sampledata.download()frombokeh.sampledataimportus_counties,unemploymentfrombokeh.plottingimportfigure,show,output_filefrombokeh.modelsimportHoverToolcounty_coordinate_xs=[us_counties.data[code]['lons']forcodeinus_counties.dataifus_counties.data[code]['state']=='ca']county_coordinate_ys=[us_counties.data[code]['lats']forcodeinus_counties.dataifus_counties.data[code]['state']=='ca']Bokeh绘制交互地图：可用JavaScript使“D3.js图”通过web浏览器实现可视化8.4绘制交互图52《数据分析与可视化》第八章高级可视化importcollections#importbokeh.sampledata#bokeh.sampledata.download()frombokeh.sampledataimportus_counties,unemploymentfrombokeh.plottingimportfigure,show,output_filefrombokeh.modelsimportHoverToolcounty_coordinate_xs=[us_counties.data[code]['lons']forcodeinus_counties.dataifus_counties.data[code]['state']=='ca']county_coordinate_ys=[us_counties.data[code]['lats']forcodeinus_counties.dataifus_counties.data[code]['state']=='ca']Bokeh绘制交互地图：可用JavaScript使“D3.js图”通过web浏览器实现可视化8.4绘制交互图53《数据分析与可视化》第八章高级可视化colors=["#e6f2ff","#cce5ff","#99cbff","#b2d8ff","#73abe5","#5985b2"]county_colors=[]forcounty_idinus_counties.data:ifus_counties.data[county_id]['state']!='ca':continuetry:rate=unemployment.data[county_id]idx=min(int(rate/2),5)county_colors.append(colors[idx])exceptKeyError:county_colors.append("black")output_file("california.html",title="california.pyexample")8.4绘制交互图54《数据分析与可视化》第八章高级可视化TOOLS="pan,wheel_zoom,box_zoom,reset,hover,save"p=figure(title="CaliforniaUnemployment2009",width=1000,height=1000,tools=