大数据基础 课件 单元4 Python语言

浙江《大数据基础》.移动商务营销课程群4.1.1Python语言简介4.1Python概述4.1.2Python的安装与使用语言Python大数据基础Unit44.1.1Python语言简介Python的创始人：荷兰的Guido

1989年，Guido为了打发圣诞节的无趣，决心开发一个新的脚本解释程序，做为ABC语言的一种继承。之所以选中Python作为该编程语言的名字，是因为他是一个叫MontyPython的喜剧团体的爱好者。

Python语言概况Python是一种解释型、面向对象的编程语言；是一个开源语言，拥有大量的库，可以高效地开发各种应用程序。Python目前包含两个主要版本：Python2和Python3Python2与Python3并不兼容，本课程的代码基于Python3版本进行编写。4.1.1Python语言简介

Python语言特点4.1.1Python语言简介简单易学开源高级语言可移植性解释性面向对象可扩展丰富的库代码规范

Python应用领域4.1.1Python语言简介Python人工智能自动化运维云计算Web开发大数据

Python的大数据应用数据采集数据清洗数据挖掘数据展现网络数据抓取可以通过requests、BeautifulSoup等很方便地实现Pandas库可以胜任重复值、缺失值、异常值、格式转换、数据分组、数据拆分等处理NumPy、SciPy、Scikit-learn、TensorFlow库等简化了数据挖掘算法的实现Matplotlib等库可以直观地观察或展示数据4.1.1Python语言简介《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.1.1Python语言简介4.1Python概述4.1.2Python的安装与使用语言Python大数据基础Unit44.1.2Python的安装与使用Python软件安装包选择Anaconda是Python的一个集成管理工具，是数据领域应用首选软件。Anaconda里面包含了诸多数据科学相关的开源包，可以方便应用于大数据。安装Anaconda可以省去大量下载和安装模块包的时间，并且解决了软件包之间的依赖和版本兼容问题。4.1.2Python的安装与使用1）浏览器访问anaconda下载网站，下载匹配的安装包：操作系统：Windows软件版本：Python3.x版本机器型号：64位或32位2）使用默认配置安装Anaconda

Windows上安装Anaconda

编写最简Python程序编写一个最简单的Python程序，Python程序代码保存在后缀为.py的源文件中。以IDLE为例，py文件的创建可以通过File菜单下的NewFile选项进行创建。源文件创建完成后，在源文件中编写代码，往屏幕打印一句话“这是我的第一个Python程序！”。#第一个Python程序first.pyprint('这是我的第一个Python程序！')4.1.2Python的安装与使用

最简Python程序剖析第一行代码是#号开头的，该符号用于注释程序，即#号后面的内容编译器将忽略，对程序的运行不会有影响。使用注释，基本上有以下两个用途：1）解释代码功能，2）调试程序。第二行代码有一个关键词print，中文意思是打印，用于往控制台上打印文本内容。打印内容通过一对引号来包含，单引号和双引号均可。其基本格式为：print(需要打印的内容)#第一个Python程序first.pyprint('这是我的第一个Python程序！')4.1.2Python的安装与使用

运行最简Python程序代码内容键入后，保存源文件。然后通过Run菜单下的RunModule选项或F5快捷键运行第一个程序。当IDLE的Shell窗口成功打印出“这是我的第一个Python程序！”时，说明你的Python程序正确无误。4.1.2Python的安装与使用《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.2.1数据类型与变量4.2.3分支控制结构4.2.4循环控制结构4.2Python基础4.2.2运算符与表达式语言Python大数据基础Unit44.2.1数据类型与变量

变量数据存放在内存开辟的空间中，通过变量引用之后数据才能够被访问。Python中的变量不需要独立声明，变量的引用操作既是变量声明和定义的过程。>>>student_id=1001#整型变量>>>name="张三"#字符串变量>>>average_score=95.3#浮点型变量>>>print(student_no,name,average_score)1001张三95.3数字数据类型用于存储数值，Python中的数字类型有整型int、浮点型float和复数型complex。情形1数字类型范例>>>num_int=10#定义整型变量>>>num_float=9.5#定义浮点型变量>>>num_complex=3+4j#定义复数型变量>>>print(num_int,num_float,num_complex)109.5(3+4j)4.2.1数据类型与变量字符串是用单/双引号对括起来的若干有效字符构成的字符序列，用于表示文本数据。字符串里的字符可以是英文、中文及其它国家文字字符。情形范例2字符串类型>>>s="Hello中国!">>>print(s)#输出完整字符串Hello中国!>>>print(type(s))#输出变量s的类型名<class'str'>4.2.1数据类型与变量下标101234567891011字符串sHelloworld!下标2-12-11-10-9-8-7-6-5-4-3-2-1

字符串索引Python的字符串列表中的字符索引有2种取值顺序：（1）从左到右索引默认0开始的，最大范围是字符串长度少1。（2）从右到左索引默认-1开始的，最大范围是字符串开头。4.2.1数据类型与变量可以通过字符串的索引获取字符串子串，其中又分为获取单个字符和获取多个字符两种情形。情形格式变量名[下标]#获取字符串的单个字符变量名[头下标:尾下标]#获取字符串的多个连续字符的子串获取子串时，截取的子串为头下标到尾下标之间的字符，不包含尾下标。4.2.1数据类型与变量>>>s='HelloWorld!'>>>print(s[0])H>>>print(s[6:11])World>>>print(s[6:-1])World>>>print(s[6:])World!下标101234567891011字符串sHelloWorld!下标2-12-11-10-9-8-7-6-5-4-3-2-14.2.1数据类型与变量《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.2.1数据类型与变量4.2.3分支控制结构4.2.4循环控制结构4.2Python基础4.2.2运算符与表达式语言Python大数据基础Unit4列表是指一组存在联系数据的有序集合，可以用一个统一的列表名和下标来唯一地确定列表中的元素，其元素支持字符、数字、字符串、列表等类型。列表用[]将元素有序组织起来，元素之间以逗号分隔。情形列表名=[元素1,元素2,…,元素n]格式3列表类型>>>list1=[1001,'张三',95.3]>>>print(list1)#输出完整列表[1001,'张三',95.3]4.2.1数据类型与变量可以通过列表的索引来访问列表，其中又分为访问单个元素和子列表两种情形。情形格式列表名[下标]#访问列表元素列表名[头下标:尾下标]#访问子列表访问子列表时，截取的子列表为头下标到尾下标之间的元素，不包含尾下标元素。4.2.1数据类型与变量>>>list1=[1001,'张三',95.3]>>>print(list1[0])#输出列表的第一个元素1001>>>print(list1[-1])#输出列表的倒数第一个元素95.3>>>list1=[1001,'张三',95.3]>>>print(list1[1:3])#输出第二个至第三个的元素['张三',95.3]>>>print(list1[2:])#输出从第三个开始至列表末尾的所有元素[95.3]4.2.1数据类型与变量列表是一个动态的有序序列，可以进行元素的添加和删除操作。通过append方法可以在列表尾部添加新元素，pop方法用于从列表删除元素，可以通过元素下标指定弹出的元素，无参数时默认弹出最后一个元素。情形格式列表名.append(新元素)#在列表末尾添加新元素列表名.pop([下标])#弹出列表中指定下标的元素，默认为-14.2.1数据类型与变量>>>list3=['张三','李四']>>>list3.append('王五')>>>print(list3)['张三','李四','王五']>>>list3.pop()'王五'>>>print(list3)['张三','李四']>>>list3.pop(0)'张三'>>>print(list3)['李四']4.2.1数据类型与变量布尔类型包含两个值：True（真）或False（假），当某个表达式判断条件成立时，其布尔值为True，反之为False。以下数值会被认为是False：数值0、空值None、空组合（如""、[]）情形范例4布尔类型数据0-1None[]"False"[0]布尔值FalseTrueFalseFalseTrueTrue4.2.1数据类型与变量《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.2.1数据类型与变量4.2.3分支控制结构4.2.4循环控制结构4.2Python基础4.2.2运算符与表达式语言Python大数据基础Unit4算术运算符通常是为实现数学表达式的四则运算，其用法和功能与数学基本一样，此外还引入了求余运算、幂运算、取整运算等。情形运算对象1基本算术运算符运算对象2格式1算术运算假设变量a为10，变量b为21则a+b的结果为它们的和314.2.2运算符与表达式运算符描述实例（a=10,b=21）+加-两个对象相加a+b输出结果31-减-得到负数或是一个数减去另一个数a-b输出结果-11*乘-两个数相乘a*b输出结果210/除-x除以yb/a输出结果2.1%取模-返回除法的余数b%a输出结果1**幂-返回x的y次幂a**b为10的21次方//取整除-返回商的整数部分b//a输出结果24.2.2运算符与表达式#代码功能：求成绩的总分和平均分score_java=int(input(‘Java成绩：’))#获取键盘输入的分数score_cpp=int(input('C++成绩：'))score_python=int(input('Python成绩：'))total=score_java+score_cpp+score_pythonprint('总成绩为：',total)average1=total/3#算术除法print('算术除法求得平均成绩：{0:.2f}'.format(average1))#保留两位小数average2=total//3#整除print('整除除法求得平均成绩：',average2)4.2.2运算符与表达式关系运算符是对两个运算对象之间进行比较的运算符。由关系运算符和两个运算对象构成的表达式称为是关系表达式。情形运算对象1关系运算符运算对象2格式2关系运算关系表达式的运算结果是bool类型，只有两个结果True或False。4.2.2运算符与表达式运算符描述实例（a=10,b=20）==等于-比较对象是否相等(a==b)返回False。!=不等于-比较两个对象是否不相等(a!=b)返回True.>

大于-返回a是否大于b(a>b)返回False。<

小于-返回a是否小于b。(a<b)返回True。>=大于等于-返回a是否大于等于b。(a>=b)返回False。<=小于等于-返回a是否小于等于b。(a<=b)返回True。4.2.2运算符与表达式>>>student=[215,'张三',18,'男','浙江']>>>student[0]>=201True>>>student[0]<301True>>>student[2]>=18True>>>student[3]=='男'True>>>student[-1]!='浙江'False4.2.2运算符与表达式逻辑运算符是另一种可以产生逻辑值结果的运算符，但参与逻辑运算的运算对象都应该是逻辑值。在Python语言中，逻辑运算符有3个，分别是双目运算符的与运算“and”和或运算“or”，单目运算符的非运算“not”。情形运算对象1and运算对象2运算对象1or运算对象2not运算对象格式3逻辑运算4.2.2运算符与表达式运算符描述实例（a=10,b=20）and与运算

-如果运算对象1和运算对象2都为True，则返回True，否则返回False。(aandb)返回True。or或运算-如果运算对象1和运算对象2都为False，则返回False，否则返回True。(aorb)返回True。not非运算-如果运算对象为True，返回False，反之返回True。nota返回False。4.2.2运算符与表达式>>>student=[20180215,'张三',95,88,91]>>>student[-3]>=90orstudent[-2]>=90orstudent[-1]>=90#是否至少有一个科目高于90分True>>>student[-3]>=60andstudent[-2]>=60andstudent[-1]>=60#是否所有科目都高于60分True>>>not(student[-3]>=45orstudent[-2]>=45orstudent[-1]>=45)#是否所有科目都低于45分False4.2.2运算符与表达式《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.2.1数据类型与变量4.2.3分支控制结构4.2.4循环控制结构4.2Python基础4.2.2运算符与表达式语言Python大数据基础Unit4当条件A满足时，执行语句体S，而不满足的时候什么都不做。情形if条件判断表达式A:语句体S格式1单分支选择语句（if）ifa%2==0:print("aisanevennumber!")注意：分支结构通过冒号+缩进进行控制，缩进指以上一层代码为基准在行首加上4个空格或1个Tab，表示语句在此分支下执行4.2.3分支控制结构

当条件A满足时，你就执行语句体S1，而不满足的时候就执行语句体S2。情形if条件判断表达式A:语句体S1else:

语句体S2格式2双分支选择语句（if…else）x=10;y=20ifx>y:print("x的值比y的值大。")else:print("x与y相等。")print("或者x小于y。")4.2.3分支控制结构尽管单分支和双分支选择语句已经可以处理不同的两类分支情况，但实际情况往往更为复杂。而Python也允许在双分支的语句体S1和S2中各嵌入一套完整的if…else语句。情形if条件判断表达式1:

if条件判断表达式2:语句体S3else:语句体S4else:if条件判断表达式3:语句体S5else:语句体S6格式3嵌套选择语句4.2.3分支控制结构x=95ifx>＝60:ifx>=90:print("优秀！")else:print("中等！")else:ifx>=45:print("可以补考！")else:print("不能补考！")理论上，if…else语句可以随意嵌套，但是从理解和阅读的方便性角度讲，最好不要超过三层的if…else语句嵌套，否则会降低程序的可读性。4.2.3分支控制结构上面的问题，除了使用嵌套分支选择语句处理，Python还提供了多分支选择语句的解决方案，引入了elif关键字来处理。情形if条件判断表达式1:语句体S1elif条件判断表达式2:

语句体S2…else:语句体Sn格式4多分支选择语句（if…elif…else）4.2.3分支控制结构x=35ifx>=90:print("优秀！")elifx>=60:print("中等！")elifx>=45:print("可以补考！")else:print("不能补考！")4.2.3分支控制结构《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.2.1数据类型与变量4.2.3分支控制结构4.2.4循环控制结构4.2Python基础4.2.2运算符与表达式语言Python大数据基础Unit4当条件A满足时，执行语句体S，重复以上处理，直到条件A不满足时结束此重复流程。情形while条件表达式A:语句体S格式1while循环语句a=1whilea<10:print(a,"小于10")a+=14.2.4循环控制结构#代码功能：求1+2+……+100的和sum_=0i=1#i为循环变量，即为控制循环次数的变量whilei<=100:#i从1渐增到100，每次增1，共10次循环

sum_+=i#每次循环，sum_都累加当前项

i+=1#循环变量增量print("1+2+3+…+100的和为:",sum_)4.2.4循环控制结构for循环可以依次遍历序列A，每次取出一个元素i，并执行语句体S。常见的序列如：列表、字符串。情形for迭代变量i

in序列变量A:循环语句体S格式2for循环语句counter=0forletterin"ateststring.":ifletterin"aeiou":counter+=1print("元音字符个数：",counter)4.2.4循环控制结构#代码功能：求一组成绩的平均分，方法一scores=[90,87,56,78,83,76]#成绩列表counter=0#计数器total=0#总分forscoreinscores:#遍历成绩列表，逐个累加

total+=scorecounter+=1print(total/counter)#打印平均分4.2.4循环控制结构4.2.4循环控制结构由于for循环是直接通过迭代取出可迭代变量的元素进行循环处理的，当我们需要用下标访问可迭代变量时，就需要有生成数字序列的方法。range函数就是一种生成数字序列的方法，下面是它的其中两种生成方式：1）range(n)生成0,1,2,…,n-1序列2）range(a,b)生成a,a+1,…,b-1序列#代码功能：求一组成绩的平均分，方法二scores=[90,87,56,78,83,76]#成绩列表total=0#总分length=len(scores)#计算成绩个数foriinrange(length):#遍历成绩列表，逐个累加

total+=scores[i]print(total/length)#打印平均分4.2.4循环控制结构《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.3.1Scala简介4.3.3Scala语法基础4.3Scala语言4.3.2Scala安装与使用编程基础大数据大数据基础Unit44.3.1Scala简介1Scala语言的诞生Scala之父：MartinOdersky2001年，MartinOdersky基于Funnel的工作开始设计Scala。2003年底/2004年初，发布了基于Java平台的Scala。2004年6月，发布了基于.NET平台的Scala。截至2023年5月，最新版本是2.13和3.3版本。4.3.1Scala简介2Scala语言的特性面向对象函数式编程静态类型扩展性并发性4.3.1Scala简介3Scala语言的大数据应用ApacheSpark：Scala是Spark主要支持的编程语言之一，许多Spark相关的库和API都是用Scala编写的。使用Scala编写Spark应用程序可以提高开发效率和性能。数据处理：Scala中的函数式编程风格可以使数据处理变得更加简单和可靠。Scala还支持许多流行的数据处理库，如AkkaStream和ScalaZ。分布式计算：Scala可以轻松地实现分布式并行计算，这对于处理大规模数据集非常有用。许多Scala库和框架，例如Akka和PlayFramework，都为分布式计算提供了支持。机器学习：Scala具有强大的类型系统和函数式编程的特性，这使其成为机器学习任务的首选语言之一。许多Scala库和框架，如Breeze和MLlib，都为机器学习提供了支持。《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.3.1Scala简介4.3.3Scala语法基础4.3Scala语言4.3.2Scala安装与使用编程基础大数据大数据基础Unit44.3.2Scala安装与使用1Java设置Scala是基于Java编写的，使用Scala之前必须先安装Java若已安装Java，需确认版本是否匹配，并且确认环境变量正确设置查看是否安装了Java的命令java-version查看是否安装了Java编译器的命令javac-version4.3.2Scala安装与使用2Scala安装包下载Scala的二进制安装包可以Github上下载，网址为：/lampepfl/dotty/tags选择一个稳定版本的tar.gz包，右键可以获取包的链接地址获取了包的链接地址之后，可以在Linux终端使用“wget包链接地址”的方式将包下载到对应的文件夹4.3.2Scala安装与使用3Scala安装与配置下载完成后，将文件解压到希望安装的目录

tarzxvfscala-3.2.2.tar.gz-C/opt/在/etc/profile文件中设置SCALA_HOME和PATH环境变量exportSCALA_HOME=/opt/scala-3.2.2exportPATH=${PATH}:${SCALA_HOME}/bin在终端窗口中输入scala命令检查是否正常安装配置4.3.2Scala安装与使用4第一个Scala程序objectHelloWorld{defmain(args:Array[String])={println("Hello,world!")//输出Hello,world!}}《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群浙江《大数据基础》.移动商务营销课程群4.3.1Scala简介4.3.3Scala语法基础4.3Scala语言4.3.2Scala安装与使用编程基础大数据大数据基础Unit44.3.3Scala语法基础1变量与常量Scala是一种静态类型语言，支持变量和常量的声明和定义。在Scala中，变量可以用var关键字声明，常量则是用val关键字声明，常量一旦被赋值就不能再修改。声明变量和常量的语法格式如下：var变量名:数据类型[=初始值]val常量名:数据类型[=初始值]4.3.3Scala语法基础1变量与常量valage:Int=25//声明一个val（常量）//age=30//这行代码会报错，因为无法改变age的值varname:String="张三"//声明一个var（变量）name="李四"//可以改变name的值指定类型声明变量和常量valpi=3.14//推断为Double类型vargreeting="Hello,world!"//推断为String类型自动推断类型声明变量和常量4.3.3Scala语法基础2数据类型整型（Int）：表示整数值，取值范围为-2^31~2^31-1。长整型（Long）：表示更大范围的整数值，取值范围为-2^63~2^63-1。浮点型（Float）：表示带小数部分的实数值，占用32位空间。双精度浮点型（Double）：表示更高精度的实数值，占用64位空间。布尔型（Boolean）：表示逻辑上的真或假。字符型（Char）：表示单个字符，使用单引号括起来。字符串型（String）：表示一组字符，使用双引号括起来。4.3.3Scala语法基础2数据类型varage:Int=25//声明一个整型变量varbigNumber:Long=123456789012345L//声明一个长整型变量varpi:Float=3.14f//声明一个浮点型变量vare:Double=2.71828//声明一个双精度浮点型变量varisScalaFun:Boolean=true//声明一个布尔型变量varfirstLetter:Char='S'//声明一个字符型变量vargreeting:String="Hello,world!"//声明一个字符串型变量4.3.3Scala语法基础3运算符——算术运算算术运算符覆盖加（+）、减（-）、乘（*）、除（/）、求余（%）等几种运算，下面是这些运算符的示例代码：vala=10;valb=20valsum=a+b//加法运算，sum的值为30valdiff=b-a//减法运算，diff的值为10valproduct=a*b//乘法运算，product的值为200valquotient=a/b//除法运算，quotient的值为0，整除valremainder=a%b//求余运算，remainder的值为104.3.3Scala语法基础3运算符——比较运算比较运算符覆盖相等（==）、不等（!=）、大于（>）、小于（<）、大于等于（>=）、小于等于（<=）等几种运算，下面是这些运算符的示例代码：vala=10;valb=20;valc=10valisEqual=a==b//isEqual的值为falsevalisNotEqual=a!=b//isNotEqual的值为truevalisGreaterThan=b>a//isGreaterThan的值为truevalisLessThan=a<b//isLessThan的值为truevalisGreaterOrEqual=b>=a//isGreaterOrEqual的值为truevalisLessOrEqual=c<=b//isLessOrEqual的值为true4.3.3Scala语法基础3运算符——逻辑运算逻辑运算符覆盖与（&&）、或（||）、非（!）三种运算，下面是这些运算符的示例代码：vala=true;valb=falsevalresult=a&&b//result的值为falsevalresult=a||b//result的值为truevalresult=!a//result的值为false4.3.3Scala语法基础4选择语句——if语句if语句用于根据给定的条件决定是否执行某段代码。如果条件为真，则执行语句块；否则不执行。valx=10if(x<20){println("x小于20")//条件满足，输出该文本}4.3.3Scala语法基础4选择语句——if-else语句if-else语句用于根据给定的条件执行不同的代码块。如果条件为真，则执行if语句块；否则执行else语句块。valx=10if(x<20){println("x小于20")//条件满足，输出该文本}else{println("x大于等于20")//条件不满足，不输出}4.3.3Scala语法基础4选择语句——if-else语句嵌套通过if-else语句嵌套处理，程序可以在多个条件之间进行判断和选择，并根据不同的条件执行不同的代码块。valx=10if(x<0){println("x是负数")}elseif(x==0){println("x等于0")}else{println("x是正数")}4.3.3Scala语法基础5循环语句——while循环while循环语句用于在给定条件为true时执行某个代码块，当条件不再为true时，停止执行。vari=0while(i<10){println(i)i+=1}4.3.3Scala语法基础5循环语句——do-while循环do-while循环与while循环类似，不同之处在于do-while循环至少会执行一次代码块，然后再根据给定条件决定是否继续执行。vari=0do{println(i)i+=1}while(i<10)4.3.3Scala语法基础5循环语句——for循环for循环用于迭代集合中的元素，并重复执行特定的代码块。在Scala中，for循环可以遍历数组、列表、集合等类型的数据结构。vallist=List(1,2,3,4,5)for(num<-list){println(num)}4.3.3Scala语法基础6Scala大数据应用——操作步骤进入Linux系统，打开“终端”，进入Shell命令提示符状态。在“/usr/local/scala/bigdata”目录下，新建一个wordcount子目录在“/usr/local/scala/bigdata/wordcount”目录下新建两个文本文件word1.txt和word2.txt，在两个文本文件中随意输入一些单词，用空格隔开。在“/usr/local/scala/bigdata”目录下新建一个test.scala文件，并在test.scala中编写词频统计的Scala程序代码。Scala进行词频统计4.3.3Scala语法基础6Scala大数据应用——总体思路importjava.io.Fileimportscala.io.SourceobjectWordCount{defmain(args:Array[String]):Unit={//1、读取文件、设置分词结果存储变量

//2、遍历文件、切分单词并记录数量

//3、输出分词结果}}4.3.3Scala语法基础6Scala大数据应用——步骤1代码valdirfile=newFile("/usr/local/scala/bigdata/wordcount")valfiles=dirfile.listFilesfor(file<-files)println(file)vallistFiles=files.toListvalwordsMap=scala.collection.mutable.Map[String,Int]()读取文件、设置分