大数据课件1第2章-大数据软件基础

1第2章大数据软件基础2.1Linux基础2.2Java语言基础2.3SQL语言基础2.4在VirtualBox上安装虚拟机2.1Linux基础2.1.1

命令格式Linux命令的一般格式是：命令名[命令选项][命令参数]（1）命令名即命令程序名。（2）命令选项说明对命令的要求。命令选项通常是包括一个或多个字母的代码，前面有一个“-”连字符。有多个命令选项时，可将字母写在一起，前面只加一个“-”连字符，例如可将命令“ls-l-a”简写为“ls-la”。（3）命令参数描述命令的操作对象，通常命令参数是一些文件名，告诉命令从哪里可以得到输入，以及把输出送到什么地方。例如，不带参数的ls命令只能列出当前目录下的文件和目录，而使用参数可列出指定目录或文件中的文件和目录。2.1Linux基础2.1.2用户管理1.使用useradd命令添加新用户useradd[命令选项]新建用户名-d：指定用户登录系统时的主目录，如果不使用该参数，系统自动在/home目录下建立与用户名同名目录为主目录；-m：创建用户的主目录，自动建立与用户名同名的主目录；-n：创建一个同用户登录名同名的新组；-r：创建系统账户；-p：为用户账户指定默认密码；-s：指定默认登录的shell方式。$sudouseradd-mpython#创建python用户$ls/home/#查看当前都有哪些用户，可发现刚添加的用户名pythondblabhadooppython利用cat命令打开etc目录下面的passwd文件，查找是否有刚添加的用户名，有则代表添加成功了。$cat/etc/passwdpython:x:1002:1002::/home/python:2.1Linux基础2.1.2用户管理2.使用passwd命令设置用户密码在Linux中，超级用户可以使用passwd命令为普通用户设置或修改用户口令。用户也可以直接使用该命令来修改自己的口令。$sudopasswdpython#为python用户设置密码输入新的UNIX密码：重新输入新的UNIX密码：passwd：已成功更新密码2.1Linux基础2.1.2用户管理3.使用su命令切换用户Ubuntu默认安装时，并没有给root用户设置口令，也没有启用root帐户。要想作为root用户来运行命令可以使用sudo命令达此目的。只要为root设置一个root密码就可以启用root帐户，$sudopasswdroot#接下来为root设置一个密码设置好root密码后，就可以直接作为root登录了。su命令可以更改用户的身份，例如从普通用户python切换到root用户，从root用户切换到普通用户python。hadoop@Slave1:~$supython#然后输入密码就切换到python用户下密码：

python@Slave1:/home/hadoop$2.1Linux基础2.1.2用户管理4.使用userdel命令删除用户$userdelusername#删除username用户，但不会自动删除用户的主目录$userdel–rusername#删除username用户，同时删除用户的主目录5.用户组管理（1）查看用户在哪些组查看用户在哪些组：groups用户名$groupspython#查看python用户在哪些组（2）新建用户组$groupaddABC#新建用户组ABC（3）删除用户组$groupdelABC#删除用户组ABC（4）设置用户所在组usermod$usermod-g用户组用户名$usermod-a-G用户组用户名python@Slave1:/home/hadoop$su#切换到root用户密码：

#为python用户添加sudo权限root@Slave1:/home/hadoop#usermod-a-Gsudopythonroot@Slave1:/home/hadoop#groupspython#查看python用户在哪些组python:pythonsudo2.1Linux基础2.1.3文件操作1.使用touch命令新建一个文件touch[命令选项]文件名命令选项说明：-a：只更改访问时间；-m：改变文件的修改时间；-c：假如“文件名”文件不存在，不会建立新的文件，避免创建一个新文件；-t：使用指定的时间创建文件；-d：使用指定的日期时间指定文件的时间标签，而非现在的时间。$touch-t201903121230file#使用指定的201903121230时间创建file文件$touchfile{1..10}#在当前目录下创建file1~file10共10个文件2.1Linux基础2.1.3文件操作2.使用cat查看文件内容、创建文件、文件合并、追加文件内容cat[命令选项]文件-n或--number：从1开始对所有输出的行编号；-b或--number-nonblank：和-n相似，只不过对于空白行不编号；-s或--squeeze-blank：当遇到有连续两行以上的空白行，将多个相邻的空行合并成一个空行。1）使用cat查看文件内容$cat/etc/profile#查看profile文件内容，将内容输出到标准输出上2）使用cat创建文件$cat>operating_systemUnix执行cat>operatingsystem后，生成名叫operating_system的文件。然后下面会显示空行，此时输入上述内容，输入完成后，按Ctrl+D组合键存盘退出cat。2.1Linux基础2.1.3文件操作2.使用cat查看文件内容、创建文件、文件合并、追加文件内容3）使用cat连接多个文件的内容并且输出到一个新文件中假设有a.txt、b.tx和c.txt文件，通过cat把a.txt、b.tx和c.txt三个文件连接在一起（也就是说把这三个文件的内容都接在一起）并输出到一个新的文件d.txt中的命令格式如下。$cata.txtb.txtc.txt>d.txt4）cat向已存在的文件追加内容把textfile1和textfile2的文档内容加上行号（空白行不加）之后将内容附加到textfile3文档里：$cat-btextfile1textfile2>>textfile32.1Linux基础2.1.4目录操作Linux没有盘符这个概念，只有一个根目录/，所有文件都在它下面2.1Linux基础2.1.4目录操作目录

目录说明/bin存放二进制可执行文件，常用命令一般都在这里，如ls、cat、mkdir等/etc存放所有的系统管理所需要的配置文件和子目录/home普通用户主目录，当新建账户时，都会分配在此，存放所有用户文件的根目录，比如用户user的主目录就是/home/user，可以用~表示/lib存放在开机时会用到的函数库，以及在/bin或/sbin底下的指令会调用的函数库/usr用户的很多应用程序和文件都放在这个目录下，类似于windows下的programfiles目录/user1user1用户家目录/user2user2用户家目录/pythonpython用户家目录/Desktoppython用户家目录下的Desktop子目录2.1Linux基础2.1.4目录操作1.使用mkdir命令创建目录$mkdirdir1#创建dir1目录$mkdir-pnewdir/newdir/newdir#递归方式创建3连续目录注意：创建新的多级目录数目如果大于等于2个，就要使用-p参数。ls[命令选项][目录名]-a：显示指定目录中的所有文件。-l：除文件名称外，文件型态、权限、拥有者、大小等信息也详细列出。-t：将文件按建立时间先后次序列出。-F：在列出的文件名称后加一符号，如可执行档加"*"，目录加"/"。-R：若目录下有文件，则目录下的文件亦皆依序列出。-t：以修改时间排序。2.使用ls命令列出目录中的内容2.1Linux基础2.1.4目录操作3.使用cd命令切换目录$cd~#切换到当前用户的主目录，即“/home/用户名”目录$cd.#"."则是表示目前所在的目录$cd.. #切换到上级目录，".."则表示目前目录位置的上一层目录$cd- #可以在最近两次工作目录之间来回切换$pwd#输出当前所处目录4.使用pwd命令查看当前工作目录2.1Linux基础2.1.5文件压缩和解压缩命令1.zip压缩与unzip解压缩1）zip命令把当前目录下面的mydata目录压缩为mydata.zip，-r命令选项表示递归处理，将指定目录下的所有文件和子目录一并处理：$zip-rmydata.zipmydata#压缩mydata目录把当前目录下面的abc文件夹和123.txt文件压缩成为abc123.zip$zip-rabc123.zipabc123.txt#-r表示递归压缩子目录下所有文件2）unzip命令把当前目录下面的mydata.zip解压到mydatabak目录里面$unzipmydata.zip-dmydatabak#-d指定文件解压缩后所要存储的目录把当前目录下面的data.zip直接解压到当前目录里面$unzipdata.zip2.1Linux基础2.1.5文件压缩和解压缩命令打包是指将多个文件或目录变成一个总的文件。1）tar打包压缩把/etc目录中所有的文件打包为etc.tar文件：$tar-cvf/tmp/etc.tar/etc把/etc目录中所有的文件打包压缩为一个.bz2格式的文件：$tar-jcvfpack.tar.bz2/etc命令选项说明如下。z：解压缩类型为.tar.gz；c：打包；-x：解压；v：显示过程；f：指定打包后的文件名。2.1Linux基础2.1.5文件压缩和解压缩命令打包是指将多个文件或目录变成一个总的文件。2）tar解包解压$tarxvfFileName.tar#将FileName.tar解包$tar-zxvfpack.tar.gz/pack#解包解压.gz格式的压缩包到pack文件夹$tar-jxvfpack.tar.bz2/pack#解包解压.bz2格式的压缩包到pack文件夹2.1Linux基础2.1.6安装和卸载软件在Ubuntu中安装软件和Windows系统中双击exe文件安装软件的方式有很大的不同，使用最多的是通过apt-get方式从软件源安装软件。软件源本质上就是一个软件仓库，Ubuntu在全世界各地有很多的软件仓库，这个仓库中包含了Ubuntu系统中的各种软件，需要什么软件，只要记得正确的软件的名字，就可以简单的通过sudoapt-getinstall命令安装，而且软件的卸载也非常方便，只需要运行sudoapt-getremove命令即可。而平时使用最多的软件安装方式就是通过软件源的方式。更新源：sudoapt-getupdate安装包：sudoapt-getinstallpackage2.1Linux基础2.1.6安装和卸载软件重新安装包：sudoapt-getinstallpackage–reinstall修复安装：sudoapt-get-finstall更新已安装的包：sudoapt-getupgrade升级系统：sudoapt-getdist-upgrade删除包：sudoapt-getremovepackage删除包，包括配置文件等：sudoapt-getremovepackage--purge19第2章大数据软件基础2.1Linux基础2.2Java语言基础2.3SQL语言基础2.4在VirtualBox上安装虚拟机2.1Linux基础2.2.1基本数据类型基本数据类型可以分为三类，字符类型char，布尔类型boolean以及数值类型byte、short、int、long、float、double。7.char（字符）类型char类型是一个单一的16位Unicode字符。char数据类型可以储存任何字符。例子：charletter='C';2.1Linux基础2.2.2主类结构Java语言是面向对象的程序设计语言，Java程序的基本组成单元是类，一个Java程序就是由若干个类构成的。类体中包括属性与方法两部分。每一个Java本地应用程序都必须包含一个main()方法，含有main()方法的类称之为主类。一个Java程序的基本结构大体可以分为包、类、main()主方法、标识符、关键字、语句和注释等。2.1Linux基础2.2.2主类结构下面通过程序来介绍Java主类结构。【例2-1】创建包myclass.struct，创建类MainClassStructure。在类体中输入如下代码，实现在控制台上输出“让我看看，主类的结构。”文本内容。实现代码如下：packagemyclass.struct;//定义包publicclassMainClassStructure{//创建类

staticStrings1="让我看看，";//定义类的成员变量

publicstaticvoidmain(String[]args){//定义主方法

Strings2="主类的结构。";//定义局部变量

System.out.print(s1);//输出成员变量的值

System.out.println(s2);//输出局部变量的值

}}2.1Linux基础2.2.3定义类Java是通过关键字class来定义类的，其语法格式如下：[类修饰符]class类名[extends父类名][implements接口名]{…//类体，包括定义类的成员变量和方法}类名由用户指定，可以是任意合法的标识符。类体是定义在大括号中的部分，它是整个类的核心，可以分为类的成员变量和成员方法两个部分。“extends父类名”为可选项，表示所定义的类继承了其他父类，这时该类自动获得父类中所有可能的属性和方法。“implements接口名”为可选项，它表示定义的类需要通过实现某个接口完成，接口实际也是一种特殊的类，它所定义的方法一般为空，需要在派生类中实现该方法。2.1Linux基础2.2.3定义类Java是通过关键字class来定义类的，其语法格式如下：[类修饰符]class类名[extends父类名][implements接口名]{…//类体，包括定义类的成员变量和方法}类修饰符为可选项，它决定了类在程序运行过程中以何种方式被处理，修饰符可以是下面这些关键字之一。（1）final：最终类，不能拥有子类。如果没有此修饰符，则可以被子类所继承。（2）abstract：抽象类，类中的某些方法（称为抽象方法）没有实现，必须由其子类来实现。因为抽象类中含有无具体实现的方法，所以一般不能用抽象类创建对象。如果没有此修饰符，则类中所有的方法都必须实现。2.1Linux基础2.2.3定义类Java是通过关键字class来定义类的，其语法格式如下：[类修饰符]class类名[extends父类名][implements接口名]{…//类体，包括定义类的成员变量和方法}类修饰符为可选项，它决定了类在程序运行过程中以何种方式被处理，修饰符可以是下面这些关键字之一。（3）public：公共类，public表明本类可以被所属包以外的类访问。如果没有此修饰符，则禁止这种外部访问，只能被同一包中的其它类所访问。2.1Linux基础2.2.4类的实例化【例2-2】一个简单的Point类。publicclassPoint{intx,y;//定义类的成员变量

Point(intix,intiy){//定义类的Point构造方法

x=ix;y=iy;}voidmove(intix,intiy){//定义类的成员方法

x+=ix;y+=iy;}}类实例化的语法格式为：类名对象名=new类名([参数列表])例如，将类Point实例化为对象p1的语法格式为：Pointp1=newPoint();关键字new为每个生成的对象分配一片内存区域，并返回该对象的一个引用（可理解为该对象的内存首地址）。2.1Linux基础2.2.5包

包是一组由类和接口所组成的集合，Java程序可以由若干个包组成，每一个包拥有自己独有的名字。包的引入，解决了类命名冲突的问题。在Windows中，包是以文件系统存放的，包和类的关系类似于文件夹和文件的关系。包中的子包，相当于文件夹内的子文件夹。命名包的创建很简单，只要在Java的源文件的第一行写上package语句就可以完成，格式如下：package包名;指定包名后，该源文件中所有的类都在这个包中。由于Windows中的Java是用文件系统来存放包的，所以必须要有一个和包名相同的文件夹，该包中所有的类编译生成的class文件都必须放在这个文件夹中才能正常使用。2.1Linux基础2.2.5包Java中常用的包包名说

明java.langJava核心类库，包含了运行Java程序必不可少的系统类，如Object、Math、String、StringBuffer、System、Thread类等，系统缺省加载该包java.utilJava的实用工具类库，Java提供了一些实用的方法和数据结构，如包括日期(Data)、日历(Calendar)、随机数(Random)、堆栈(Stack)、向量(Vector)等类java.ioJava语言的标准输入/输出类库，如基本输入输出流、文件输入输出和过滤输入输出流等实现网络功能的类库有Socket类、ServerSocket类java.sql实现JDBC的类库java.awt构建图形用户界面(GUI)的类库，低级绘图操作Graphics类，图形界面组件和布局管理如

Checkbox类、Container类、LayoutManger接口等，以及界面用户交互控制和事件响应，如Event类29第2章大数据软件基础2.1Linux基础2.2Java语言基础2.3SQL语言基础2.4在VirtualBox上安装虚拟机2.3SQL语言基础关系型数据库以行和列的形式存储数据，关系型数据库和常见的表格相似，存储的格式可以直观地反映实体间的关系。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系所组成的一个数据组织。关系型数据库主要有：Oracle、DB2、MicrosoftSQLServer、MicrosoftAccess、MySQL等等。虽然关系型数据库有很多，但大多数都遵循SQL（结构化查询语言，StructuredQueryLanguage）标准。常见的SQL操作有查询，新增，更新，删除等，其相应的标准SQL语句如下：创建数据库：createdatabase数据库名charactersetutf8。修改数据库：alterdatabase数据库名charactersetgbk。建表语句：createtable表名(列名1列的类型[约束],列名2列的类型[约

束