第15讲-分布式全文搜索引擎search

分布式全文搜索引擎Search|2018年11

123412341什么是概一种基于ElasticSearch的分布式全文搜索与分对ElasticSearch进行了多种功能升级和优化，并通过Esdrive实现了SQL的全方位支特分布式实时文 －PB级数据规分布式实时搜索分 分

Search简 什么是特SQL引擎与搜索引擎相融高扩－在TDH平台中，Search扮演两种角作为Hyperbase作为一个独立的服务，既是一个分布式文 系统，又是一个强大的全文搜索引

Search简 文档数据半结构化、非结构化数功能和性能均优于日志分析统计和日志类时间序列数据 和分分高聚合率的统计分搜索引多条件模糊查不指定列的全文搜

Search简 2

Search原Index（索引Search以Index为单位组织数据 ），一个Index中的数据通常具有相似的特与HBase中的索引（全局索引）不是一个概念，这里是指Search的数据对Type（分类Type是Index的逻辑分类，如何分类由用户决定，一个Index可定义一个或多个（文档Search的最基础数据单元，以JSON格－例如：员工的基本信息{"namezhangsan","age":30on_board_data":"2016-10-01",}Field（字段中的数 在Field

Search数据对象与传统二维表的映射关Type是Index的逻辑分类

Search原（文档分基本过－将词转换为标准形式，以提高查全率，如：电脑分词－英文分词器：standard、倒排索假设有两篇文－文档1的内容：TomlivesinShanghai,IliveinShanghai－文档2的内容：Heoncelivedin

Search原

Search原倒排索对文档进行分－文档1的分词结果：[TomliveShanghai]i]live－文档2的分词结果：[helive根据分词结果，构建倒排索词3,1I41[2],2,5,31

Search原SQLAPIAPISQLSQL SQLSQL100TB10服务器节点搜索分析性能（秒全文索引模糊匹 3

FullFullFullFull3 3

Search安装与配

Search安装与配

Search安装与配

Search安装与配

Search安装与配 4RESTEsdriveREST方在命令行中通过curl命 REST端口默认为示任务：搭建一个员工信息Index（Index名为 －Index的Type按部门分类：dev（研发部）、finance（财务部）和sales（销售部第1步：创建名为employee的

Search基本用 /* /*创建Indexemployee，pretty表示以JSONcurl-XPUT{"acknowledged":}/*向/*向Indexemployee的Typedevcurl-XPUT'localhost:9200/employee/dev/1?pretty'-d"firstname":"lastname":"age":"on_board_date":"2015-10-31","hometown":"Beijing","school":"NanjingUniversity","married":false,"about":"IloveBeijing/*式{"_index":"employee",//index"_type":"_id":"_version":"_shards":"total":"successful":"failed":"created":type//Shard}示第2步：编 ，即向Index中新增一条员工信

Search基本用 REST

Search基本用/*/*获取Indexemployee的Typedevcurl-XGET/*返回结果 {"_index":"employee","_type":"dev","_id":"1","_version":1,"found":"_source":"firstname":"San","lastname":"Zhang","age":26,"on_board_date":"2015-10-"hometown":"Beijing","school":"NanjingUniversity","married":false,"about":"IloveBeijing}}示第3步：查 是否存/*/*查看/employee/dev/1下是否存在 ，-i表示打印HTTPheader*/curl-i-XHEAD'localhost:9200/employee/dev/1'第4步：获 REST

Search基本用/*/*中的age改为30curl-XPUT'localhost:9200/employee/dev/1?pretty'-d"firstname":"lastname":"Zhang","age":30,"on_board_date":"2015-10-31","hometown":"Beijing","school":"NanjingUniversity","married":false,"about":"IloveBeijing/*号加1{"_index":"employee",//index"_type":"_id":"_version":"_shards":"total":"successful":"failed":"created":type//Shard}示第5步：更 REST

Search基本用/*/*删除/employee/dev/1curl-XDELETE示第6步：删第7步：删除/*/*删除Indexemployeecurl-XDELETE{"acknowledged":} Esdrive

Search基本用EsdriveEsdrive

Esdrive

Search基本用创建Esdrive内在Search中创建Index，同时在Inceptor中创建对应的映射表（Esdrive内表CREATETABLE<tableName>(<id>STRING,<col_name1><data_type1>,<col_name2><data_type2>,...)STOREDAS[WITHSHARDNUMBER<m>][REPLICATION<n>] Esdrive

Search基本用创建Esdrive内示例：创建了一张名为esdrive_inner_table的Esdrive内表，字段包含所有的数据类型，Shard为10，副本数为1，均采用默认createcreatetableesdrive_inner_table(key1string,sv0int,sv1boolean,sv2tinyint,sv3smallint,sv4sv5float,sv6double,sv7string,sv8date,sv9timestamp)storedas Esdrive

Search基本用创建Esdrive外在Inceptor中创建映射表（Esdrive外表），与已存在的Index建立映射关创建Esdrive外表时，不可指定Shard和副本CREATEEXTERNALTABLE<tableName><id>STRING,<col_name1><data_type1>,<col_name2><data_type2>,)[WITH '='_id,<cl1>,<cl2>,...')] Esdrive

Search基本用创建Esdrive外示CREATECREATEEXTERNALTABLEesdrive_external_tablekey1string,ex0int,ex1bigint,ex2double,ex3)STOREDBYWITHSERDEPROPERTIES('elasticsearch.columns.map TBLPROPERTIES('elasticsearch.tablename'='default.esdrive_inner_table'); 4.2Esdrive

Search基本用分词器 创建Esdrive内表时，直接用SQL－只用于内表中String类型的列，且不可以是内表的首不同语言类型，选择的分词器不/*对中文列指定分词器<col_name>STRING YZER'ZH' ② /*对英文列指定分词器<col_name>STRING YZER'EN' 4.2Esdrive

Search基本用为Esdrive表增加只用于Esdrive内表，不能用于外ALTERALTERTABLE<tableName>ADDCOLUMNS<col_name1><data_type1>,<col_name2><data_type2>,清空Esdrive只能清空Esdrive内表，不能用于外TRUNCATETRUNCATETABLE删除EsdriveLaIeceptorLaIeceptor 4.2Esdrive

Search基本用插入数单条插INSERTINSERTINTOesdrive_inner_table批量插BATCHINSERTBATCHINSERTINTOesdrive_inner_tableBATCHVALUES(VALUES('k2',3,true,3,4,5,6.1,7.33,'dsfx','2010-06-30插入时首列需唯INSERTINTOTABLEesdrive_start(key1,content,INSERTINTOTABLEesdrive_start(key1,content,tint,tbool)VALUES('1', oES',1, INSERTINTOTABLEesdrive_start(key1,content,tint,tbool)VALUES('2',osearch',2, 4.2Esdrive

Search基本用更新数UPDATEUPDATE<tableName>SET<col_name>=<value>WHEREeg:updateesdrive_inner_tablesetsv1=falsewhere删除数DELETEDELETEFROM<tableName>WHEREeg:DELETEFROMesdrive_inner_tableWHERE 4.2Esdrive

Search基本用对于Select语句，EsdriveSQL与InceptorSQL的用法完全相包括Where、GroupBy、Join、集合运算EsdriveSQL检索语义的实第1步：对被查询文本进行分词，生成倒排索第2步：对查询条件进行EsdriveSQL检索语义的优语义更丰查询性能更% 4.2EsdriveContains函通过Contains函数对查询条件进行分

Search基本用<col_name>,)Near操作token1~n：表示检索词（n2），token②③<col_name>,'<col_name>,'NEAR((token1,token2[,token3,...]),slop[,4.2Esdrive

Search基本用Contains函Near操作Select*from yze_zhwherecontains(content,'near((京东,阿里1,7Fuzzy操作①phrase：表示需要查询的短语。先经过分词得到多个token，查询结果必须包含分词后的所有②fuzziness：表示最大编辑距离（Levenshtein距离），用于表达短语之间的语义相似度，中文较复<col_name>,'FUZZY(phrase, 4.2Esdrive

Search基本用selectselectdtfrominceptorwherecontains(hphm,"term'鲁D528E8orderbydtlimitselectdtfrominceptorwherecontains(hphm,"prefix'鲁D528orderbydtlimitselectdtfrominceptorwhereconta