爬虫项目二-参考solr管理界面

solrsolr服务器管理界面可以查看系统状态、solr索引、增减core、查看日志等。))solr时间、solr显示solrCoreAdmin(core主要有Add主要有AddCore)，Unload（AddCorecoreinstanceDir一个perties文件namecoreinstanceDir：跟solr_homecoredataDir:确认AddCore时，会在new_core 下生成名为data的config：new_core中的conf 下的config配置文件schema:new_coreconf下的schema确认AddCorenew_core下生成perties文件。Java可查看到JavaCoreSelecter(core需要在CoreAdmincore好的collection1为例。 检验分词效果：我们对tvname词,取决于在schema.xml文件里,配置该字段时的type是否为配置的分词器类型text_ik)，tvname字段的分词配置如下所示。<!--把需要分词的字段，设置为text_ik<fieldname="tvname"type="text_ik"indexed="true"stored="true"/><!--配置分词器--><fieldTypename="text_ik" yzertype="index"isMaxWordLength="false" yzertype="query"isMaxWordLength="true" s（索引文档）增加一个索引tvname首先在schema.xml<field type="text_ik"indexed="true"stored="true"选择/update，文档格式选择json，然后submit修改与增加索引都是/update操作,删除索引为/delete操作。queryRequest-Handler(qt):操作类型(update\delete)。 TypeJSON、XML (s):添加具体的索引内容。CommitWithin:索引在规定时间内提交。Overwrite:值为trueidfalse，如果idBoost:版本。5.5Files 查询结果需要显示的字段,需要在schema.xml的stored属性设为true。Request-Handler(qt):select查询请求。q:查询字符串。sort:排序。fl:fieldlistdf:defaultfieldRawQueryParameters:查询参数设置wt:writetype指定查询输出结果格式indent:返回的结果是否缩进，默认关闭，用indent=true|on开启，一般调试json,php,phps,ruby输出才有必要用这个参数。debugQueryDebugdismax:设置权重相关。edismax:设置权重相关hl:highlight高亮显示。hl=truehl.fl：用空格或逗号隔开的字段列表（指定高亮显示的字段）hl.simple.pre：hl.requireFieldMatchtrue，字段的查询结果不为空才会被通配符匹配的term会高亮。facetFacetfacet.query：FacetQuery利用类似于filter。query更为灵活的Facet。通过facet.query参数，可以对任意字段进行筛facet.prefix：表示Facet字段值的前缀。比如 ，那么对cpu字段进行Facet查询，返回的cpu都是以In 开头的，AMD开头的cpu型号将不会spatial:solr的空间检索。spellcheck:拼写检查。solr配置文件schema.xml详解schema.xml位于solr/conf/下，类似于数据库配置文件，定义type、fields<!--保留字段，不能删除，否则报错--><fieldname="_version_"type="long"ue" <fieldname="_root_"type="string"indexed="true"type：FieldType<field type="string"indexed="true"<field type="string"indexed="true"<field type="string"indexed="true"<field type="string"indexed="true"<field type="string"indexed="true"<field type="string"indexed="true"<!--建立一个整合字段，将所有的全文本字段到一个字段中，以便进行统一的检索--><fieldame="text"type="text_general"indexed="true"stored="false"multiValued="true"/><!-拷贝需要索引的字段到整合字段中--><copyFieldsource="tvname"<!--文,否IK<!--添加IK词--><fieldTypename="text_ik" yzertype="index"isMaxWordLength="false"class="org.wltea. yzertype="query"isMaxWordLength="true"class="org.wltea. IK<!--把需要分词的字段，设置为text_ik<fieldname="tvname"type="text_ik"indexed="true"FieldTypenameFieldTypeclass：指向org.apache.solr. ysis包里面对应的class名称，用来<fieldTypename="string"class="solr.StrField"sortMissingLast="true"<fieldTypename="boolean"class="solr.BoolField"FieldType<dynamicField <dynamicFieldname="*_is"type="int" FiledType<fieldTypename="text_general"class="solr.TextField"<!--添加索引分词 yzer<tokenizer<!--停用词处理<filterclass="solr.StopFilterFactory"ignoreCase="true"<!--大小写处理<filter <!--查询索引分词 yzer<tokenizer<!--停用词处理<filterclass="solr.StopFilterFactory"ignoreCase="true"<!--同义词处理<filterclass="solr.SynonymFilterFactory"synonyms="synonyms.txt"ignoreCase="true"expand="true"/><!--大小写处理<filter Solrmysqlsolrmysql的storm向receivelog打开solrcore中conf 下的solrconfig.xml配置文件，添加如<lst<!—data-config.xml配置文件名称跟后面新建文件名一<strname="config">data-<!—name称可以随意取--><requestHandlername="/mysqlimport"在相 下新建一个data-config.xml文件，添加如下内容driver：mysqlurl：mysqlurl querysolr<?xmlversion="1.0"encoding="UTF-8" <dataSourcetype="JdbcDataSource"password="111111" <entityquery="selectid,loc,sex,ptfromreceivelog 找到Solr下的dist ，将solr-dataimporthandler-4.10.0.jar和solr-dataimporthandler-extras-4.10.0.jar两个jar包拷贝到tomcat中的solr项目中。mysqljdbcjar包并拷贝到tomcat中的solr77.进入solrcore<field type="int"indexed="true" multiValued="false"<field type="int"indexed="true"<field type="string"indexed="true"<field type="int"indexed="true"8.打开solrwebmysqlSolr配置中文分词:jar将ikjarsolr项目的libschema.xml<!—添加ik分词器<fieldTypena