阶段总结使用es工具升级数据接入索引构建

【阶段总结】使用ESlogstash-input-jdbc先解压后安装logstash-input-jdbcbin/logstash-plugininstalllogstash-input- 下新建cpmysql-connector-java- s/java/logstash/logstash-mysqlselect语句，然后通过logstash-input-jdbc的配置文件方式导入首先配置jdbc.confvimjdbc.confinputstdin}jdbcmysqljdbc_connection_string=>"jdbc_user=>"root"jdbc_password=>"root"jdbc_driver_library=>"/Users/hzllb/ jdbc_driver_class=>"com.mysql.jdbc.Driver"jdbc_paging_enabled=>"true"jdbc_page_size"50000"#sql文件路径+名称statement_filepath=> #设 间隔各字段含义（由左至右）分、时、天、月、年，全部为*默schedule=>"****}}outputES的IPhosts["localhost:9200"]#索引名称index=>_type=>IDidid_id=>}stdoutJSONcodec=>}}然后编辑jdbc.sql加入全量查询的sqlvimjdbc.sqlselectselecta.id,,a.tags,concat(a.latitude,',',a.longitude)asloca_name,a.seller_id,c.remark_scoreasseller_remark_score,c.disabled_flagasseller_disabled_flagfromshopainnerjoincategorybona.category_id=b.idinnerjoinsellerconc.id=a.seller_id全量导入索引完成后我们尝试使用时间戳纬度做增量导入，即logstatsh-input-jdbc每隔一定时间执行某条sql，在对应sql内加入updated_at的时间范围，es中jdbc_connection_stringjdbc_connection_string=>"mysqlinputstdin}jdbcjdbc_default_timezone=>jdbc_driver_library=>jdbc_user=>"root"jdbc_password=>"root"jdbc_driver_class=>"com.mysql.jdbc.Driver"jdbc_paging_enabled=>"true"jdbc_page_size"50000"#sql文件路径+名称last_run_metadata_path=> statement_filepath=>"/Users/hzllb/ #设 间隔各字段含义（由左至右）分、时、天、月、年，全部为*默schedule=>"****}}outputES的IPhosts["localhost:9200"]#索引名称index=>_type=>IDidid_id=>}stdoutJSONcodec=>}}//增量sqlselectselecta.id,,a.tags,concat(a.latitude,',',a.longitude)asloca_name,a.seller_id,c.remark_scoreas_name,a.seller_id,c.remark_scoreasseller_remark_score,c.disabled_flagasseller_disabled_flagfromshopainnerjoincategorybona.category_id=b.idinnerjoinsellerconc.id=a.seller_idwherea.updated_at>:sql_last_valueorb.updated_at>:sql_last