2022基调听云悟空平台运维手册

DOCPROPERTYTrademark&ProductType产品商品名称DOCPROPERTYManualName使用说明书4产品业务功能DOCPROPERTYTrademark&ProductType产品商品名称DOCPROPERTYManualName使用说明书听云悟空平台运维手册版本V1.10STYLEREF封面-产品信息听云悟空平台STYLEREF封面-手册名称运维手册STYLEREF标题1-无序前言错误!未知的文档属性名称(DOCPROPERTYReleaseDate错误!未知的文档属性名称)同城灾备同城灾备场景听云各业务模块支持分布式部署，整体可以在同城或者异地机房进行分别部署，支持同城或者异地灾备，在主机房业务出现不可用灾难场景下，通过collector节点冗余和实时数据复制，在短时间内实现业务重构。灾备架构设计同城灾备架构场景中，备份机房节点搭建，需要与主机房保持一致，或者在不考虑备机房架构冗余的情况下，应用和组件采用单节点模式。Collector作为备点；MySQL为主机房mysql从库；Redis为主机房redis从节点；ES单独部署，配置与主机房保持一致；Druid单独部署，配置与主机房保持一致；NBFS单独部署，配置与主机房保持一致；DC、Wrap等应用节点单独部署，配置与主机房应用配置保持一致；Kafka、Zookeeper单独部署，配置与主机房保持一致。各节点的配置，请参见《听云产品文档_听云悟空平台_部署手册》中集群式部署配置说明章节。日常维护正常情况下，保持主机房各节点运行正常，探针所采集数据通过首选IP上传到主机房collector节点。MySQL数据通过主从配置复制到备份机房MySQL从库；Redis数据通过主从配置复制到备份机房Redis从库；ES数据通过文件复制定时拷贝到备份机房ES相应目录下；Druid数据通过文件复制定时拷贝到备份机房Druid相应目录下；NBFS数据通过文件复制定时拷贝到备份机房NBFS相应目录下。备机房ES、Druid和NBFS定时将复制数据入库，保持与主机房数据同步。MySQL和Redis数据通过主从机制保持与主机房同步。数据备份方式参见《听云产品文档_听云悟空平台_部署手册》中数据备份和恢复相应内容。灾备切换在主机房节点出现完全不可用的场景下，自动或者手工中断主机房collector网络，探针在首选IP不可达的情况下，会自动尝试向第二、三节点IP重传。同城异地场景下，备份机房collector自动接收探针数据。Collector在场景未完成切换的情况下，会将数据保留在本地，视本地磁盘大小不同，默认数据保留时间为30分钟。手工将MySQL从库提升为主库。stopslave;SETGLOBALread_only=0;resetslaveall;手工将Redis从库提升为主库。redis-cli-h-p6379slaveofNOONE重启备机房各应用节点。/opt/tingyun/script/service_manager.shrestartall灾备回切实现从备机房到主机房的回切，步骤与备机房搭建步骤一致，在完成在主机房各节点部署完成后，手工将备机房网络切断，探针完成自动IP地址切换。数据一致性实时数据：同城异地场景下，前端collector通过探针端的自动重传机制，可以保证实时数据从主机房自动切换到备份机房，备份机房实时数据保持连续。历史数据：受主、备机房数据复制策略影响，ES、Druid的数据复制周期通常设置为2小时，历史数据最大丢失时间为2小时。维护Q&A应用日志中报esindexreadonly，如何处理？第一步：释放磁盘空间，readonly一般是由于磁盘使用率大于es默认的水位线导致的。第二步：手动解除问题index的只读限制。curl-s-XPUT-H'Content-Type:application/json'-d@reset.json:9200/svr_health_targets/_settingscatreset.json{"index.blocks.read_only_allow_delete":null}用户体验分析自动嵌码怎么验证探针是否下发成功？过滤apm-dc-server的accesslog：tail-1000fapm-dc-server-access.log|grep"rum.script"apm-license-server启动异常异常：Errorcreatingbeanwithname'sequenceService'definedinclasspathresource[spring-service.xml]:Invocationofinitmethodfailed;nestedexceptionisjava.lang.NullPoin