2025可观测性体系建设

TOP100高频问链路的稳定性和可靠性，“云深不可见”难题突显。为解决上述难题，“（Observability）”应运而生。可观测性是当今IT领域最热门的话题之一，它可以帮助企业实现数据价值最大化、加速企业数字化转型。 CONC OBSERVABILQ1云计算时代下，企业的应用交付链路越来越复杂，云原生、微服务、大型分布式等新技术给企业带来竞争力的同时，也带来了全新的挑战，“云深不可见”难题突显。这些高度动态化、分布式的云原生技术与以往截然不同，这导致复杂性变得一发不可收拾。这些复杂性已经超出了现代IT团队的管理能力极限，并且还在不断扩大。若想解决这些复杂的挑战、并随时了解瞬息万变的环境中所发生的一切，需要全新的技术出现，“可观测性（Observabilty）”应运而生。可观测性是当今IT领域最热门的话题之一，Gartner将其列为“2023年度企业十大重要战略技术趋势”之一，并指出可观测性以帮助企业实现数据价值最大化、加速企业数字化转型。2021功推动了中国通信行业标准的立项。尤其是近年来云原生的广泛普及，“可观测性”逐渐取代“监控”成为了企业IT建设与运营的不可或缺的核心能力。可观测性作为一种技术或方法，具有广阔的发展空间，除了在IT运维领域，还可以在许多其他领域发挥作用并取得突破，为社会发展带来积极影响。Q3什么是可观测性的“三大支柱可观测性有三大支柱，包括指标（Metris）、日志（s）、跟踪（s）。这三大支柱共同构成了现代可观测性的基础，帮助开发人员和运维人员更好地理解和监控系统。Q4Remedate（止损）来思考如何、MTTI、MTTR等指标相响应。因此，基于三大阶段的思维来构建可观测性能力，团队可以快速地从遥测数据中获取价值。Q5 可观测性的“支柱”⸺系统运行状态监测：通过在系统中埋点或统计已有数据，如PU使用率、访问S、响应耗时等，开发人员可以快速了解到系统的运行状态。出现问题后，各个指标数据会首先出现波动，这些波动会反映出系统是在哪些方面出现了问题，从而帮助排查和解决问题。 可观测性的“支柱”⸺ 可观测性的“支柱”⸺可观测性的构建块--分布式链路追踪分布式链路追踪仪是一系列存在关联关系的事件，提供依赖包，能自动创建并管理这些事件的关联关系。可观测系统中的链路仅是一连串相关联的事件，为了进一步探究可观测统的可能性，必须研究链路追踪系统的内部原理。链路追踪是一种重要的软件调试技术，在整个程序执行过程中记录各种各样的信息，以诊断问题。分布式链路追踪是追踪单一请求整个过程(链路)的一种方式，且该请求过程可能经过一个应用中的多个服务。为了满足功能，请求可能要跨进程、机器甚至网络边界，这也正是“分布式”的由来。微服务架构的流行导致调试定位微服务间故障和性能问题的需求攀升。但是，一旦请求跨边界--比如从机房到云基础设施中，或者从你控制的基础设施到你不控制的S服务，然后返回，这时对于诊断问题、优化代码和构建更可靠的服务，分布式链路追踪可能就非常有用。依赖关系可能使问题变得模糊不清，如果不能清理解依赖关系，调试可能就会变得尤为困难，链路能帮助你理解系统依赖关系。 Q10 Q14 可观测性的核心分析循环基于第一性原理，专注于发现未知的故障模式，尤其是那些未被预见的问题（即“未知的未知”）。优化可观测性的关键在于理解所编写代码的实时状态，这些状态比业务逻辑变化更频繁且更不可预测。因此，可观测性在应对快速迭代、复杂环境中的调试需求时尤为重要。CATIONOF ABILITYTEC Q17用elasticsearch、clickhouse，对于具备一定规模的拓扑类数据的存储，可以采用图数据库neo4j。可观测对象数据和配置数据Q18 BonreeONE可观测全域数据模型从模型定义即实现了以实体为中心实现元数据、事件模型、日志模型、指标模型、调用链模BonreeONE平台流畅地进 实现探针端的数据管理。安装探针时，需用数据网关汇总观测数据。可先用nginx转发数据，再自研数据网关实现更多功能。完整上报。保证探针稳定保证数据时效完成数据治理工作数据传输通信。在数据传输过程中，传输的可靠性对于可观测系统来说非常重要。数据安全 建设统一的数据检索视图 丰富的数据展现形式是直接的价值体现。为了让企业人员以低成本的方式理解和使用可观测系统，UI界面设计需要重点考虑数据可视化的建设能力。丰富表现形式的数据看板是非常有必要的，经过探针采集得到的中间件指标，以及业务服务性能统计结果，都可以保存到高性能时序数据库中。最终通过类似Grafana图表的形式展现出来。Grafna提供了强大的时序数据查询语言，可以灵活生成各类图表。关系拓扑图也会作为可观测系统展现的一个主要模式，以助于企业人员梳理不同资源对象之间错综复杂的关联关系。例如，业务地图的使用，就能够帮助架构师梳理清楚不同业务系统的详细架构。 在数据模型的设计上，数据信息需要尽可能通用并且可扩展。例如，建设者可以直接使用OpenTelemetry 据的上下文连接。举一个具体的例子，当某个业务容器的占用率高。此时，采集探针已经将容器的P指标采集完成，并且在指标数据中标注该指标产生于容器，所属的主机是B。与此同时，容器中的服务C正在被其他服务访问接口，执行了一段消耗U资源的代码。采集探针抓取到了一条链路数据以及性能分析数据。链路数据和性能分析数据被标注产生于服务C，容器A，以及主机B。另外，服务C打印出了一段重要的日志信息被探针的日志采集模块检测到，探针对日志数据标注为服务C，以及主机B。 字段的聚合得到的。可观测性能力建设者可以采用大数据组件中的滚动窗口函数，实现对数据字段的聚合统计。遥测数据经过数据统计加工处理，输出的结果可以进入到特征库中，被AI分析所使用。最后，可观测系统还需要具备图数据分析能力，用以处理可观测系统中产生的大量拓扑图数据。例如，可观测性能力建设团队可将服务关系拓扑中不同服务节点之间访问耗时信息定义为关系边的权重。每当拓扑中的服务出现访问超时问题，图分析模块可以计算出服务调用超时的关键全链路调用路径，通过路径中最后一个节点来得到产生超时问题的根因服务节点。

。采集探针端在数据上报过程中，应支持类似API的token信息，手机号等必须统一替换掉。

使用ElasticSearch、ClickHouse等非关系数据库。在大规模日志采集场景下可以添加Kafka场景时，也可以选择HDFS/HBase存储。对于指标数据推荐使用Prometheus存储（Prometheus本身也实现了TSDB数据库），但是原生的TSDB对于大数据量的保存及查询支持不太友好，该数据库不能保证可靠性，且无法支持Prometheus集群架构。而Thanos和Cortex都是在数据可靠性和集群高可用方面进行了优化和增强，目前都是CNCF孵化中的项目，也是不错的选择。在大规模场景下还可以选择openTSDB或Clickhouse来进行指标数据存储。

博睿自研的 AI自适应生成式人工智能有170多项技术加持，国内独家的“无监督知识图谱”根因分析算法，无需人工

在s领域，通过可观测产品的实时监控能力，研发团队能够及时发现性能瓶颈或异常情况（通常跟踪关键的系统指标，如PU使用率、内存消耗和网络流量等），在研发过程中就能快速发现异常问题并采取措施，将性能问题遏制在摇篮里。可观测产品自动化的故障检测机制能够帮助产研团队追踪业务请求在系统中的路径，识别和解决跨服务的问题。Q35可观测工具如何助力企业实现高效的云成本FinOps 我们对软件系统的“可观测性”定义为：一种度量能力，旨在促进企业更深入地理解和阐释系统当前所处的任意状态，无论这些状态多么新颖或异常。此能力需支持在特定的迭代分析过程中，跨系统状态数据的所有维度及其组合，对比并调试这些新颖或异常的状态，且无需预先定义或预测相关的调试需求。若能在无需发布新代码（例如，增加调试日志）IT架构中的关键组成部分，Kubernetes、Serverless等都是时下极其重要的云原生技术。KubernetesPod是动态变化的，可观测产品能够实时监控这些实例的健康状态、资源使用情况（CPU、内存）以及生命周期事件，以确保容器化应用的稳定性和性能。在Kubernetes中，服务之间的通信非常频繁，可观测产品可以提供服务发现功能，帮助用户了解服务间实时变化的依赖关系和调用链路，快速发现、识别性能瓶颈和故障传播路径。可观测产品能够很好地适配Kubernetes自动伸缩和负载均衡能力，Serverless环境中，函数即服务（FaaS）是核心。Serverless函数的冷启动的时间和频率，帮助优化启动策略和提高用户体验；监控事件的触发、处理和响应时间，确保事件处理的及时性和正确性；监控Serverless函数的成本，分析资源使用模式，提供优化建议，帮助用户节省成本。 可观测性如何应用在AI/MLAI/ML可观测性指的是在AI（ArtificialIntelligence，即人工智能）和ML（MachineLearning，即机器学习）系统的开发、部署 可观测性为SRE（SiteReliabilityEngineering，即服务可靠性工程）基于数据驱动的运维提供基础支撑。SRE理论认为，系统风险是难以避免的，因此针对系统风险进行的管理和容错是第一要务，其中风险管理及容错设计的核心是SLO（ServiceLevelObjectives，即服务等级目标）。由于系统风险难以避免，因此SRE的目标并不是达到100%可观测性产品在定义SLI（ServiceLevelIndic，服务等级指标）方面具有持续采集性能数据的优势。可观测性可有效提升示的仪表板。可观测性产品能有效提升SRE团队工作成效。作为SRE有效地监控、分析和优化生产系统至关重要。 可观测能力促进人力成本优化。人力是除IT资源成本以外云上成本对重要支出项，为了让核心工作人员聚焦在核心工作上，需要权衡研发工作和稳定性保障工作，可以结合可观测性在SRE上的应用场景，通过深思熟虑的O来做关键决策，确定工作优先级和对用户更有价值的工作。 Q43可观测产品采集的用户行为数据还可以在A/B测试和优化实验中发挥关键作用。通过对比不同版本或策略对用户行为和关键指标的影响，企业可以确定最有效的实践和策略，进而优化产品功能、界面设计和营销策略，以提高用户的参与度和业务绩效。可观测性产品中采集的数据可以揭示用户在使用过程中遇到的问题，如页面加载速度慢或导航结构复杂等。企业可以利用这些数据快速发现并解决潜在的用户体验问题，包括性能瓶颈和功能异常，从而提升用户满意度和留存率。

主机可观测是指对物理服务器或虚拟机的性能和健康状态进行实时跟踪。通常包含使用率、内存占用、磁盘、网络流可观测侧重于跟踪和管理运行在主机上的各个进程，包括进程的启动、停止、重启以及它们的资源消耗情况。

可观测性平台界面需要构建一套资源体系，以方便资源对象的管理与治理。统一构建的可观测性平台，接入了大量的遥测数据，数据中包含着大量的实体和关系，因此需要一套产品化的资源体系以实现管理与治理。这些实体和关系构成了对象模型，通过资源体系来组织对象模型，能够让用户体系化地管理可观测对象。资源体系的组织类似于CMDB，但又不等同于DB。资源体系是动态生成的，实时性高，不需要手工配置、手工校准即可自动生成一体化的配置信息、依赖关系。资源体系的客观性、实时性、自动化特性，在s根因分析与影响面分析场景中，具有绝对的天然优势。对象模型一般包括物理对象模型、逻辑对象模型。以Dynatrac的对象模型为例，它定义了Srvice服务、进程组（Group）两种逻辑对象。1）运行Service和PG的主 Host。2）PGI（程组实例），SI（服务实例），一个服务实例被发现并运行在一个PGI

指标体系是一套用于衡量、监控和评估系统可观测性的定量标准和指标集合。可观测性平台可以定义全部的指标及其详细信息，以供用户对于体系内的指标数据有更好地了解掌控并进行管理。关键指标体系的建设，多关注结果类指标（标），多关注现象；少关注原因类指标（或称技术类指标），少关注过程。故障场景的建设，或能力的建设，与指标体系的建设类似，应该是从上往下、由表及里、逐层推理的。

括对日志文本文件进行结构化处理，并提供了一系列函数，如日期处理、正则表达式匹配、N解析、地址处理、URL解码、脱敏等功能。这些函数可以帮助用户快速处理和转换数据，以满足各种分析和查询需求。BILITYBU ANDIMP O 高可观测可靠性的重要意义可观测性可观测性平台⸺

因果可观测性通过拓扑为遥测数据(指标、链路、流量、日志)提供上下文，随着时间的推移关联所有数据，追踪变化如何在整个堆栈中传播，从而丰富网络通信数据，加强云网络空间性能监控，强化拓扑为可观测数据提供锚点，构建自动化空间地图，提供所有堆栈的三维空间关系，将内部系统彻底白盒化构建自动化因果关系，加速根因识别定位。 自动根因定位，找到何处出错、为何出错(定界、定位，AutomaticRCA)；

L5业务可观测性（BusinessObservability）的主要目标和功能有哪第二

在基于监控的传统方法中，告警机制主要聚焦于那些最易量化的情形。指标被用于追踪反映系统基本状态的数据点，这些数据点可能预示着服务底层进程的效能低下，或是与潜在问题相关的预测性信号。例如，U使用率超过80%、内存可用率低于10%、磁盘空间接近饱和、运行线程数超过某阈值等状态，均可能触发告警。然而，这些告警往往缺乏行动导向的明确性，导致在软件行业中，基于监控的告警系统信噪比低下，进而引发告警疲劳。Q56什么是SLO(服务水平目标)是测量服务健康的内部目标。该概念在GoogleSRE一书中得到普及，SLO是在服务提供商和他们的客户之Q57可观测数据与SLOO作为一种先进的监控手段，其应用范围并不仅限于可观测性领域，但可观测性数据无疑为O模型增添了额外的效能与深度。在计算错误预算的消耗速率时，事件数据为生产服务的实际运行状态提供了更为精确的评估依据。仅仅知晓O面临违背的风险，并不足以提供充分的洞察力来明确哪些用户群体、哪些依赖服务受到影响，或是何种用户行为组合在服务中触发了错误。和具体位置。这一结合策略构成了SRE（SiteReliabilityEngineering）方法和可观测性驱动开发方法的关键组成部分。通过对

键。多源数据：Metrics、Logging、Tracing三大大主要数据源，外加逐渐受到关注的Events和Profiles企业更加关注投入产出

云原生计算基金会（）对云原生的定义是：云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够重大变更。

从表面上看，使用微服务工具链本身没有对采用新的社会技术实践有明确要求。但为了实现技术所承诺的好处，改变工作习惯也是必要的。虽然从既定的定义和目标中应该可以明显看出这一点，但团队通常会采取几个步骤，然后才意识到他们的旧工作习惯并不能帮助他们解决这项新技术带来的管理成本。这就是为什么成功采用云原生设计模式与使用可观测系统以及sSRE实践是密不可分的。同样，sSR都强调了缩短反馈循环和减少重复工作的愿望。DO通过文化驱动开发和运维团队之间的合作，实现“更有价值、更迅速、更安全、更快乐”的合作关系，SREs和SR方法以及可观测性的结合比它们单独的每个部分都更强大。

SRE专注于根据服务级别目标(SLO)和错误预算(errorbudget)/修复等场景采用可观测性外，具有前瞻性的DevOps和SRE团队还使用功能标志(featurefagging)、持续验证

云原生环境是现代IT架构中的关键组成部分，Kubernets、Serv等都是时下极其重要的云原生技术。Kubern环境中的容器和Pod是动态变化的，可观测产品能够实时监控这些实例的健康状态、资源使用情况（如U、内存）环境中，函数即服 更高的增量收入通过避免事故节省成本 关的议题。若新开发的功能无人问津，或客户因持续遭遇问题而面临流失风险，这将对业务健康构成严重威胁。例如，随着实践日益受到主流关注，具备前瞻思维的领导型工程团队正逐步打破传统壁垒，采用跨功能的方法来衡量业务运行状况，而不仅仅局限于系统的性能和可用性。

统一信息处理的第一步是统一信息采集

步的处理。其中包括对日志文本文件进行结构化处理，并提供了一系列函数，如日期处理、正则表达式匹配、JSON解析、IP系统故障的根因分析是一种高级技能，其核心是识别和解决问题的根本原因，以防止问题的再次发生。通过有效利用可观测性数据，用户能够深入了解系统的行为和性能，并从中找出问题的源头，从而更好地改进和优化系统的稳定性。通过可观测性数据可以有效收敛对问题上下文的描述信息，根据调用链路和运行时监控生成依赖关系因果图，结合知识图谱或图神经网络等智能算法，从而快速判断故障影响的系统范围和根因类型，并以告警形式将故障根因结果和推荐解决方案通知到运维人员，进而最大幅度提升问题定位效率，缩短MTR。通过可观测能力以流量录制方式针对故障现场进行自动化保存，通过回放现场数据在沙箱环境自动播放故障前后演变数据和传播链路图等，便于事后更全面的发现系统问题和瓶颈，有效提升系统可靠性和稳定性。

Linux、MacOS、Windowsx86、amd64、arm、arm64Docker、Kubernetes、OpenshiftMySQL、Redis、InfluxDB、SQL观测性台的术选型与OLOGYSE ATIO

第一点

OpenTelemetry支持数据规模支持使用简便 13第二

从公共云提供商收集遥测数据：例如来自AmazonCloudWatch、MicrosoftAzureMonitor和GoogleCloudOperations的数据。多 OTel能捕获链路、指标、日志和其他应用遥测数据，并允许你将其发送至所选后端。OTel已经成为目前可观测性方案中对应OTel仅需埋点一次，就能发送遥测数据到用户选择的任何后端系统，而不需要考虑是否开源或独有。采用分布式链路追踪最大的挑战便是获得足够多的数据，以便将其与对系统的已有认知进行匹配。如何让可观测性系统了解服务、节点和依赖以获取深入远见?为此，Oel纳入了自动化探针来缩短用户得到数据的时间。因为OTel的宗旨是云原生系统和微服务的快速上手，所以它支持服务之间交互的最常用框架。例如，Oel能够自动生成针对gRPC的入站与出站流量、P请求、数据库访问以及缓存操作等服务的链路追踪span。这一功能至少使得在复杂的微服务架构及其下游依赖关系中，企业能够清晰地洞察服务间的调用关系。

最佳做法是将探针部署至生产环境进行测量，同时采取一定的控制措施。例如，可以通过功能标志（featureflags）来限制新功

以BonreeONE一体化智能可观测平台为例，应用性能观测模块包含系统性能观测、服务性能观测、接口性能观测、数据库性该平台不仅能够实现对系统各层面的深入了解，包括服务状态、网络性能、资源消耗等关键方面，还能够辅助快速定位问题根源，从而优化系统性能。通过应用性能观测，可以确保系统稳定可靠，实现问题的迅速定位与解决，进而提升系统的整体稳定性和可靠性。 真实用户可观测（RUM，RealUserMonitoring）用于分析和监测用户在实际使用应用程序或网站时的体验，帮助改善产品和服请求和H5加载前端问题、DEM-RUM+APM完整调用链识别后端问题、DEM-RUM无缝衔接后端）等场景。以BonreeONE观测、Kubernetes

以BonreeONE一体化智能可观测平台为例，从技术能力上看，智能告警分为Alert和AI两部分。AI通过AI检测、AI预测、AI根监控等功能。智能告警功