酷应用

TeaTalk·Online演讲实录|技术探秘！移动云·可观测体系，应用黑盒助力高效运维

百家作者：AI100 2022-11-30 18:17:51

11 月 28 日，TeaTalk· Online 技术探秘系列活动第 1 期——“超强可观测体系，助力移动云高效运维 ”线上直播成功举办。本次直播我们跟王老师共享了最真实的智能运维实战经验，也了解了面向应用的超强可观测体系，是如何帮助移动云高效运维并解决难题。

以下为中国移动云能力中心运维平台产品经理，王瑞宇老师的演讲实录。

移动云在力争第一阵营，产品/应用急速发展，随着在生产中运用敏捷开发、快速迭代的研发方式，微服务数量指数增长，业务模块间的依赖关系错综复杂。其次，云原生的普及使得原有服务部署于的主机、虚机层级细化到 POD 级，监控对象数量剧增，容器频繁启停也成为常态。运维人员原先就难以理解应用内核，更难以在服务梳理、故障分析、根因定位上快速响应，业务连续稳定上面临严峻挑战。

本次介绍将从01、移动云运维难题；02、业界对标；03、面向应用的可观测体系；04、前端监控、后端调用链；05、云图拓扑、应用可视化分析；06、滚动规划六个方面介绍移动云可观测体系。

移动云的发展面临着观测对象激增、信息维度复杂、架构动态变化、组织协调困难等难题，移动云亟需从面向基础设施运维转到面向应用运维，急需解决面向应用运维存在管理对象多、乱、动态、协同难等问题。需找到打开产品/应用的钥匙。

移动云智能运维平台打造 Kunlun-Eye 应用可观测产品集，为通过技术手段解剖复杂应用，引导运维人员打开产品黑盒，提供前端监控产品 RUM 解决用户体验无法感知问题，提供后端调用链-APM 打开移动云产品服务间调用关系，连接可视化分析平台与场景化拓扑，使运维人员可深入服务中发现问题、定位问题、解决问题。

Kunlun-Eye 主要聚焦应用监控、前端监控，从应用维度实现从 Pod 到应用实例，从调用到服务的全方面监控，同时 Kunlun-Eye 从应用维度为上层的拓扑服务提供 K8S 应用网络拓扑和服务调用的拓扑作为云图应用视图。

KunLun-RUM 对标阿里前端监控产品 ARMS，重点监控页面的加载过程和运行时状态，同时将页面加载性能、运行时异常以及 API 调用状态和耗时等数据，对当前线上所有真实用户的访问情况进行监控。最后通过直观的报表展示，帮助移动云及时发现并诊断问题。凝练 4 大核心能力与一条基准。分别是：用户体验、链路追踪、一键诊断、智能告警与保证高性能/高稳定性。

面对云原生时代，多语言应用架构越来越普遍，不同语言的成熟度差异，使得全链路追踪无法做到完全的能力一致；移动云产品数量多，且分布在不同的资源池，上报数据量巨大；前端后端故障无法关联分析三大核心问题，Kunlun-APM 产品梳理埋点、采集、计算、呈现、分析全流程，总结出三大技术特点：分别是自研探针融合多语言/异构协议栈、链路数据跨资源池汇聚、前后端调用链联动。

面对移动云运营运维生产场景，KunLun-RUM 产品将用户体验、链路追踪、一键诊断、智能告警应用于现网场景中，解决现网用户体验难以感知、页面问题定位难两大难题。

KunLun-APM 产品通过探针技术、流式处理、聚合分析等技术方法，构建了基于前、后端应用的全链路追踪体系，将终端用户、后端应用、云端组件共同构成了链路追踪的轨迹拓扑大图，覆盖应用所关联的 IT 系统，能够完整记录用户行为在系统间调用路径与状态，并提供了 trace、应用、服务、接口、异常、告警等多种场景化分析功能，提升了故障发现效率，缩短了应用故障定位时长。

在面临业务依赖复杂、运维数据散落、故障现场遗失的现网故障难以处理问题上，搭建 KunLun-云图拓扑，通过全景拓扑观测、运维数据联动、生命周期闭环三大手段，建立全景观测中枢，在不同团队和成员之间架起桥梁，提高故障排查、根因定位、问题修复的整体效率。

随着 KunLun 应用可观测体系的发展，2022 年已具备 log、trace、 Metrics 采集、分析、呈现能力均已具备，但能力分散于多个系统，采集由多个 agent 完成，2023 年将融合已有能力，将各种可观测数据源进行关联、分析，具备统一采集、分发、处理、分析、应该构建能力，打造统一可观测界面，提高可观测性，支撑故障定界。