应用性能智能巡检最佳实践
概述
应用性能检测基于 APM 异常根因分析检测器，选择要检测的 service 、 resource 、 project 、 env 信息，定期对应用性能进行智能巡检，通过应用程序服务指标异常来自动分析该服务的上下游信息，为该应用程序确认根因异常问题。
前提条件
- 注册观测云，请参考：https://auth.guance.com/businessRegister
- 安装 DataFlux Func 平台。请参考：https://func.guance.com/doc/quick-start/
在观测云上创建创建 API Key
1、登录观测云控制台，选择「管理」 - 「API Key管理」。
2、创建新 Key。
3、复制并保存相应的 API Key，后续会用到。
部署应用智能巡检脚本
1、登录 Func 平台，进入脚本市场，安装观测云自建巡检 core 核心包脚本。
2、安装观测云自建巡检（APM 性能）脚本。
3、根据提示输入 API key ID ，API key 和 Guance Node，然后点击部署。
Guance Node 默认为杭州节点，节点情况可以参考：https://func.guance.com/doc/ui-guide-development-module-guance-node/
4、点击前往启动脚本跳转到开发页面。
5、点击执行脚本。
6、脚本执行成功后，登录观测云，在「监控器」 - 「智能巡检」可以看到 APM 性能巡检成功开启。
巡检事件报告
在本次智能应用性能巡检中，我们检测到 ruoyi-gateway 服务的 P99 响应时间出现异常，具体异常情况如下：
- 检测对象：ruoyi-gateway
- 异常描述：P99 响应时间呈现异常上升趋势
- 异常时间范围：2024-10-14 20:25 至 2024-10-14 21:15
根因分析
通过对 ruoyi-gateway 服务的深入分析，我们发现异常的主要原因如下：
- 服务响应时间增加：P99 响应时间从正常水平显著增加至 150ms，而正常情况下应为 90ms 以下。
- 请求处理延迟：在特定时间点，ValidateCodeHandler.handle 处理请求的时间超过了正常范围。
事件概览
在巡检期间，我们记录了以下关键性能指标：
- 平均响应时间：9.28ms
- 最小响应时间：162μs
- 最大响应时间：139.45ms
- 异常时段：21:25 至 21:15
异常详情
异常详情显示，ruoyi-gateway 服务在特定时段内响应时间显著增加，具体数据如下：
- 21:10：响应时间开始上升
- 21:10 - 21:15：响应时间达到峰值
异常影响
异常影响分析表明，以下服务和资源受到此次异常的影响：
- 服务名称：ruoyi-gateway
- 资源：GET /code
- 服务名称：ruoyi-nginx
- 资源：GET /prod-api/code
- 服务名称：ruoyi_web_demo
- 资源：/prod-api/code
异常链路采样
通过对异常链路的采样，我们发现以下链路 ID 相关的请求处理存在问题：
- 时间：2024-10-14 21:06:33
- 服务：ruoyi-gateway
- 资源：ValidateCodeHandler.handle
- 链路ID：8895535103034920389
告警通知
在异常发生时会收到如下告警信息：
点击“前往工作云空间查看”可以直接跳转到观测云事件查看器查看事件详情。
在根因分析页面，点击跳转链接，可以直接跳转到相应异常链路。
结论与建议
综上所述，ruoyi-gateway 服务在指定时段内经历了显著的性能下降，主要表现在 P99 响应时间的增加。这可能是由于后端服务处理延迟、资源竞争或配置问题导致的。建议采取以下措施：
- 优化后端服务：检查 ValidateCodeHandler.handle 的实现，优化代码逻辑，减少不必要的处理时间。
- 资源监控：增加对关键资源的监控，及时发现并解决资源瓶颈问题。
- 配置审查：审查相关服务的配置，确保服务设置合理，能够应对高流量情况。
- 性能测试：在修改后进行性能测试，确保优化措施有效，且未引入新的性能问题。
