数据库场景下,由于操作系统某些进程操作(比如磁盘、网络等)占用i/o带宽过高,造成应用因为i/o带宽不足产生性能劣化的问题,如何快速、准确地诊断应用性能问题,并对问题进行定界定位是运维人员的重要挑战。
案例一
gaussdb应用磁盘io类故障在线诊断
该案例通过对gaussdb应用注入磁盘io故障来模拟。
1
故障注入前
应用实时拓扑关系如下图所示,gaussdb应用包含1个master(进程id:1548)和1个slaver(进程id:1739),运行在虚拟机vm02上,gaussdb master有5个客户端tcp连接。
此时,gaussdb的应用性能如下图所示,平均600 tps。
2
注入故障
在gaussdb的数据目录注入磁盘读写故障,命令如下:blade create disk burn --read --write --path /data --timeout 120
3
应用性能诊断
此时应用性能出现劣化,从大概600 tps → 60 tps,下降了近10倍,如下图所示:
故障发现与定位结果如下图所示,可以看出已产生应用性能劣化事件,原因是磁盘读写响应异常。
具体的故障传播关系如下图所示,可见应用性能劣化是因为磁盘写响应异常以及block层request时延异常,进一步的磁盘类异常是由于故障注入工具chaos(进程id:3941335)导致。
案例二
redis应用网络时延类故障在线诊断
1
注入故障
通过故障注入工具chaosblade注入2分钟网络时延故障,具体命令:blade create network delay --time 50 --offset 50 --interface ens1 --local-port 3742 --timeout 120
故障注入期间redis sli指标出现明显劣化,大概从10ms → 80ms
2
应用性能诊断
故障发现与定位结果如下图所示,可以看出已产生应用性能劣化事件,原因是网络时延异常。
具体的故障传播关系如下图所示,可见应用性能劣化是因为网络时延异常导致。
激光熔覆技术在煤矿用截齿上的应用
【世说设计】DC-DC转换器是否必须同步才能实现低辐射?
中微半导推出工业级MCU BAT32G113,芯片工作温度-40~125℃
COF基板二季度将涨价10%-15% 上达电子蓄势待发盈利在望
雄韬股份与电易投资签订储能电池战略合作协议
A-Ops数据库场景在线应用性能诊断案例
基于sigmastar SSD201/SSD202D核心板选型介绍
荣耀9vs小米6,性价比将在伯仲之间
ds1302做计时器准确吗
智能手表欲火 需跨三大难题
用NCV7685加速汽车后尾灯设计
驱动电源的隔离与非隔离是什么情况
施工期扬尘监测方案的基本介绍
MS2106S芯片介绍 /AV&SV转USB/AV转USB芯片/CVBS转USB芯片
区块链和电商未来的前景怎样
5G全力助力疫情防控,推动智慧医疗驶上“快车道”
自食恶果!微软错失引领移动OS良机
时下热门巨幕智屏大PK!TCL 98X9C IMAX巨幕智屏完胜华为智慧屏V98
磐石测控:PS-5300SD系列落地式转轴扭力试验机的产品详情?
Get网红明星同款拖把,蒸汽拖把什么牌子好