MySQL运维与设计实战:从故障到稳定高效
|
去年2月17号凌晨三点零七分,我盯着Zabbix告警里MySQL连接数爆到3821那条红字,手抖着敲进show processlist——结果没等出来,主库就切走了。不是高可用自动切的,是DBA在Slack里发了句“我手切的”,紧接着就是一串tcpdump抓包命令甩进来。我那时候还在工位上嚼半融的薄荷糖,桌上速溶咖啡结了一层膜,像块快干透的皮。 事后复盘?呵,根本没机会复。刚把慢查日志grep完,客服钉钉闪出三条:“首页标题变‘欢迎访问XX成人用品官网’”“会员中心跳转到博彩页”“后台多了个陌生账号,昵称叫‘admin_root_v2’”。不是SQL注入,不是弱口令爆破,是那个被我们当成“运维辅助插件”的CMS后台模块,自带一个硬编码的/config.php.bak路由,返回了整个配置文件——数据库密码、密钥、甚至阿里云OSS的AK/SK全在里面。那天凌晨,连门禁响了一声,我都下意识抬头看摄像头——怕是有人真站在机房门口刷工卡。 跟托管方吵过。他们说“WAF规则你得自己调”,我说“你们漏放了GET /index.php?m=content&c=category&a=init&catid=1%20UNION%20SELECT%201,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20--”——对方停顿三秒,回了个“嗯”就没声了。显示器上贴的便利贴还写着“备份策略确认(已打钩)”,那是我三天前写的,钩画得特别用力,墨水渗进了屏幕边框缝里。 防火墙规则里留着一条没删的:-A INPUT -p tcp -m tcp --dport 3306 -s 192.168.100.42 -j ACCEPT。192.168.100.42是测试环境那台早该下线的旧JumpBox,去年11月就没人登过,但这条规则一直在。不是疏忽,是当时交接文档里写了“保留用于临时审计”,结果谁都没动它。漏洞扫描报告第17页第三项,“MySQL远程未授权访问风险(中危)”,后面跟着一行小字:“建议关闭非必要端口或添加IP白名单”,旁边被人用签字笔划了道横线,又补了俩字:“再议”。我没删,也没加,就这么晾着。 最邪门的是那条陌生注册记录:手机号1388889,邮箱fake@yunpan.cc,注册时间2024-02-16 23:47:16,设备指纹ID是da7e6b9a-3d2f-41b1-9c0a-0128d8a1f3c2。后来发现这个ID在两天前的一次登录失败日志里出现过,失败原因码1031——密码错误,但IP段是阿里云华北3的BGP出口,和我们的CDN节点完全重合。同事把椅子转过来又转回去三次,最后说:“这玩意儿是不是从我们自己CDN回源打进去的?”空调出风口挂了个塑料袋,是运维组上周贴的标签,写着“风量检测用”,但袋子早就瘪了,只吊着半截胶带飘着。 “MySQL运维与设计实战:从故障到稳定高效”?别扯了。这不是实战,是拆弹现场——你得一边剪线一边听倒计时,剪错一根,不是爆炸,是数据错乱+二次注入+缓存雪崩三连。所谓“稳定高效”,本质是拿人肉盯屏换来的延迟感知。我亲手把所有应用侧的mysql_connect()全改成PDO::ATTR_EMULATE_PREPARES = false,不是因为多懂,是因为看到某次prepare之后execute传参,直接把$_GET['id']塞进了占位符右边的注释里——连语法都没报错,MySQL照单全收。
文章配图,仅供参考 现在,我把mysqld_safe的systemd服务文件改了三处:启动前检查/tmp/mysql.sock是否存在;超时kill前先dump thread_pool状态;每次crash后自动生成/etc/my.cnf.d/recovery_$(date +%s).conf并触发Git commit。不是为留痕,是怕哪天我又忘了删掉那条192.168.100.42的规则。证书到期提醒上周又来了,Subject: CN=.xxx.gov.cn,有效期至2025-02-19,提醒邮件抄送列表里有我,但没抄DBA。我已经在本地写了个check_cert.sh,跑完直接curl POST到钉钉机器人,消息里带着openssl x509 -in /etc/pki/tls/certs/xxx.pem -text | grep "Not After"的输出行。接下来三天,我要重跑所有存量业务的SELECT语句,逐条确认是否用了ORDER BY RAND()——上次那个撞库脚本,就是靠扫这类查询拖垮连接池的。另外得翻出三个月前那批上线的API文档PDF,在“数据库约束”章节空白处,用手写补上一句:“严禁使用TRIGGER做权限校验,尤其是INSERT INTO logs”。补完,拍照,发给CTO,不等回复。毕竟,他手机壳上还贴着去年双十一的值班表。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


Android工程师必学:MySQL运维与高可用实战
零基础也能懂:服务器开发与网站运维实战手册
视障用户不是例外:电商网站无障碍运维避坑指南
嵌入式开发十年:从单片机到边缘智能的运维演进
SQL Server数据库设计避坑12实战要点
SQL Server DBA六年实战运维手册
MySQL实战手册:架构师与DBA协同设计运维
