9年容器运维工程师:用智能引擎唤醒沉睡数据
|
去年二月,凌晨三点十七分,我盯着后台异常登录时间——02:48:13,IP 192.168.122.47(内网段,不该出现在 access.log 里的虚拟机宿主 IP),用户名 admin_tech_2021(不是我们建的,也没人记得这命名规则),只登陆了一次,没执行任何命令,连 bash history 都空着。我就坐那儿,椅子转过来又转回去,桌上的速溶咖啡结了一层膜,没碰。 那会儿没人报障。WAF 日志里没触发拦截,防火墙规则没新 hit 记录,证书到期提醒是三天后的事,跟这事没关系。但访问日志里有一行硬是卡在我脑子里:“GET /api/v2/user/profile?uid=77812&token= HTTP/1.1”——token 参数空着,uid 是个真实存在但三个月没登录过的老账号,后面还跟着一个没闭合的引号。不是 curl 漏写,是被人手敲进去的,少打了个单引号,还发出来了。 事后翻 registry 拉取记录,发现那台 192.168.122.47 的宿主机,在两天前拉过一个叫 nginx-proxy-init:v1.2.9-rc 的镜像,digest 不在我们制品库白名单里。我们没跑它,但 kubelet 没拒绝——因为它签名用了内部 CA 签的 fake cert,CA 根证书去年就埋在 node 节点的 /etc/ssl/certs/ 下,名字叫 ca-dns-legacy.pem,是我们当年迁集群时漏删的测试证书。扫描报告里早标红过三回,一直没处理。这次它真派上用场了。
文章配图,仅供参考 这不是挂马,不是注入,也不是撞库。就是有人拿着我们自己留的后门钥匙,拧开了侧门,进来看了看,留下一行不完整 URL,然后走了。没删配置,没改 env,没写 cron,甚至没碰 /var/log/audit。就纯看——像查房一样扫了一遍 pod label、secret 名称、ingress host 规则,最后顺手在 /tmp 下放了个空文件夹,叫 “__cache_sync__”,时间戳是 02:49:01。我们监控没配这个路径,所以没人知道。 空调出风口挂了个塑料袋,不知道谁挂的,晃了整晚。我拿手机拍了张照发给运维群,附言:“看看这个目录,别问我怎么发现的。”群里静了十七分钟。后来 DevOps 同事回了句:“你确定是它?我们上周刚把 helm chart 里那个 initContainer 的 volumeMount 路径从 /tmp 改成 /dev/shm 了……”——对,他们改了。但 deployment rollout 时,有个蓝绿发布切流脚本漏掉了其中一个 namespace,那个 namespace 里的 pod,还在用旧 chart 模板起的容器。漏掉的那个 namespace,刚好跑着我们的会员系统。漏洞扫描报告第 47 页,第 3 列,“已忽略项”,写着“非生产环境 initContainer 权限问题”。 谁在电话里说了句“嗯”就没声了——是我们托管方安全团队负责人。我问他:“你们说的‘智能引擎’到底是在分析流量还是分析 log 里那些被截断的请求?”他停了三秒,说:“嗯。”再没下文。后来我自己搭了个轻量 collector,不走 ELK,直接从 filebeat agent 抽原始 access.log 行,喂给本地跑的 small-llm 微调模型(7B,LoRA,训了四天,数据就来自我们过去十八个月的 access.log 和对应 timestamp 的 kube-apiserver audit.log 对齐样本),让它标“可疑模式”。它标出来第一条就是:带未闭合引号的 GET 请求 + 空 token + UID 存在但 inactive > 90 天。不是规则匹配,是上下文嗅出来的。它比 WAF 更早看到那行请求——因为 WAF 只看 header 和 body,而它看到了 query string 末尾那个悬空的单引号和后面零字节的间隙。 门禁响了一声,是保洁进来换垃圾桶。她看了我一眼,指了指显示器上贴的便利贴——是我随手写的:“check /tmp/__cache_sync__/ — not empty?” 她没说话,但把便利贴往下扯了扯,盖住了问号。那晚我没删那个目录,也没动里面的东西。现在它还在,权限 700,owner root:root,mtime 锁死在 02:49:01。我留着它,等下次审计的时候,有人能认出这是个缓存同步假动作,还是某个自动化流程留下的幽灵残留。 “用智能引擎唤醒沉睡数据”?醒是醒了,可它喊的第一句是“这儿有扇门虚掩着”,而不是“这儿有个人正推门”。引擎不判断意图,只放大异常密度。我把 access.log 喂给它的第一天,它就爆出了 273 条“类似结构”请求——全来自同一个境外 CDN 节点,全带空 token,UID 却五花八门,有些甚至不存在。我人工抽样看了二十条,十七条后面都跟着一个 401,三条 404,剩下一条……返回了用户头像 base64 字符串,但 content-type 写的是 text/html。后台多了个陌生账号、首页标题被人改了、搜索引擎里出现了奇怪的词——这些事儿没发生。但那些请求本身已经发生了,就在那儿,像一堆没拆封的信,地址都对,收件人栏却空白。 我不信“智能”能代替 grep -v ‘healthz’ | awk '{print $1}' | sort | uniq -c | sort -nr | head -20 这种操作。但我开始信:当它把 273 条空 token 请求自动聚成五个语义簇,其中第三簇的 UA 字符串里嵌着一段被 base64 编码过的 curl 命令片段(解出来是 kubectl get secrets -A --field-selector …),这时候,你得把手从键盘上抬起来,去翻三年前某次灾备演练的备份快照索引表——因为那段 curl 指向的 field-selector 条件,恰好匹配我们在那次演练里为测试“凭证泄漏场景”手工伪造的一批 secret label。不是实时攻击,是考古式试探。智能引擎没叫它攻击,它只是说:“这儿的土壤,跟三年前挖过的坑,成分很像。” 接下来我要干两件事:一,把 /tmp/__cache_sync__/ 目录设成 inotifywait 监控对象,一旦有写入,立刻 snapshot 并上报;二,把那台 192.168.122.47 宿主机上的 docker.sock 权限从 666 改回 600,不管有没有人在用。其它的——比如重签所有节点证书、清理 ca-dns-legacy.pem、重构 rollout 脚本逻辑——得排队。眼下优先级最高的,是搞清楚那条没闭合的单引号,到底是谁敲的,敲的时候,有没有听见门禁响了一声。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


站长别再单打独斗:容器化运维重塑媒体融合新逻辑
系统优化与容器编排:高效提升服务器资源利用率
9年容器运维视角:移动端前端兼容性断层架构升级
Windows运行库高效管理:9年容器运维实战
