加入收藏 | 设为首页 | 会员中心 | 我要投稿 站长网 (https://www.aspzz.cn/)- 应用程序、AI行业应用、CDN、低代码、区块链!
当前位置: 首页 > 站长资讯 > 动态 > 正文

动态资源调度优化:5年AI工程师的全链路复盘

发布时间:2026-11-07 11:06:08 所属栏目:动态 来源:DaWei
导读:  2025年5月,凌晨三点十七分,我盯着WAF日志里那一串连续17秒的200响应——不是429,不是403,是货真价实的200,带着Content-Length: 12846,User-Agent里还嵌着curl/7.68.0,但来源IP池全在AWS新加坡区冷节点。那时候同事把椅

  2025年5月,凌晨三点十七分,我盯着WAF日志里那一串连续17秒的200响应——不是429,不是403,是货真价实的200,带着Content-Length: 12846,User-Agent里还嵌着curl/7.68.0,但来源IP池全在AWS新加坡区冷节点。那时候同事把椅子转过来又转回去,没说话,就盯着我右下角那个还没关的kubectl top pods窗口,CPU列全飘红,但request/sec反常地平着,像被掐住了脖子喘不上气。


  亲历现场,不是复盘会PPT那种。是空调出风口挂了个塑料袋,被风吹得一鼓一瘪,鼓起来的时候刚好挡住一半监控屏——就在那半秒遮挡里,后台多了个陌生账号、首页标题被人改了、搜索引擎里出现了奇怪的词。不是黑链,是带品牌词的SEO垃圾页面,用的是我们自己的CDN域名,证书还是今年三月续的那张,有效期到11月。漏洞扫描报告第4页有个标黄的“/api/v2/schedule/predict?model=xxx”,我没点开详情,因为下面一行写着“已忽略:业务方确认为灰度接口”。


  调度优化?先说清什么叫“动态”——不是自动扩缩容那套,是模型服务实例在K8s里活着,但它的负载均衡上游被悄悄劫持了三层:Ingress Controller路由表被插了一条优先级更高的rewrite规则,Service Mesh的sidecar Envoy配置被热更新覆盖过一次(访问日志里那段“GET /healthz?from=proxy-v2”就是证据),最后连etcd里存的模型版本hash都被替成了一个不存在的commit——但它居然能返回推理结果,只是每第三条响应的log_id字段少两位数字。桌上的速溶咖啡结了一层膜,我拿手蹭掉时突然想起,那天CI/CD流水线里有两条并行的helm upgrade,一条标着[prod],另一条只写了[patch],没tag,没review,merge者是运维侧的交接账号。


文章配图,仅供参考

  跟人吵架是在第二天中午。托管方说“你们模型API没做鉴权,怪谁”,客户说“你上个月承诺过资源隔离”,领导在电话里说了句“嗯”就没声了,我听着忙音数到十二下,然后把耳机摘了放在显示器边沿——那里贴了张便利贴,上面是上周五写的“检查kube-state-metrics里schedule_pod_aging_seconds的quantile(0.95)阈值是否还有效”。门禁响了一声,进来的是刚转岗来的SRE,他看了眼我屏幕,问:“是不是那个用了gRPC-Web代理的v3服务?它在NodePort模式下会绕过Ingress的速率限制。”我没接话。因为他不知道,我们早在二月就把所有gRPC-Web入口切到HTTPS + JWT了,可那天凌晨的真实流量,header里根本没有Authorization字段,只有Cookie: sid=xxx; path=/; HttpOnly; Secure,而sid值解密后对应的是去年十月注销的一个测试账号。


  优点?没有。问题?全是。动态调度本意是让GPU卡别空转,结果变成让攻击载荷别断流——它不爆CPU,不打满带宽,就卡在QPS阈值下方3%左右跳动,刚好让所有告警静默。模型预测接口本身没问题,问题是调度层把正常请求和异常请求混进同一个autoscaler指标队列,而那个队列的权重算法,是我入职第二年写的,基于单Pod的avg_latency加权,但没人告诉我,latency低不代表合法。后来翻etcd snapshot才发现,/registry/configmaps/kube-system/autoscaler-config 这个key被update过两次,时间戳分别是5月1日16:03和5月3日02:18,后者的内容里多了一行“scale-down-unused-threshold: 94.7%”,精确得不像人设的。


  反常识结论?动态调度越智能,越容易被当搬运工用。它不判黑白,只看水位;不认身份,只认metric。你喂它干净数据,它给你稳态服务;你喂它一段被污染的traceID链路,它给你稳态污染扩散。后台异常登录时间显示凌晨02:44:19有一笔来自10.20.30.40的kubectl exec -it,执行了chmod +x /tmp/.cache/shell.sh,但该IP在堡垒机审计日志里根本没记录——它走的是API Server的非标准端口,直连master节点,绕过了我们的审计代理。证书到期提醒邮件那天也发了,主题是“[WARN] wildcard cert for .ai-svc.internal expires in 187 days”,附件PDF里第一页印着CA签发机构名称,第三页表格里有一行小字:“Note: SANs include internal-only subdomains.” 我们一直没删掉那个internal-only的SAN。


  下一步?今天下午去机房拔掉那台Nexus私仓镜像节点的网线——它上个月同步过一次社区Helm Charts repo,里面有三个chart模板的values.yaml默认启用了hostPath挂载,而我们dev环境的namespace没开PodSecurityPolicy。不是修bug,是拆定时器。别的等下周轮岗到Infra组再说。现在先把显示器上那张便利贴揭了,背面还写着一行小字:“不要信prometheus的up{job='model-svc'} == 1”。

(编辑:站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!