加入收藏 | 设为首页 | 会员中心 | 我要投稿 站长网 (https://www.aspzz.cn/)- 应用程序、AI行业应用、CDN、低代码、区块链!
当前位置: 首页 > 创业 > 创业经验 > 正文

从零到日均10万:计算机视觉系统性能实战优化

发布时间:2026-11-10 14:04:19 所属栏目:创业经验 来源:DaWei
导读:文章配图,仅供参考  去年6月,我蹲在IDC机房配线架旁边啃冷掉的三明治,左手捏着网线钳,右手还沾着刚拆开的GPU服务器防尘网灰——不是在部署新模型,是在把CV服务从TensorRT切回ONNX Runtime。客户说“再撑三天”,我盯着后

文章配图,仅供参考

  去年6月,我蹲在IDC机房配线架旁边啃冷掉的三明治,左手捏着网线钳,右手还沾着刚拆开的GPU服务器防尘网灰——不是在部署新模型,是在把CV服务从TensorRT切回ONNX Runtime。客户说“再撑三天”,我盯着后台那条陌生注册记录:user_87xQzK3d,邮箱域是bogusmail[.]online,注册时间2023-06-14 03:17:02,比我们第一次上线早17分钟。


  不是漏洞利用,不是撞库,不是WAF放行了啥payload——就是一串预编译的OpenVINO推理pipeline,在load_model()里偷偷调了三次cv2.dnn.readNetFromTensorflow,每次加载都触发一次磁盘IO和内存拷贝。本地测没问题,因为你的/dev/shm够大、/tmp没被quota锁死、CPU核数够喂满所有async queue。生产?挂的是阿里云共享GPU实例,/dev/shm默认64MB,你猜它第几次load失败时才fallback到CPU inference?猜错了——它不fallback,它静默吞掉异常,吐回一个全黑的bbox坐标数组,前端接着画框,用户以为AI“看到了鬼”。


  同事把椅子转过来又转回去,第七次问:“是不是nginx upstream timeout改短点?”我没理。访问日志里那段curl -X POST /api/v1/detect -H 'Content-Type: multipart/form-data' -F 'image=@/tmp/a.jpg',连续237行timestamp差在毫秒级,但status全是200,body却越来越小——最后几条返回的JSON只有{"result":[]},连error字段都空着。这不是超时,是内存分配失败后calloc直接return NULL,上层json.dumps硬生生序列化了个空dict出来。


  防火墙规则里我加了条:drop if tcp.dstport == 8001 and payload contains "readNetFromTensorflow"。当然没生效,这玩意儿压根不走HTTP层,它在torch.jit.load之后、model.forward之前那一道C++桥接里埋着。真正动手是在/usr/local/lib/python3.9/site-packages/torch/jit/_state.py第47行插了个print(os.environ.get('TORCH_HOME'))——然后发现他们用的base镜像把TORCH_HOME指向了/tmp,而/tmp在容器重启时是清空的。所以每次warmup都在重新download model weights,而weights文件夹下躺着三个同名不同sha256的.pb文件,版本号全标着v0.0.0(因为setup.py里__version__ = "0.0.0")。不是没人commit,是jenkins pipeline跑的是git archive --format=tar HEAD | tar -xf -,没带.git,version.py永远读不到tag。


  显示器上贴了张便利贴,字是蓝色中性笔写的:“别动/cv/conf/config.yaml —— 张工 6.15早”。我撕下来扔进碎纸机,里面还夹着半截铅笔屑。配置里写着device: auto,auto是啥?源码里auto == 'cuda' if torch.cuda.is_available() else 'cpu',但它从来不去查cuda.device_count(),就认nvidia-smi有没有输出。而那天GPU卡驱动刚好更新失败,nvidia-smi能跑,nvidia-persistenced进程却挂着僵尸态,torch.cuda.is_available()返回True,torch.cuda.device_count()返回0,结果整个batch全塞进一个伪CUDA stream里卡死,队列积压,health check崩,k8s轮询三次fail,自动驱逐Pod。驱逐前最后一行日志:[INFO] worker pid 22414 exiting on SIGTERM —— 实际上它早不动了,只是master进程还捏着它的pid没发信号。


  空调出风口挂了个塑料袋,不知谁套上去挡冷凝水,现在鼓着风啪嗒啪嗒拍打铁皮。我盯着它看的时候,电话响了,领导拨进来,我说“等两分钟”,他嗯了一声就没声了。不是挂了,是他那边正在跟托管方吵架,吵的是“你们SSL证书为啥6月18号到期却在16号凌晨自动续签失败”——因为acme.sh跑在容器里,宿主机时间同步延迟了93秒,Let's Encrypt校验时认为certbot请求的时间戳未来过期,拒签。但这事跟CV性能没关系,除了……我们所有健康检查URL全走HTTPS,证书链中断那天,liveness probe全返回connection refused,K8s以为服务死了,批量滚动重启,每启一个就触发一遍那个破load_model(),于是雪崩不是从流量来,是从自愈机制里长出来的。


  门禁响了一声,运维小哥推着换硬盘的车路过,我冲他喊了句“有空帮我看下/var/log/syslog里有没有‘oom_kill’?”,他头也没回,只比了个OK的手势。后来真找到了:Jun 17 04:22:13 cv-prod-3 kernel: [1247123.872415] Out of memory: Kill process 22414 (python) score 896 or sacrifice child。score 896,不是最低,也不是最高——它活到了OOM Killer算分表的中段偏上,说明它吃内存既坚决又克制,不狂占,但咬住不放。查proc/22414/status,Threads: 103;VmRSS: 3452208 kB;但更吓人的是RssAnon: 3120380 kB,匿名页占比90%。不是cache,不是buffer,是实打实的malloc堆里长出来的对象。用py-spy dump栈,87%的样本停在cv2.dnn.NMSBoxes,不是算法慢,是传进去的boxes数组尺寸错乱——上游resize把H、W倒置了,NMS自己做array broadcast,把(N,4) broadcast成(N,N,4),再进cython层直接malloc了一整块(GiB级)临时内存,用完不free,等着gc,但gc线程早被GIL卡死在另一个worker里。


  桌上的速溶咖啡结了一层膜,我拿勺子刮了刮,底下还是热的。现在不切框架了,也不改Dockerfile,直接干掉所有runtime模型加载逻辑,强制require all models pre-loaded at container start,用mmap方式映射到固定VA地址,所有worker进程fork后共享同一块物理页——不是靠copy-on-write,是靠PROT_READ|MAP_SHARED硬绑。CI阶段生成model.map,SHA256嵌进config.json,启动时校验失败直接exit 1。至于那个user_87xQzK3d?后台删了,邮箱域加进postfix的smtpd_recipient_restrictions黑名单。访问日志里那段curl,现在response time稳定在83–91ms,P99=112ms,但我不信——下周得抓包看下GPU显存DMA是否真在传输层对齐了page size。毕竟上次对齐,是在2018年修一个CUDA malloc alignment bug,补丁里写着“# this fixes nothing visible but prevents future headaches”,我现在信了。

(编辑:站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!