嵌入式开发十年:从单片机到边缘智能的运维演进
|
去年夏天,凌晨三点十七分,监控告警弹窗盖住了钉钉消息——不是 K8s Pod 崩了,不是 Redis 内存爆了,是产线边缘网关的 SSH 登录失败率突增到 92%。我盯着那个 IP 段:10.24.77.0/24,是我们自建的 OT 网段,物理隔离的,连 DNS 都没开。防火墙规则里查不到这条流的放行记录,但它就是进来了,而且卡在 PAM_AUTH 错误那一步,像有人拿个烂脚本反复撞 root 密码,又不像——日志里没重试间隔,全靠时间戳硬凑出来的“随机”。 同事把椅子转过来又转回去,第三次。我说别转了,你屁股底下那把气压椅的吱呀声比告警还准。他停下来,手指悬在键盘上,说:“刚翻完 firmware 包,build-root 里塞了个叫 `led_monitor` 的东西,md5 不对。”我没接话,直接 ssh 到网关 console,`ps aux | grep -v 'grep' | grep -E '(led|mon)'`,干干净净。再 `lsmod`,模块列表末尾多了一行 `led_mon 20480 0 - Live 0x0000000000000000 (O)`。没有源码,没有符号表,`strings /lib/modules/.../led_mon.ko | head -20` 输出全是中文乱码加几个 ASCII 控制符。我删了模块,reload 重启服务,三分钟之后,同一个 IP 又开始撞——这次目标换成了 `/usr/bin/telnetd`,一个我们自己早该删掉、但因为某个 PLC 调试口依赖它、所以被注释掉 systemctl enable 的残留进程。 门禁响了一声。运维值班台没人,前台小妹探头问“师傅修空调?”,我摇摇头,她转身走了。空调出风口挂了个塑料袋,估计是谁上次清理灰尘时顺手套上去的,现在鼓着风来回晃,像只快断气的蝉。我打开访问日志里的一段:`10.24.77.102 - - [18/Jul/2023:03:19:22 +0800] "GET /cgi-bin/luci/;stok=02a3b7cc6e9f5f9e8b4c1d2a0f3e4b5 HTTP/1.1" 401 342 "-" "curl/7.68.0"`。后面跟了十七个一模一样的 GET,stok 参数每条都在变,但 base64 decode 后全是 `auth.cgi?username=admin&password=` 加不同长度的随机字符串。不是爆破,是绕过——Luci 本身没暴露在公网,这请求是从网关内网侧发出来的。可谁会从 OT 侧 curl 自己的 Luci?除非这个网关,早就不是“我们的”了。
文章配图,仅供参考 显示器上贴了张便利贴,写着“证书到期提醒:2023-08-05(mqtt-gw-tls)”,字迹潦草,是我上周写的。我抄起手机,给设备组老张拨过去。他说“嗯”就没声了,十秒后传来键盘敲击声,接着是另一句“嗯”,再十秒,“……等等,这个 SN 是 2022Q3 批次?那批板子的 bootloader 里带了个 debug 串口,出厂没焊封。”我立刻切到设备台账,SN 开头是 “EDG-A77”,没错。那个串口,在 UART1 上,Pin5 是 GND,Pin6 是 TX,Pin7 是 RX——而我们配的工控机外壳上,对应位置开了个 2mm 圆孔,没堵,也没标。上个月现场巡检报告里写的是“物理接口完好”,没提孔。桌上的速溶咖啡结了一层膜,灰白色,皱着,像某块 PCB 板受潮后的铜箔氧化面。 漏洞扫描报告我拉出来重扫了一次,选的是“OT 设备专项模板”,结果第三页就跳出一条红字:“SSH 服务响应异常(非标准 banner),疑似存在中间件劫持”。我把扫描器改成只扫 TCP 22 和 23,加 `-sS -Pn`,等了四分半钟,输出里多了一行:“23/tcp open telnet syn-ack ttl 64 (custom banner: ‘#edg-debug-shell v1.2.1 [BUILT:2022-06-17]’)”。我们没部署过这个 shell。我反向查构建时间,6月17号,正是那批 EDG-A77 板子进厂烧录固件的日子。当时产线用的烧录脚本里,有一行注释掉的 `#flash_tool --inject debug_shell.ko`,后来发现有冲突,被删了——但脚本作者留了个备份副本在 /tmp/build-cache 下,没清。备份脚本,被执行了。 后台异常登录时间我导出来看了,不是按天,是按毫秒。第一批可疑登录集中在 7月15日凌晨1:44:12 到 1:44:23,共 11 次,间隔精确到 ±3ms,像定时器打点;第二批在 7月16日 03:01:00 整,一秒一个,持续一分钟;第三批……算了,记不清了,反正是那几天。我拿这些时间戳去比对 NTP 同步日志,发现所有网关在事发前 48 小时都强制同步过一次,指向一个 IP:10.0.1.109,不在我们的 NTP 白名单里。查 DHCP 日志,这 IP 是租给一台“工控调试笔记本”的,MAC 地址属设备组——但那天老张根本没去现场。我给他看了那段 DHCP 分配记录,他沉默五秒,说:“……借过电脑给新来的实习生调过触摸屏固件。” 嵌入式开发十年:从单片机到边缘智能的运维演进?演进个屁。单片机时代,你只要守好 JTAG 口,焊死 SWD,拔掉调试线,世界就清净了。现在呢?你在 firmware 里埋个 debug shell,藏在 bootloader 后三行机器码里;你在 OTA 包签名验证环节插个空指针跳过校验;你让 MQTT client 把心跳包的 payload 伪装成温湿度数据——而我们的 SIEM 规则里还写着“检测非加密协议上传敏感字段”,压根不看 topic 名称是不是 `sensors/temp/$id` 后面接了 `base64(./etc/shadow)`。后台多了个陌生账号、首页标题被人改了、搜索引擎里出现了奇怪的词——这些是 Web 运维的痒点;而我们的痒点是:网关 reboot 后自动重连那个 IP,telnet shell 里 `cat /proc/net/tcp` 显示 ESTABLISHED 连接数恒为 1,且 local_port 始终固定为 31337。 我现在打算干两件事:一是明天上午九点,带硬件镊子和逻辑分析仪去二号厂房,扒三台 EDG-A77 的 eMMC,对比 boot0 分区哈希;二是下午写个临时 hook,在 `/etc/init.d/S50network` 里加一句 `iptables -A OUTPUT -d 10.0.1.0/24 -j DROP`,先断了那台黑 NTP 的退路。其它的,等 eMMC 镜像跑完 binwalk 再说。我知道这样治标——可眼下,连“标”在哪都还没数清楚。你要是哪天在产线看到个穿工装裤蹲在机柜旁、手里捏着万用表测 UART 电平的人,别喊他师傅,那是我。耳机里还插着电话,免提开着,老张那边又说了句“嗯”,然后背景音里,一声极轻的、金属镊子磕在电路板上的“嗒”。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


Windows嵌入式开发环境搭建:站点配置与权限设置指南
嵌入式开发者外链优化:3个被忽视的权重关键点
嵌入式开发:逻辑清晰代码省70%调试时间


