Flink+Kafka深度调优:流处理延迟直降70%
|
去年9月23号下午三点十七分,Kafka消费组lag突然从400万跳到1700万,Flink UI上Checkpoint duration直接飙到21秒——不是卡住,是慢得像在磁盘上拖日志。我盯着屏幕,左手刚把速溶咖啡杯推远,那层灰白膜还浮在表面,右手切窗口查access.log:10.24.7.138连续37秒每秒打38条/tax/verify接口,User-Agent是curl/7.68.0,但IP归属地在东莞IDC机房,我们根本没在那里配过探测节点。 不是被攻了。是自己人捅的。客户运维凌晨提了个“轻量级流量压测”需求,用的测试账号走的是生产Kafka Topic——topic_payment_event这个Topic没开ACL,Schema Registry也没配强制校验,Flink job里那个JsonDeserializationSchema连空指针都没包,直接扔了个RuntimeException进TaskManager日志,日志滚动太快,grep -A5 “deser”根本没看到堆栈,只看到一行:Caused by: java.lang.NullPointerException(后面被log4j截断了)。你猜监控告警在哪?在Zabbix里配的JVM old-gen usage > 85%,而那天它才79%。 事后复盘会上,托管方那个穿蓝衬衫的兄弟说:“是不是Kafka副本同步太慢?”我当场把笔记本转过去,调出Broker端的kafka-run-class.sh kafka.tools.GetOffsetShell输出:replica-lag-max值全在12ms以内。他愣了两秒,椅子转过来又转回去,没再吭声。领导在电话里说了句“嗯”,就没声了。空调出风口挂着个透明塑料袋,不知道谁挂的,一直在微微晃。 调优不是调参数,是给混沌打补丁。把flink-conf.yaml里那行execution.checkpointing.interval: 30s改成10s,没用;把kafka.consumer.fetch.max.wait.ms从500压到100,反而引发更多rebalance;最后真正起效的三处,全是脏活:第一,在Flink source function里硬加了try-catch+Metrics.counter("deser_error").inc(),第二天就抓到上游发来27种非标JSON结构——有带BOM头的,有末尾多逗号的,有整条是null字符串的;第二,把Kafka consumer config里的enable.auto.commit设为false,手动控制offset commit时机,等checkpoint成功再提交,而不是靠心跳自动刷;第三,把Flink state backend从FsStateBackend换成RocksDB,但关键是关了incremental checkpoint,不是为了快,是为了让state文件不散落成千上万个sst——上次扩容NodeManager时,YARN临时清理tmp目录,顺手rm -rf /data/flink/checkpoints/下的子目录,结果恢复失败,我们重跑了一整天的小时级窗口。 延迟降70%?那是对比故障发生后头48小时的均值。真实情况是:故障前P99延迟380ms,故障中峰值冲到11.2s,调完稳定在220ms左右。没敢报给客户,只在日报里写了“流链路处理时效收敛”。证书到期提醒弹窗昨天还在后台开着,是那个用于Kafka SASL认证的client.keystore.jks,有效期只剩23天——现在不敢动它,一换就得滚动重启所有Flink TaskManager,而下周三是省厅系统的年度等保测评。门禁响了一声,是安全团队来抽网络设备日志,他们要的tcpdump我提前十分钟就塞进U盘里了,但没给他们看Flink的taskmanager.stdout,里面混着三条陌生注册记录,邮箱域名是qq.com,手机号段170,IP属地塔吉克斯坦,注册时间全在凌晨02:17-02:19之间。
文章配图,仅供参考 便利贴还贴在显示器右下角,蓝笔写的“check TM memory map before next restart”,没撕。Flink官网文档里那个config key:taskmanager.memory.jvm-metaspace.size,默认值256m,我们线上的TM进程启动后,jstat -gc PID显示Metaspace已经占到249m,但Prometheus指标里jvm_memory_used_bytes{area="metaspace"}一直平稳——因为它压根没上报。不是bug,是Flink 1.14.x版本JVM Metrics Collector漏掉了这块内存区。这事我没报Jira,因为修它得升级整个Flink集群,而我们线上还跑着两个依赖Scala 2.11的UDF jar,升了就会NoClassDefFoundError。反正只要不OOM,Metaspace涨到90%我也当它不存在。现在每天上午十点自动执行一个脚本:遍历所有running job,curl http://flink-jobmanager:8081/jobs/{id}/vertices/{vid}/subtasks/{subid},取每个subtask的currentInputWatermark,求P95。阈值设在-60000ms(即水位滞后1分钟),超了就发钉钉。上礼拜超了两次,都是同一个Subtask——后来发现是它的TaskManager所在的物理节点网卡队列堆积严重,ethtool -S eth0显示tx_queue_0、tx_queue_1的dropped计数持续增长,root cause是宿主机内核版本太老,TCP fastopen没启用,但我们不能重装系统,客户数据库还在同一台机器上跑着Oracle 11g。所以,下周得去机房拔掉那块千兆网卡,换PCIe直插的万兆卡——工单已提,审批卡在财务部,理由是“预算科目不匹配”。 明天先干两件事:把Flink作业的restart-strategy设成fixed-delay,max-attempts调到3,delay设成15s;再找DBA要一份最近三天的pg_stat_activity快照,筛出那些state=active且backend_start比query_start早4小时以上的连接——上回Kafka lag暴涨,就是这群长连接突然批量发起SELECT FOR UPDATE,锁住了订单状态表,下游Flink CDC任务读不到binlog位置,watermark死在那儿不动。别指望它们自己释放。我见过最长的idle-in-transaction超过19小时。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |




