news 2026/4/15 8:37:25

k8s kube-prometheus-stack kube-state-metrics 指标时断时续 kube-state-metrics - write: broken pipe

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
k8s kube-prometheus-stack kube-state-metrics 指标时断时续 kube-state-metrics - write: broken pipe

问题描述

k8s 环境有天主机故障关机了很长时间,但是没有执行 kubectl delete node 【nodename】剔除节点,过了一段时间发现KubeNodeNotReadyKubeNodeUnreachable这两个告警在恢复和告警之间切换,这明显不正常,因为节点都已经关机,怎么可能恢复。

排查步骤

经过排查才发现是kube_node_status_condition{node="nodename"}这个指标时断时续(偶尔指标缺失),问题就是指标缺失造成的(指标缺失就认定为告警恢复)。

然后查看kube-state-metrics pod的日志发现如下错误,prometheus pod未发现错误日志。

E122007:28:28.0369131metrics_handler.go
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/14 18:52:22

Linly-Talker支持语音指令快捷操作吗?

Linly-Talker支持语音指令快捷操作吗? 在虚拟主播、数字员工逐渐走入企业服务与公共传播的今天,用户对交互效率的要求越来越高。一个数字人是否“聪明”,不再仅仅看它能否流畅说话,更关键的是——你能不能像指挥真人一样&#xff…

作者头像 李华
网站建设 2026/4/11 13:40:17

31、服务器灾难恢复与Active Directory证书服务全解析

服务器灾难恢复与Active Directory证书服务全解析 1. 服务器与站点灾难恢复方案 在一个拥有三个站点和15台成员服务器的网络环境中,我们来制定一个服务器和站点灾难恢复计划。其中,站点A和站点B各有6台成员服务器,站点C有3台成员服务器。站点A和站点B位于同一城市的不同区域…

作者头像 李华
网站建设 2026/4/11 8:26:15

33、深入理解Active Directory证书服务的实施与管理

深入理解Active Directory证书服务的实施与管理 1. 测试OR配置与证书撤销 测试在线响应器(OR)配置的一种方法是颁发并撤销一些证书。在认证机构(CA)控制台中撤销证书的步骤如下: 1. 点击“已颁发的证书”。 2. 右键单击要撤销的证书。 3. 指向“所有任务”,然后点击…

作者头像 李华
网站建设 2026/4/8 1:59:53

Linly-Talker能否生成主播形象进行带货直播?

Linly-Talker能否生成主播形象进行带货直播? 在电商直播的黄金时代,一个现实问题正困扰着无数商家:如何以更低的成本维持高质量、高频率的内容输出?真人主播不仅薪资高昂,还受限于体力、情绪和档期。而与此同时&#x…

作者头像 李华
网站建设 2026/4/10 18:05:07

Linly-Talker能否生成京剧脸谱人物进行传统文化传播?

Linly-Talker能否生成京剧脸谱人物进行传统文化传播? 在短视频席卷大众认知的今天,如何让年轻人对京剧产生兴趣?一个“会说话”的关羽或许能给出答案。当AI数字人技术遇上千年戏曲艺术,一场关于文化传承方式的变革正在悄然发生。 …

作者头像 李华
网站建设 2026/4/10 7:40:55

Linly-Talker在公交枢纽站的实时班次播报应用

Linly-Talker在公交枢纽站的实时班次播报应用技术融合驱动智慧出行:当数字人走进公交枢纽 在早高峰的公交总站,人群熙攘,广播声此起彼伏。一位老人站在信息屏前皱眉——屏幕上的发车时间已经十分钟未更新,而循环播放的录音只重复着…

作者头像 李华