news 2026/6/9 17:19:05

spark读hive偶尔出现table not found

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
spark读hive偶尔出现table not found

1、问题发现:

在spark环境调试业务过程中,出现table not found问题,重跑之后改问题又消失,后面发现有一定概率出现该问题

2、问题定位:

spark环境中是通过hive-site连接hive hive.metastore,查看hive.metastore.uris配置,发现该配置为3个实例

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083</value>
</property>

问题随机发生的原因,猜测可能是不同元数据实例之间数据不同步问题

3、问题分析

查看spark环境连的是哪个uri,多次测试后发现,连接到ip1:9083和ip3:9083时,会出现table not found。连接到ip2:9083时无问题。

spark.sql("show databases").show(false) # 查看hive metastore连接地址 netstat -tpn | grep pid | grep 9083

4、问题解决

临时使用ip2:9083,同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/9 18:38:58

GEO战略解码:AI搜索时代,如何重构品牌认知的底层逻辑

摘要当用户向DeepSeek询问“B2B供应链金融解决方案”时&#xff0c;AI直接整合并推荐了三个品牌及其核心优势&#xff0c;而你的品牌未被提及——这意味着在AI定义的新世界里&#xff0c;你的品牌已经“主动隐身”。本文旨在为数字营销负责人、CMO及战略规划者提供一份深度指南…

作者头像 李华
网站建设 2026/6/9 19:43:40

【小白笔记】删除排序链表中的重复元素(I 和II)

这道题充分利用了链表便于删除节点的特性&#xff0c;以及题目给出的**“已排序”**这个关键前提。1. 解题思路&#xff1a;一次遍历 由于链表是已排序的&#xff0c;所有重复的元素在物理位置上一定是相邻的。 初始化&#xff1a;让一个指针 cur 指向 head。比较与去重&#x…

作者头像 李华
网站建设 2026/6/9 18:43:59

【小白笔记】无重复字符的最长子串和长度最小的子数组(滑动窗口中两种不同的“窗口控制策略)

这个问题是 “滑动窗口 (Sliding Window)” 算法的顶级经典题。 在处理“最长子串”、“子数组”等问题时&#xff0c;滑动窗口能够将复杂度从 O(N2)O(N^2)O(N2) 降低到 O(N)O(N)O(N)。1. 核心思路&#xff1a;滑动窗口 想象字符串上有一个可以伸缩的窗口&#xff1a; 右边界 (…

作者头像 李华
网站建设 2026/6/9 19:49:42

β-Amyloid (1-40), Rat;DAEFGHDSGFEVRHQKLVFFAEDVGSNKGAIIGLMVGGVV

一、基本信息英文名称&#xff1a;β-Amyloid (1-40), Rat&#xff1b;Amyloid β-Protein (1-40), Rat&#xff1b;Rat Aβ1-40中文名称&#xff1a;大鼠源 β- 淀粉样蛋白 (1-40)&#xff1b;大鼠 β- 淀粉样肽 (1-40)单字母多肽序列&#xff1a;DAEFGHDSGFEVRHQKLVFFAEDVGSN…

作者头像 李华
网站建设 2026/6/9 13:46:30

海外回国eSIM避坑指南一定要提前搞懂,不然真的会被坑惨!

每次从海外回国&#xff0c;&#x1f4f6;上网问题永远是一个焦虑源尤其是用eSIM的宝子们只要一步踩雷&#xff0c;真的回国第一天就寸步难行&#xff01;这篇给宝子一次讲清楚&#xff1a;海外回国&#xff0c;用eSIM经常踩的坑正确避坑方式&#x1f447;1️⃣回国前先确认&am…

作者头像 李华
网站建设 2026/6/9 21:05:22

Wan2.2-T2V-A14B模型部署与高保真T2V实战

Wan2.2-T2V-A14B模型部署与高保真T2V实战&#xff1a;从零构建专业级视频生成系统 你有没有试过这样一种场景——脑中浮现出一个极具电影感的画面&#xff1a;“一只机械狐狸在雪原上跃起&#xff0c;身后是崩塌的未来城市&#xff0c;闪电划破铅灰色天空”&#xff0c;但当你试…

作者头像 李华