Hive性能优化

分区表优化 + ORC压缩

1. 查看当前表的分区情况

2. 分区裁剪查询（只扫描特定分区）

3. 对比 ORC 和 TEXT 文件大小

DESCRIBE FORMATTED dwd_user_behavior;

DESCRIBE FORMATTED:

能看到：字段、分区、存储格式、压缩、存储路径等所有关键信息。

hadoop fs -ls /user/hive/warehouse/dw_taobao.db/dwd_user_behavior/hadoop fs -ls /user/hive/warehouse/dw_taobao.db/ods_user_behavior/

4. 优化查询：只读取需要的列

问题总结

执行hadoop fs -ls /user/hive/warehouse/dw_taobao.db/dwd_user_behavior/时提示：

No such file or directory

问题原因

1. Hive 元数据与 HDFS 不一致：表在 Hive 元数据中存在，但数据实际存储在本地文件系统（file:///），而不是 HDFS（hdfs://）

2. warehouse 目录配置错误：hive-site.xml中的hive.metastore.warehouse.dir配置成了本地路径

解决方案

步骤1：确认数据实际位置

# 在 Hive 中查看表的位置 DESCRIBE FORMATTED dwd_user_behavior; # 找到 Location 字段

步骤2：创建 HDFS 目录并迁移数据

# 创建 HDFS 目录 hadoop fs -mkdir -p /user/hive/warehouse/dw_taobao.db # 迁移本地数据到 HDFS hadoop fs -put /user/hive/warehouse/dw_taobao.db/* /user/hive/warehouse/dw_taobao.db/

步骤3：修改 Hive 配置

<property> <name>hive.metastore.warehouse.dir</name> <value>hdfs://hadoop01:9000/user/hive/warehouse</value> </property>

明日任务：数据倾斜处理