请选择 进入手机版 | 继续访问电脑版

HDFS fsimage文件解析

[复制链接]
时间苍白了等待 发表于 2021-1-2 17:39:22 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
指定hdfs 客户端内存

export HADOOP_CLIENT_OPTS=’-Xmx5000m -Xms5000m’
分析fsimage文件,效果以逗号分隔

  1. nohup hdfs  oiv  -t /data/tmp/fsimage   -p Delimited -delimiter , -i fsimage_000000000xxx -o result_file &
复制代码
30gb大的fsimage文件分析大概耗时2小时。
效果文件需要删除首行列名

sed -i ‘1d’ result_file
创建一个外表

  1. create   table fsimage_tmp(fpath string,freplication bigint,fmodificationtime string,faccesstime string,fpreferredblocksize bigint,fblockscount bigint,ffilesize bigint,fnsquota bigint,fdsquota bigint,fpermission string,fusername string,fgroupname string)row format delimitedfields terminated by ','stored as textfile location '/tmp/fsimage';
复制代码
把分析效果上传到hdfs,就可以使用hive分析了

来源:https://blog.csdn.net/iture/article/details/112075344
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发布主题

专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )