请选择 进入手机版 | 继续访问电脑版

【hdfs问题】hdfs 跨集群数据迁移报错

[复制链接]
毕高严 发表于 2020-12-31 20:23:42 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
问题

现在想要让Kerberos集群的hdfs数据迁移到非Kerberos集群的hdfs上,使用以下下令报错
  1. sudo kinit hivesudo klistsudo hadoop distcp hdfs://:8020/user/hive/warehouse/test.db/* hdfs://:8020/user/hive/warehouse/test.db
复制代码
报错截图

管理方案

  官方链接:https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_distcp_secure_insecure.html
检察官网发现,安全集群和非安全集群之间举行数据迁移时需要配置参数ipc.client.fallback-to-simple-auth-allowed为true
ipc.client.fallback-to-simple-auth-allowed参数用法:client使用安全毗连去链接一台非安全服务器时,服务器提示client切换到SASL SIMPLE认证模式(非安全Server asks us to fall back to SIMPLE auth, but this client is configured to only allow secure connections),如果设置为true,则client同意切换到非安全毗连,如果false,则退出毗连。在访问Kerberos情况的Configuration中增加ipc.client.fallback-to-simple-auth-allowed为true的配置体现允许客户端使用简朴认证模式
于是下令修改为
  1. hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -m 30 webhdfs://hadoop1:50070/user/hive/warehouse/* /user/hive/warehouse/
复制代码


扩展

  官方链接:https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_distcp_secure_insecure.html
检察官网发现,安全集群和非安全集群之间举行数据迁移时需要配置参数ipc.client.fallback-to-simple-auth-allowed为true

  • 在安全集群上,将core-site.xml中的ipc.client.fallback-to-simple-auth-allowed设置为true:
    1.   ipc.client.fallback-to-simple-auth-allowed  true
    复制代码
    如果集群配置了以上参数则可以使用下面的下令(此配置在hdfs中举行配置)
    1. #将数据从不安全的集群迁移到安全的集群hadoop distcp hdfs://:50070/path /path#将数据从安全的集群迁移到不安全的集群hadoop distcp hdfs://:500470/path /path
    复制代码
    也可以在运行distcp下令时将此作为参数传递。如果要这样做,请转到步调2。
  • 如果您未配置ipc.client.fallback-to-simple-auth-allowed并希望将其作为参数传递,请从安全群集中运行以下下令:
    1. #将数据从不安全的集群迁移到安全的集群hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://:50070/path /path#将数据从安全的集群迁移到不安全的集群hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://:50470/path /path
    复制代码
    如果启用了TLS,请用swebhdfs替换webhdfs。

来源:https://blog.csdn.net/qq_26838315/article/details/111941281
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发布主题

专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )