【hdfs问题】hdfs 跨集群数据迁移报错

问题

现在想要让Kerberos集群的hdfs数据迁移到非Kerberos集群的hdfs上，使用以下下令报错

1. sudo kinit hivesudo klistsudo hadoop distcp hdfs://:8020/user/hive/warehouse/test.db/* hdfs://:8020/user/hive/warehouse/test.db

复制代码

报错截图

管理方案

  官方链接：https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_distcp_secure_insecure.html

检察官网发现，安全集群和非安全集群之间举行数据迁移时需要配置参数ipc.client.fallback-to-simple-auth-allowed为true
ipc.client.fallback-to-simple-auth-allowed参数用法：client使用安全毗连去链接一台非安全服务器时，服务器提示client切换到SASL SIMPLE认证模式（非安全Server asks us to fall back to SIMPLE auth, but this client is configured to only allow secure connections），如果设置为true，则client同意切换到非安全毗连，如果false，则退出毗连。在访问Kerberos情况的Configuration中增加ipc.client.fallback-to-simple-auth-allowed为true的配置体现允许客户端使用简朴认证模式
于是下令修改为

1. hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -m 30 webhdfs://hadoop1:50070/user/hive/warehouse/* /user/hive/warehouse/

复制代码

扩展

  官方链接：https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_distcp_secure_insecure.html

检察官网发现，安全集群和非安全集群之间举行数据迁移时需要配置参数ipc.client.fallback-to-simple-auth-allowed为true

• 在安全集群上，将core-site.xml中的ipc.client.fallback-to-simple-auth-allowed设置为true：
  
  1.   ipc.client.fallback-to-simple-auth-allowed  true

  复制代码
  如果集群配置了以上参数则可以使用下面的下令(此配置在hdfs中举行配置)
  
  1. #将数据从不安全的集群迁移到安全的集群hadoop distcp hdfs://:50070/path /path#将数据从安全的集群迁移到不安全的集群hadoop distcp hdfs://:500470/path /path

  复制代码
  也可以在运行distcp下令时将此作为参数传递。如果要这样做，请转到步调2。
  
• 如果您未配置ipc.client.fallback-to-simple-auth-allowed并希望将其作为参数传递，请从安全群集中运行以下下令：
  
  1. #将数据从不安全的集群迁移到安全的集群hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://:50070/path /path#将数据从安全的集群迁移到不安全的集群hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://:50470/path /path

  复制代码
  如果启用了TLS，请用swebhdfs替换webhdfs。
  

来源：https://blog.csdn.net/qq_26838315/article/details/111941281
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！