/* 【指定分区数量】 (1)若数据总字节数value可以被指定分区数part整除,则分区数为part (2)若数据总字节数value不能被整除,则根据Hadoop的1.1原则 value/part = byte(字节总数/分区数=每个分区的字节数) value/byte = part ->分区数 = mod -> 余数 mod / byte和10%作比力 A. 小于10%;不产生新分区,分区数为part B. 大于10%;产生一个新分区,分区数为part+1 【不指定分区数】 默认的分区数: (1)若setMaster("Local
[*]")指定的核心数量>2,则分区数为2 (2)否则分区数为1*/package com.hsy.rddimport org.apache.spark.{SparkConf, SparkContext}object S0202_1_File_Part { def main(args: Array[String]): Unit = { //创建情况对象 val conf = new SparkConf().setMaster("local
[*]").setAppName("File_Part") val sc = new SparkContext(conf) //创建RDD对象 val rdd = sc.textFile(path = "data/cc.txt",minPartitions = 3) //执行动作 rdd.saveAsTextFile(path = "output") sc.stop(); //关闭情况变量,释放资源 }}