使用Apache Spark从HDFS序列文件中创建键值对

来自Spark文档:

对于SequenceFiles,使用SparkContext的sequenceFile [K,V]方法,其中K和V是文件中键和值的类型.这些应该是Hadoop的Writable接口的子类,如IntWritable和Text.此外,Spark允许您为一些常见的Writable指定本机类型; 例如,sequenceFile [Int,String]将自动读取IntWritables和Texts.

关键是你必须将Hadoop类型映射到[String,Int,...]并构建你想要的(k,v)rdd以便应用sortByKey方法.

val file = sc.sequenceFile(input, classOf[Text], classOf[Text])
val map = file.map{case (k,v) => (k.toString(), v.toString())} 
val sortedOutput = map.sortByKey(true)