我ImageInputFormat
在Hadoop中有一个类从HDFS读取图像.如何在Spark中使用我的InputFormat?
这是我的ImageInputFormat
:
public class ImageInputFormat extends FileInputFormat{ @Override public ImageRecordReader createRecordReader(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException { return new ImageRecordReader(); } @Override protected boolean isSplitable(JobContext context, Path filename) { return false; } }
Robert Metzg.. 14
该SparkContext有一个名为方法hadoopFile
.它接受实现接口的类org.apache.hadoop.mapred.InputFormat
它的描述是"使用任意InputFormat为Hadoop文件获取RDD".
另请参阅Spark文档.
该SparkContext有一个名为方法hadoopFile
.它接受实现接口的类org.apache.hadoop.mapred.InputFormat
它的描述是"使用任意InputFormat为Hadoop文件获取RDD".
另请参阅Spark文档.