我想实现一个maven项目,这有助于我对Hadoop MapReduce作业进行单元测试.我最大的问题是定义Maven依赖项以便能够使用测试类:MiniDFSCluster和MiniMRCluster.
我正在使用Hadoop 2.4.1.有任何想法吗?
如果其他人仍然在搜索答案:
MiniMRCluster现已弃用.
您可以在依赖项中获取MiniDFSCluster和MiniMRCluster(显示为Gradle)
compile group: 'org.apache.hadoop', name: 'hadoop-minicluster', version: '2.7.2'
依赖性基本上只是一个pom文件,列出了这个包中的依赖项.对于那些想要查看的人,MiniDFSCluster就在神器中hadoop-hdfs:tests
您不必使用Cloudera存储库中的依赖项