在指定目录下检索某一特定的字符串

/*需求&＃xff1a;
在指定文件目录下的所有文件中&＃xff0c;检索某一特定字符串所出现的行&＃xff0c;将这些行的内容输出到本地文件系统的输出文件夹中。这个程序
假定只有第一层目录下的文件才有效&＃xff0c;而且&＃xff0c;假定文件都是文本文件。为了防止单个的输出文件过大&＃xff0c;这里还加了一个文件最大行数限制
当文件行数达到最大值时&＃xff0c;便关闭此文件&＃xff0c;创建另外的文件继续保存。保存的结果文件名为1&＃xff0c;2,3,4&＃xff0c;..,*/

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

import java.io.File;
import java.io.IOException;
import java.util.Scanner;

public class ResultFilter {

//实现逻辑&＃xff1a;获取改目录下所有文件的信息&＃xff0c;对每一个文件&＃xff08;打开&＃xff0c;循环读取数据&＃xff0c;写入目标位置&＃xff0c;关闭文件&＃xff0c;最后关闭输出文件&＃xff09;
public static void main(String[] args) throws IOException {
Configuration conf &＃61; new Configuration();
//hdfs和local分别对应HDFS实例和本地文件系统实例
FileSystem hdfs &＃61; FileSystem.get(conf);
FileSystem local &＃61; FileSystem.get(conf);
Path inputDir, localFile;
int singleFileLines, numLines, numFiles;
FileStatus[] inputFiles;
FSDataInputStream in &＃61; null;
FSDataOutputStream out &＃61; null;
Scanner scan;
String str;
byte[] buf;

if (args.length !&＃61; 4) {
//输入参数数量不够&＃xff0c;提示参数格式后终止程序执行
System.err.println("usage resultFilter " &＃43; "$");$
return;
}
inputDir &＃61; new Path(args[0]);//获取输入的hdfs路径
singleFileLines &＃61; Integer.parseInt(args[3]);//获取结果文件的最大行数
inputFiles &＃61; hdfs.listStatus(inputDir);//获取目录信息
numLines &＃61; 0;//文件的行数从0开始
numFiles &＃61; 1;//输出文件从1开始编号
localFile &＃61; new Path(args[1]); //获取输出的本地文件路径
if (local.exists(localFile)) //若目标路径存在&＃xff0c;则删除
local.delete(localFile, true);
for (int j &＃61; 0; j if (inputFiles[j].isDir() &＃61;&＃61; true)//忽略子目录
continue;
System.out.println(inputFiles[j].getPath().getName());
in &＃61; hdfs.open(inputFiles[j].getPath());
scan &＃61; new Scanner(in);
while (scan.hasNext()) {//循环读取文本数据
str &＃61; scan.nextLine();
if (str.indexOf(args[2]) &＃61;&＃61; -1)
continue;//如果该行没有match字符串&＃xff0c;则忽略之
numLines&＃43;&＃43;;
if (numLines &＃61;&＃61; 1)//如果是1&＃xff0c;说明需要新建文件了
{
localFile &＃61; new Path(args[1] &＃43; File.separator &＃43; numFiles);
out &＃61; local.create(localFile);//创建文件
numFiles&＃43;&＃43;;
}
buf &＃61; (str &＃43; "\n").getBytes();
out.write(buf, 0, buf.length);//将字符串写入输出流
if (numLines &＃61;&＃61; singleFileLines)//如果已满足相应行数&＃xff0c;关闭文件
{
out.close();
numLines &＃61; 0;//把行数变为0&＃xff0c;重新开始计数
}
}// end of while
scan.close();
in.close();
}// end of for
if (out !&＃61; null)
out.close();
}// end of maain
} //end of resultFilter