java多线程读取文件夹中的多个文件问题，新手多谢！

作者：手机用户2502892757 | 来源：互联网 | 2023-10-10 14:29

现在想利用多线程读取一个文件夹中的多个xml文件，但是现在每个线程都把所有文件全部读一遍，我希望的是一个线程读过的文件，其他线程就不去读了，请问我的代码错在什么地方？本人新手，多谢！ps：我也试过

现在想利用多线程读取一个文件夹中的多个xml文件，但是现在每个线程都把所有文件全部读一遍，我希望的是一个线程读过的文件，其他线程就不去读了，请问我的代码错在什么地方？本人新手，多谢！
ps：我也试过每读一个文件就把它从列表里删除，还是不行。。

package comparison;



import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileNotFoundException;

import java.io.IOException;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.io.UnsupportedEncodingException;

import java.util.ArrayList;

import java.util.List;



import org.jdom2.Document;

import org.jdom2.Element;

import org.jdom2.JDOMException;

import org.jdom2.input.SAXBuilder;



public class CompareTest {

	public static void main(String args[]){

		read read = new read();

		new Thread(read, "线程1").start();

		new Thread(read, "线程2").start();

		new Thread(read, "线程3").start();

		new Thread(read, "线程4").start();

		new Thread(read, "线程5").start();

//		List list = read.readXML();

//		for(String s:list){

//			System.out.println(s);

//		}

	}

}



class read implements Runnable{

	@Override

	public void run() {

		File f = new File("d:"+File.separator+"comparetest");

		File[] filePaths = f.listFiles();

		List filePathsList = new ArrayList<>();

		for(File s:filePaths){

			filePathsList.add(s);

		}

		//解析xml

		SAXBuilder builder = new SAXBuilder();

		List xmlList = new ArrayList<>();

			for(int i=0;i
				synchronized(this){

					try {

						Thread.sleep(300);

					} catch (InterruptedException e2) {

						// TODO Auto-generated catch block

						e2.printStackTrace();

					}

					try {

						InputStream is = new FileInputStream(filePathsList.get(i));

						System.out.println("当前使用的线程是："+Thread.currentThread().getName()+",正在读文件:"+filePathsList.get(i)+",列表当前长度:"+filePathsList.size());

						Document doc = builder.build(is);

						Element root = doc.getRootElement();

						List list = root.getChildren();

						for(Element e:list){

							xmlList.add(e.getChildTextTrim("ERROR_FEEDBACK_ID"));

						}

						xmlList.add("--------------------------");

					} catch (JDOMException | IOException e1) {

						// TODO Auto-generated catch block

						e1.printStackTrace();

					}

				}

			}

	}

	

//	public synchronized List readXML(){

//		

////			}

//		return xmlList;

//	}

}

10 个解决方案

#1

new Thread(read, "线程1").start();
        new Thread(read, "线程2").start();
        new Thread(read, "线程3").start();
        new Thread(read, "线程4").start();
        new Thread(read, "线程5").start();
这几个线程执行顺序我们是无法控制的，线程并发也是无法避免的。要实现你的功能那就只有一个办法让这5个线程之间有一个共识，就是让他们都知道除他之外的线程是否已经对某个文件进行了读取操作，如果已读取就不再读了。这就要用到线程之间的通信来完在。这里最好的办法就是定义一个全局变量，当一个线程一开始读取文件就把这个文件名信息存入这个全局变量中，别的线程读取时来判断一下那文件是否己经存到了全局变量中，如果已存在就不在讯取这个文件了。大体思路是这样的。所以你这个代码就得改一下在main中建一个全局变量LIST，然后把这个LIST传进这5个线程中来达到效果，当然也可以把list设成static这个好做一些。需要注意的是在每个线程中需要给这个全局的list加上线程锁，当任意一个线程对list进行操作时，让其他线程都处理等待状态。

#2

可以用共享缓存和锁的方法解决

#3

引用 1 楼 bichir 的回复:

new Thread(read, "线程1").start();
        new Thread(read, "线程2").start();
        new Thread(read, "线程3").start();
        new Thread(read, "线程4").start();
        new Thread(read, "线程5").start();
这几个线程执行顺序我们是无法控制的，线程并发也是无法避免的。要实现你的功能那就只有一个办法让这5个线程之间有一个共识，就是让他们都知道除他之外的线程是否已经对某个文件进行了读取操作，如果已读取就不再读了。这就要用到线程之间的通信来完在。这里最好的办法就是定义一个全局变量，当一个线程一开始读取文件就把这个文件名信息存入这个全局变量中，别的线程读取时来判断一下那文件是否己经存到了全局变量中，如果已存在就不在讯取这个文件了。大体思路是这样的。所以你这个代码就得改一下在main中建一个全局变量LIST，然后把这个LIST传进这5个线程中来达到效果，当然也可以把list设成static这个好做一些。需要注意的是在每个线程中需要给这个全局的list加上线程锁，当任意一个线程对list进行操作时，让其他线程都处理等待状态。

感谢你的提示，现在问题基本解决了，只要把文件名称的list写在全局里就行了，不能卸载run方法里，另外我在run方法里加了synchronized就可以实现线程锁了吧？

#4

先把文件夹下的文件分组，然后用传递参数的方式传给每个线程，这样每个线程就只解析自己的xml文件

#5

我也觉得还是先分组最直接，然后线程处理传给自己的那组文件就行了。

如果不能使用全局变量或者事先分组的情况下，你得找个另外的方式来同步线程之间的信息，比如数据库或者数据文件。

#6

这是在你代码基础上进行最小改动的结果，你看看

import java.io.File;

import java.io.FileInputStream;

import java.io.InputStream;

import java.util.ArrayList;

import java.util.List;



import org.jdom2.Document;

import org.jdom2.Element;

import org.jdom2.input.SAXBuilder;



public class CompareTest {

	public static void main(String args[]) {

		read read = new read();

		new Thread(read, "线程1").start();

		new Thread(read, "线程2").start();

		new Thread(read, "线程3").start();

		new Thread(read, "线程4").start();

		new Thread(read, "线程5").start();

	}

}



class read implements Runnable {

	List filePathsList = new ArrayList();

	int index = 0;



	public read() {

		File f = new File("d:" + File.separator + "tmp");

		getFileList(f);

	}



	private void getFileList(File f) {



		File[] filePaths = f.listFiles();

		for (File s : filePaths) {

			if (s.isDirectory()) {

				getFileList(s);

			} else {

				if (s.isFile() && -1 != s.getName().lastIndexOf(".xml")) {

					filePathsList.add(s);

				}

			}

		}

	}



	@Override

	public void run() {

		File file = null;

		while (index < filePathsList.size()) {

			synchronized (this) {

				file = filePathsList.get(index);

				if (file == null) {

					continue;

				}

				index++;

			}



			// 解析xml

			SAXBuilder builder = new SAXBuilder();

			List xmlList = new ArrayList();



			try {

				Thread.sleep(300);

			} catch (InterruptedException e2) {

				e2.printStackTrace();

			}

			try {

				InputStream is = new FileInputStream(file.getPath());

				System.out.println("当前使用的线程是："

						+ Thread.currentThread().getName() + ",正在读文件:"

						+ filePathsList.indexOf(file) + ",列表当前长度:"

						+ filePathsList.size());

				Document doc = builder.build(is);

				Element root = doc.getRootElement();

				List list = root.getChildren();

				for (Element e : list) {

					xmlList.add(e.getChildTextTrim("ERROR_FEEDBACK_ID"));

				}

				xmlList.add("--------------------------");

			} catch (Exception e1) {

				e1.printStackTrace();

			}

		}

	}

}

#7

上面代码还有个小bug，如下是在你基础上进行最小改动的

public class CompareTest {

	public static void main(String args[]) {

		read read = new read();

		new Thread(read, "线程1").start();

		new Thread(read, "线程2").start();

		new Thread(read, "线程3").start();

		new Thread(read, "线程4").start();

		new Thread(read, "线程5").start();

	}

}



class read implements Runnable {

	List filePathsList = new ArrayList();

	int index = 0;



	public read() {

		File f = new File("d:" + File.separator + "tmp");

		getFileList(f);

	}



	private void getFileList(File f) {

		File[] filePaths = f.listFiles();

		for (File s : filePaths) {

			if (s.isDirectory()) {

				getFileList(s);

			} else {

				if (-1 != s.getName().lastIndexOf(".xml")) {

					filePathsList.add(s);

				}

			}

		}

	}



	@Override

	public void run() {

		File file = null;

		while (index < filePathsList.size()) {

			synchronized (this) {

				if (index >= filePathsList.size()) {

					continue;

				}

				file = filePathsList.get(index);

				index++;

			}

			// 解析xml

			SAXBuilder builder = new SAXBuilder();

			List xmlList = new ArrayList();



			try {

				Thread.sleep(300);

			} catch (InterruptedException e2) {

				// TODO Auto-generated catch block

				e2.printStackTrace();

			}

			try {

				InputStream is = new FileInputStream(file.getPath());

				System.out.println("当前使用的线程是："

						+ Thread.currentThread().getName() + ",正在读文件:"

						+ filePathsList.indexOf(file) + ",列表当前长度:"

						+ filePathsList.size());

				Document doc = builder.build(is);

				Element root = doc.getRootElement();

				List list = root.getChildren();

				for (Element e : list) {

					xmlList.add(e.getChildTextTrim("ERROR_FEEDBACK_ID"));

				}

				xmlList.add("--------------------------");

			} catch (Exception e1) {

				// TODO Auto-generated catch block

				e1.printStackTrace();

			}

		}

	}

}

#8

import java.io.File;

import java.util.List;

import java.util.Queue;

import java.util.concurrent.BlockingQueue;

import java.util.concurrent.ConcurrentLinkedQueue;

import java.util.concurrent.LinkedBlockingQueue;



import org.jdom2.Document;

import org.jdom2.Element;

import org.jdom2.input.SAXBuilder;





public class Test_15 {



	public static final int THREAD_POOL_SIZE = 5;

	private final File POISON = new File("");

	private final BlockingQueue files = new LinkedBlockingQueue(1000);

	private final ConcurrentLinkedQueue infos = new ConcurrentLinkedQueue();

	private Thread[] pool = null;

	private volatile boolean running = false;

	

	public Test_15() {

		this(THREAD_POOL_SIZE);

	}

	

	public Test_15(int poolSize) {

		pool = new Thread[poolSize];

		FileWorker worker = new FileWorker();

		for(int i=0;i
			pool[i] = new Thread(worker,"线程"+(i+1));

			pool[i].start();

		}

		running = true;

	}

	

	private class FileWorker implements Runnable {

		@Override

		public void run() {

			File file = null;

			try {

				while((file=files.take()) != POISON){

					try {

						doWork(file);

					} catch (Exception e) {

						onException(e,file);

					}

				}

				files.put(POISON);

			} catch (InterruptedException e) {

			}

		}



		private void onException(Exception e, File file) {

			e.printStackTrace();

		}



		private void doWork(File file) {

			// 解析XML

            SAXBuilder builder = new SAXBuilder();

            try {

                System.out.println("当前使用的线程是："

                        + Thread.currentThread().getName() + ",正在读文件:"

                        + file.getName() + ",列表当前长度:"

                        + files.size());

                Document doc = builder.build(file);

                Element root = doc.getRootElement();

                List list = root.getChildren();

                for (Element e : list) {

                	infos.add(e.getChildTextTrim("ERROR_FEEDBACK_ID"));

                }

            } catch (Exception e) {

                e.printStackTrace();

            }

		}

	}

	

	public void addFile(File file) throws InterruptedException{

		files.put(file);

	}

	

	public void addFilesIgnoreInterrupted(File[] files) {

		for(File file : files){

			try {

				this.files.put(file);

			} catch (InterruptedException e) {

			}

		}

	}

	

	public void shutdown(){

		try {

			if(running){

				running = false;

				files.put(POISON);

			}

		} catch (InterruptedException e) {

		}

	}

	

	public void waiting(){

		if(running || !files.contains(POISON)){

			throw new IllegalStateException("You must call shutdown() function before.");

		}

		for(Thread t : pool){

			try {

				t.join();

			} catch (InterruptedException e) {

			}

		}

	}

	

	public Queue getInfos(){

		return infos;

	}

	

	public static void main(String[] args) {

		Test_15 instance = new Test_15();

		File folder = new File("d:\\comparetest");

		instance.addFilesIgnoreInterrupted(folder.listFiles());

		instance.shutdown();

		instance.waiting();

		for(String info : instance.getInfos()){

			System.out.println(info);

		}

	}



}

#9

一个问题，就是为啥要使用多线程，这个文件读写不是多线程有意义么

#10

推荐阅读

jar
XML介绍与使用的概述及标签规则

本文介绍了XML的基本概念和用途，包括XML的可扩展性和标签的自定义特性。同时还详细解释了XML标签的规则，包括标签的尖括号和合法标识符的组成，标签必须成对出现的原则以及特殊标签的使用方法。通过本文的阅读，读者可以对XML的基本知识有一个全面的了解。 ... [详细]

蜡笔小新 2023-12-13 17:39:50
spring
Spring源码解密之默认标签的解析方式分析

本文分析了Spring源码解密中默认标签的解析方式。通过对命名空间的判断，区分默认命名空间和自定义命名空间，并采用不同的解析方式。其中，bean标签的解析最为复杂和重要。 ... [详细]

蜡笔小新 2023-12-14 17:24:50
grid
CF：3D City Model（小思维）问题解析和代码实现

本文通过解析CF：3D City Model问题，介绍了问题的背景和要求，并给出了相应的代码实现。该问题涉及到在一个矩形的网格上建造城市的情景，每个网格单元可以作为建筑的基础，建筑由多个立方体叠加而成。文章详细讲解了问题的解决思路，并给出了相应的代码实现供读者参考。 ... [详细]

蜡笔小新 2023-12-13 14:17:11
grid
HDFS2.x新特性

一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]

蜡笔小新 2023-12-13 13:52:40
grid
通过Go SDK（Amazon S3）从Bucket生成Torrent - Generate Torrent from Bucket via Go SDK (Amazon S3)

Imtryingtofigureoutawaytogeneratetorrentfilesfromabucket,usingtheAWSSDKforGo.我正 ... [详细]

蜡笔小新 2023-12-12 14:13:01
ip
iOS超签签名服务器搭建及其优劣势

本文介绍了搭建iOS超签签名服务器的原因和优势，包括不掉签、用户可以直接安装不需要信任、体验好等。同时也提到了超签的劣势，即一个证书只能安装100个，成本较高。文章还详细介绍了超签的实现原理，包括用户请求服务器安装mobileconfig文件、服务器调用苹果接口添加udid等步骤。最后，还提到了生成mobileconfig文件和导出AppleWorldwideDeveloperRelationsCertificationAuthority证书的方法。 ... [详细]

蜡笔小新 2023-12-11 20:23:23
ip
Android工程师面试准备及设计模式使用场景

本文介绍了Android工程师面试准备的经验，包括面试流程和重点准备内容。同时，还介绍了建造者模式的使用场景，以及在Android开发中的具体应用。 ... [详细]

蜡笔小新 2023-12-11 18:25:26
ip
如何进行Web.Config自定义配置节的配置转换

本文讨论了如何使用Web.Config进行自定义配置节的配置转换。作者提到，他将msbuild设置为详细模式，但转换却忽略了带有替换转换的自定义部分的存在。 ... [详细]

蜡笔小新 2023-12-11 17:54:55
ip
android listview OnItemClickListener失效原因

最近在做listview时发现OnItemClickListener失效的问题，经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效，还会导致单击后listview每个item的背景改变，使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况，并提供了解决方法。 ... [详细]

蜡笔小新 2023-12-14 14:25:50
ip
java 模拟get post请求_Java后台模拟发送http的get和post请求，并测试

个人学习使用：谨慎参考1Client类importcom.thoughtworks.gauge.Step;importcom.thoughtworks.gauge.T ... [详细]

蜡笔小新 2023-12-13 14:20:23
ip
UVALive6575 Odd and Even Zeroes 数位dp+找规律

本文介绍了UVALive6575题目Odd and Even Zeroes的解法，使用了数位dp和找规律的方法。阶乘的定义和性质被介绍，并给出了一些例子。其中，部分阶乘的尾零个数为奇数，部分为偶数。 ... [详细]

蜡笔小新 2023-12-13 14:19:28
ip
Android系统移植与调试之如何修改Android设备状态条上音量加减键在横竖屏切换的时候的显示于隐藏

本文介绍了如何修改Android设备状态条上音量加减键在横竖屏切换时的显示与隐藏。通过修改系统文件system_bar.xml实现了该功能，并分享了解决思路和经验。 ... [详细]

蜡笔小新 2023-12-13 13:12:05
spring
springmvc学习笔记(十)：控制器业务方法中通过注解实现封装Javabean接收表单提交的数据

本文介绍了在springmvc学习笔记系列的第十篇中，控制器的业务方法中如何通过注解实现封装Javabean来接收表单提交的数据。同时还讨论了当有多个注册表单且字段完全相同时，如何将其交给同一个控制器处理。 ... [详细]

蜡笔小新 2023-12-13 12:16:34
select
Android 7自学笔记总结、移动架构视频、安卓面试真题、项目实战源码讲义

本文介绍了Android 7的学习笔记总结，包括最新的移动架构视频、大厂安卓面试真题和项目实战源码讲义。同时还分享了开源的完整内容，并提醒读者在使用FileProvider适配时要注意不同模块的AndroidManfiest.xml中配置的xml文件名必须不同，否则会出现问题。 ... [详细]

蜡笔小新 2023-12-13 10:06:58
ip
在Mac上安装Xamarin，实现在Windows上开发iOS app的方法

本文介绍了在Mac上安装Xamarin并使用Windows上的VS开发iOS app的方法，包括所需的安装环境和软件，以及使用Xamarin.iOS进行开发的步骤。通过这种方法，即使没有Mac或者安装苹果系统，程序员们也能轻松开发iOS app。 ... [详细]

蜡笔小新 2023-12-11 19:13:35

手机用户2502892757

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章