设置大小超过500.000时,处理速度显着降低

我不习惯使用非常大的数据集,而且我有点难过.

我有以下代码:

private static Set extractWords(BufferedReader br) throws IOException {
    String strLine;
    String tempWord;
    Set words = new HashSet();
    Utils utils = new Utils();
    int articleCounter = 0;
    while(((strLine = br.readLine()) != null)){
        if(utils.lineIsNotCommentOrLineChange(strLine)){
            articleCounter++;
            System.out.println("Working article : " + utils.getArticleName(strLine) + " *** Article #" + articleCounter + " of 3.769.926");
            strLine = utils.removeURLs(strLine);
            strLine = utils.convertUnicode(strLine);
            String[] temp = strLine.split("\\W+");
            for(int i = 0; i < temp.length; i++){
                tempWord = temp[i].trim().toLowerCase();
                if(utils.validateWord(tempWord)){
                    words.add(tempWord);
                    System.out.println("Added word " + tempWord + " to list");
                }
            }
        }
    }
    return words;
}

这基本上从BufferedReader获取一个巨大的文本文件,其中每行文本都是文章中的文本.我想在这个文本文件中列出一个独特的单词列表,但那里有3.769.926篇文章,所以字数非常大.

根据我对集合的理解,或者特别是HashSets,这应该是工作的人.一开始一切都运行得很顺利,但是在500.000篇文章之后,它开始放慢一点.当它达到700.000时,它开始变得足够缓慢,它基本上停止了两分之一,然后又重新开始.这里有一个瓶颈,我看不出它是什么..

有任何想法吗？