效果

• 对一段论文的摘要进行测试：
  
• 效果如下
  

单元测试

• 单元测试应该在最低的功能/参数上验证程序的正确性。
• 单元测试必须由最熟悉代码的人（程序的作者）来写。
• 单元测试过后，机器状态保持不变。
• 单元测试要快（一个测试运行时间是几秒钟，而不是几分钟）。
• 单元测试应该产生可重复、一致的结果。
• 单元测试应该覆盖所有代码路径，包括错误处理路径，为了保证单元测试的代码覆盖率，单元测试必须测试公开的和私有的函数/方法。

基于以上要求，设计了以下单元测试：

序号	测试用例	测试对象	测试结果
1	有空白字符的行	LineCount()	通过
2	存在各种样式的字符	CharCount()	通过
3	数字和单词正确判断	WordCount()	少算一个，更改后通过
4	处理特殊字符	WordCount()	通过
5	处理大写字母	WordFreq()	通过
6	单词种类超过十个	WordFreq()	通过
7	只有字母	WordCount()	迭代器崩溃，更改后通过
8	单词频率是否正确排序	WordFreq()	符合字典序
9	无空行	LineCount()	通过
10	空白文本	LineCount()	输出为0，通过

• 测试覆盖率，可以看出，覆盖率极高，分析后主要未覆盖部分为异常检测函数，损失部分覆盖率。
  

以下列出序号1的单元测试代码：

namespace UnitTest1
{       
    TEST_CLASS(UnitTest1)
    {
    public:
        
        TEST_METHOD(TestMethod1)
        {
            // TODO: 在此输入测试代码
            Counter C("F:\\软工\\WordCount\\TEST\\1.txt", "F:\\软工\\WordCount\\TEST\\result.txt");
            int re = C.LineCount();
            Assert::AreEqual(re, 2);

        }

    };
}

性能分析

性能分析图

• 可以看出，红框内的词频统计功能，占用了最多的CPU资源：
  

问题发现

• 从以上两图可以看出，在申请内存空间和返回字符串时，性能开销最大。所以考虑从内存分配入手，优化性能。

解决方案

法一

• 为了更加灵活高效申请内存空间，设计了宏。
• 可以方便定义内存空间使用，并且节省CPU消耗。
• 修改时，只需要修改宏即可。

#define Linethreshold 5000
#define Charthreshold 50000
#define Wordthreshold 20000

法二

• 当数据量非常大的时候，内存将成为性能瓶颈，提出基于sketch在大数据下的词频统计设计，利用算法Count-min sketch解决内存消耗过大的问题。（具体见下文）

异常处理

• 设计了三个应用场景的异常处理，包括：
• 读文件未正常开启：

int DetectFileOpen(ifstream &infile)
{
    if (!infile.is_open())
    {
        cout <<"Cannot open the file, please input right filename!";
        system("pause");
        return 0;
    }
}

• 写文件未能正常开启：

int DetectOutfileOpen(ofstream &outfile)
{
    if (outfile.is_open())
    {
        cout <<"Cannot open the file!";
        system("pause");
        return 0;
    }
}

• 输入错误的文件名：

if (argc != 2)
    {
        cout <<"Uncorrect parameters, Please attach .exe and .txt file in order.";
        system("pause");
    }

• 文件名错误时，报错，并提供解决方案：
  

PSP表格记录

PSP2.1	header 2	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	35	30
· Estimate	·估计这个任务需要多少时间	15	5
Development	开发	645	1220
· Analysis	需求分析（包括学习新技术）	40	50
· Design Spec	· 生成设计文档	40	60
· Design Review	· 设计复审	10	10
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	5	10
· Design	· 具体设计	60	120
· Coding	· 具体编码	240	600
· Code Review	· 代码复审	10	10
· Test	·测试（自我测试，修改代码，提交修改）	240	360
Reporting	报告	245	145
· Test Repor	· 测试报告	240	120
· Size Measurement	· 计算工作量	5	5
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	20	20
合计		935	1400

感想

• 软工作业的量，真是超乎了我的想象，从PSP表中可以看出，我的预估严重不准。而且表中的记录只可能小于实际值，还不包括写博客的时间。这次统计器的实现，不算难，但也走了不少弯路，例如需求分析没有做到位，设计的大局观不足，导致后期代码反复迭代差错，浪费大量时间。其中从《构建之法》中，学到了单元测试要求，很好地帮我解决了设计问题，让我设计出的单元测试更加合理。最有意思的是单元测试还有强大的性能分析工具，在单元测试后，我查出了许多代码中的不足，并加以修改。在性能分析后，我可以准确找到我设计中性能的不足和导致不足相应的代码段，进行优化，应用于之后的程序设计及框架设计，将是一大利器。本次也是代码规范化的一大训练，可以体会一些，在实际开发中的方法和思想，回想到之前实际大型开源项目代码的阅读，对其中代码的规范化、接口的设计体会便更加深刻了。在设计过程中，也偶有灵感扇动，也一并记录下来。

基于sketch在大数据下的词频统计设计

引言

• 在海量数据的下，要对数据中的单词的词频进行统计分析，需要对数据存储、处理，并且维护大量的计数器，将消耗极大资源空间。在本设计中，需要对单词进行分析、处理、稳定排序，最后得出精确的统计结果，而在大数据下，消耗的时间和内存资源是不可接受的。在数据足够多的情况下，要了解单词出现的频率和频率排序，其实没有必要了解词频的精确值，只需提供单词出现的估计值和排序即可。对此，通过在网络测量中相关文献的阅读，提出基于sketch在大数据下词频统计，以达到**节省资源*的目的。

背景

• 在网络测量中，常使用基于sketch的方法，在高速条件下对网络流的数据进行估计，达到节约资源的目的。在网络中存在各种各样的包，若按精确的分类方法，对每一种包都分配一个计数器储存，虽然测量准确，但存放计数器的空间开销会非常大。故使用哈希的方法，根据哈希值的范围确定的所需的存储空间，各种包根据哈希值再次归类，可以大大减少存储空间*。这样使用哈希来估计流的方法称为Sketch-based方法。
• 相似的，在大数据下，如果对所有单词都进行准确存储统计，不仅没有必要，而且占用大量内存资源。对此，提出基于sketch在大数据下词频统计，在达到需求的条件下，达到节省资源目的。

解决方案

• 使用哈希的方法会产生冲突，多个种类的单词哈希到同一个桶内，那么这个桶的计数值就会*偏大，为了减少误差，可以使用count-min sketch。
• Count-min sketch：设置多个哈希函数，开辟一个二维地址空间，包经过不同哈希函数的处理，得到对应的哈希值，而这个哈希值就是sketch（概要）。这些哈希值可能产生冲突，多个种类单词可能有相同的哈希值，根据哈希值来确定单词出现的次数则会偏大，所以设置多个哈希函数，取最小的哈希值，则最接近实际包数据。
• 得到每个种类包的估计值后，对sketch进行排序，取前十种类的包，即可得到词频统计结果。

总结

• Sketch是使用哈希来进行估计网络流的一种测量方法，可以减少存储开销，相似地，应用于大数据下的词频统计，可以减少内存开销。
• 可以使用Count-Min Sketch对文本数据进行处理，多个哈希函数的最小哈希值作为词频的估计，实现简单，空间开销较少，

参考文献：

• SketchVisor: Robust Network Measurement for Software Packet Processing
• An improved data stream summary: the count-min sketch and its applications
• https://www.cnblogs.com/fxjwind/p/3289221.html
• https://blog.csdn.net/lzuacm/article/details/52691450
• http://www.runoob.com/cplusplus/cpp-files-streams.html
  
• https://baike.baidu.com/item/tolower/6389989?fr=aladdin
• https://baike.baidu.com/item/ctype.h/8497240?fr=aladdin
• https://blog.csdn.net/sophia1224/article/details/53054698
• https://bbs.csdn.net/topics/392186748
• http://www.runoob.com/cplusplus/cpp-stl-tutorial.html
• https://blog.csdn.net/ajianyingxiaoqinghan/article/details/78540736
• https://blog.csdn.net/shinetzh/article/details/65660128
• https://blog.csdn.net/beyongwang/article/details/53074704
• https://blog.csdn.net/qq_31828515/article/details/52056779
• http://www.cnblogs.com/xinz/archive/2011/11/20/2255830.html
• https://www.cnblogs.com/SivilTaram/p/software_pretraining_cpp.html
• https://www.cnblogs.com/nullllun/p/8214599.html
• https://www.cnblogs.com/wuchanming/p/4444961.html
• http://blog.sina.com.cn/s/blog_667cddfc0100wet3.html