论文查重

一、Github链接

Leunglx/PlagiarismChecker (github.com)

二、PSP表格

三、接口的设计与实现

设计流程

SimHash算法原理：https://www.likecs.com/show-204424165.html

核心函数

TxtUtils类

1. readTxt：读取txt文件，将内容转为字符串并返回。
2. writeTxt：传入相似度，格式化为2位小数，将相似度写入指定路径对应的txt。

SimHashUtils类

1. getMD5Hash：传入字符串，用MD5获取hash值并返回。

2. getSimHash：传入字符串，使用hanlp包提取出关键词，然后调用getMD5Hash方法计算出hash值，再算出每个关键词的权重向量，把所有词的权重向量相累加，得到一个新的权重向量；最后进行降维，对于合并后得到的权重向量，遍历每一位，如果该位大于0则记为1，小于等于0则记为0，就得到了该文本的SimHash值。

   （注：由于本人Java刚学，水平有限，未能综合考虑关键词在文中出现的次数、关键词在文中的重要性等因素后再给每个词赋予合适的权重，目前暂时把权重统一设为1，导致文本相似度的计算结果的准确度降低）。

HammingAndSimilarity类

1. SimilarityResult：传入2个SimHash，计算海明距离（海明距离越小，文本越相似），最后算出文本相似度。

main主模块

• 流程：读取输入的路径名对应的txt文件，将内容转为字符串，再分别计算出2个字符串对应的SimHash值，然后计算相似度，最后将结果写入文件中。

四、性能分析

五、单元测试

部分单元测试代码

package utils;

import org.junit.Test;

public class SimHashUtilsTest {
    @Test
    public void getMD5HashTest() {
        String[] words = {"世界", "时时刻刻", "人文精神", "夏天", "的"};
        for(String word: words) {
            System.out.println(SimHashUtils.getMD5Hash(word));
        }
    }

    @Test
    public void getSimHashTest(){
        String str1 = TxtUtils.readTxt("D:/testTxt/orig.txt");
        String str2 = TxtUtils.readTxt("D:/testTxt/orig_0.8_del.txt");
        System.out.println(SimHashUtils.getSimHash(str1));
        System.out.println(SimHashUtils.getSimHash(str2));
    }
}

getMD5HashTest模拟了传入分出来的关键词给getMD5Hash方法，计算出关键词对应的hash值的情况

getSimHashTest模拟了传入文件路径给getSimHash方法，计算出txt内容转为字符串后对应的SimHash值的情况。

测试覆盖率

六、异常处理

CheckFilePath类

1. pathChecker：传入String类型数组，长度为3，数组元素为2个要对比的txt文件路径以及用于保存结果的txt。用于检测数组的元素个数是否为3个、路径对应的文件是否存在、路径对应的文件是否是txt格式

单元测试样例