Home

Awesome

MNBVC 去重部分

项目描述

本项目的主要目的是:

  1. 将外界输入的文件以文件md5和文件大小进行重复检测,删除不同来源的同一文件。
  2. 将大量文本文件(目前仅有txt文件)转换为格式化的、易于查询的数据。
  3. 在个人电脑上,实现对百万个文件的量级的快速去重操作。
  4. (TODO)在集群上,对全部类型的文件进行重复检测。

环境安装

  1. 从gtihub下载本项目
    git clone https://github.com/aplmikex/deduplication_mnbvc
    
  2. 使用 pip命令安装所需的库
    # 进入这个库的目录
    cd deduplication_mnbvc
    # 安装项目所需要的依赖
    pip install -r requirements.txt
    

jsonl格式说明

  1. 对于每个jsonl文件,其大小略大于500MiB,这个数值定义在 utils.py中的 max_size,可根据需要更改

  2. 对于每一个文件,他的json结构层次如下:

    {
        '文件名': '文件.txt',
        '是否待查文件': False,
        '是否重复文件': False,
        '文件大小': 1024,
        'simhash': 0,
        '最长段落长度': 0,
        '段落数': 0,
        '去重段落数': 0,
        '低质量段落数': 0,
        '段落': []
    }
    

    将每一行为一个段落,段落的json结构层次如下:

    {
        '行号': line_number,
        '是否重复': False,
        '是否跨文件重复': False,
        'md5': md5,
        '内容': line
    }