8行代码实现Python文件去重
作者：Dream丶Killer 发布时间：2023-11-20 14:47:35
标签：Python,文件去重
需求描述
上周突然接到一个任务，要通过XX网站导出XX年-XX年之间的数据，导出后的文件名就是对应日期，导出后发现，竟然有的文件大小是一样，但文件名又没有重复，所以打开文件看了下，确实重复了，原因暂时不清楚，预测是网站的原因，最后发现大概只有 30％ 的数据没有重复。我淦！
啥也不说，首要任务还是把那些没有重复的文件给筛选出来，或是删除重复的文件。文件很多几百个，通过一个个的对比文件去删除估计又要加班，然后突然想到 Python 有个内置的 filecmp 能够貌似是比较文件的，于是乎就有了这篇文章~
撸代码ing
导出的文件都是保存在同一文件夹下的，格式也相同。然后，上网查了下 filecmp.cmp() 的用法。
filecmp.cmp(f1, f2, shallow=True)
f1/f2：待比较的两个文件路径。shallow：默认为True，即只比较os.stat()获取的元数据(创建时间，大小等信息)是否相同，设置为False的话，在对比文件的时候还要比较文件内容。
from pathlib import Path
import filecmp
path_list = [path for path in Path(r'C:\Users\pc\Desktop\test').iterdir() if path.is_file()]
for front in range(len(path_list) - 1):
for later in range(front + 1, len(path_list)):
if filecmp.cmp(path_list[front], path_list[later], shallow=False):
path_list[front].unlink() # 删除文件
break
为了防止代码有问题，我先创建了一个 test 文件夹，在文件夹下手动创建了6个文件，1~5中只有1,2,3,4,5对应的数字内容，第6个为空文件。
之后再将文件全部复制一份。
▶️运行效果
来源：https://blog.csdn.net/qq_43965708/article/details/119516231
0
投稿猜你喜欢
- 本文实例讲述了CentOS 6/7环境下通过yum安装php7的方法。分享给大家供大家参考，具体如下：安装php7已经是现在linux服务器
- 使用ajax获取服务器数据返回给客户端，出现中文乱码。在之前的一个ajax应用中指定codepage=936，将所有页面编码都指定为GB23
最近分别用vue和Android实现了一个券码复制功能，长按券码会在上方弹出一个拷贝的icon提示，点击icon将券码内容复制到剪贴板。现将- 遍历目录或遍历目录下指定类型的文件，这是每一个童鞋在写程序的时候难免会用到的。PHP本身也提供了很多灰常有用的函数，正确地使用它们，不会有错
- python读取npz/npy文件npz和npy文件都可以直接使用numpy读写。import numpy as npac = np.loa
- 图片的间隙 （1）问：我有一张大图片，把它切割后在Dreamweaver中进行拼接，可是总是有间隙，不知为什么？ 答：不知你是否把表格的边距
- 本文实例讲述了Python 文件管理的方法。分享给大家供大家参考，具体如下：一、Python中的文件管理文件管理是很多应用程序的基本功能和重
- PyQt5 事件处理机制PyQt为事件处理提供了两种机制：高级的信号与槽机制，以及低级的事件处理机制。信号与槽可以说是对事件处理机制的高级封
- 本文实例讲述了Python使用爬虫抓取美女图片并保存到本地的方法。分享给大家供大家参考，具体如下：图片资源来自于www.qiubaichen
- 本文实例讲述了Python简单生成8位随机密码的方法。分享给大家供大家参考，具体如下：#!/usr/bin/env python# -*-
- 引言通过一张照片居然发现女友在宿舍里没去上课！强大的照片位置信息获取，快来一起学习吧！一、exifread函数库要怎样获得拍摄图片的GPS呢
- WindowsError的错误代码详解0操作成功完成。1功能错误。2系统找不到指定的文件。3系统找不到指定的路径。4系统无法打开文件。5拒绝
- 导语又到了裹紧被子，穿起秋裤的季节！这些天，我们这边开始下雨了，温度瞬间降了10几度。遭受了秋天第一场寒潮的“侵袭”，我是真的冷，一大早穿上
- 使用MySQLdb连接数据库执行sql语句时，有以下几种传递参数的方法。1.不传递参数conn = MySQLdb.connect(user
- 目录设计到的前端知识注册业务实现前端注册业务逻辑导入vue.js和ajax请求的js库准备register.js文件后端业务注册逻辑设计到的
- 写好脚本，注册好服务之后，经测试，ORACLE可以随RHEL启动而启动，但不能随系统关闭而关闭。在网上找答案，发现几乎所有的设置过程帖子都是
- 英文版见：http://dflying.dflying.net/.../98_web_standard_and_aspnet__part1_
- （1）设计一个算法，确定两个矩形是否相交（即有重叠区域） （2）如果两个矩形相交，设计一个算法，求出相交的区域矩形 (1) 对于这个问题，一
- 基本对比使用方式使用场合优缺点是否需要安装需要的dll网址引用方式程序内引用程序初期确定使用MySql，前期添加引用大多数情况下使用在类文件
- python如何建立一个自己的包一些概念模块：我们写的每个py都是一个模块包：模块的集合，就是一个包，通常包和directory的区别在于是
