8行代码实现Python文件去重
作者：Dream丶Killer 发布时间：2023-11-20 14:47:35
标签：Python,文件去重
需求描述
上周突然接到一个任务，要通过XX网站导出XX年-XX年之间的数据，导出后的文件名就是对应日期，导出后发现，竟然有的文件大小是一样，但文件名又没有重复，所以打开文件看了下，确实重复了，原因暂时不清楚，预测是网站的原因，最后发现大概只有 30％ 的数据没有重复。我淦！
啥也不说，首要任务还是把那些没有重复的文件给筛选出来，或是删除重复的文件。文件很多几百个，通过一个个的对比文件去删除估计又要加班，然后突然想到 Python 有个内置的 filecmp 能够貌似是比较文件的，于是乎就有了这篇文章~
撸代码ing
导出的文件都是保存在同一文件夹下的，格式也相同。然后，上网查了下 filecmp.cmp() 的用法。
filecmp.cmp(f1, f2, shallow=True)
f1/f2：待比较的两个文件路径。shallow：默认为True，即只比较os.stat()获取的元数据(创建时间，大小等信息)是否相同，设置为False的话，在对比文件的时候还要比较文件内容。
from pathlib import Path
import filecmp
path_list = [path for path in Path(r'C:\Users\pc\Desktop\test').iterdir() if path.is_file()]
for front in range(len(path_list) - 1):
for later in range(front + 1, len(path_list)):
if filecmp.cmp(path_list[front], path_list[later], shallow=False):
path_list[front].unlink() # 删除文件
break
为了防止代码有问题，我先创建了一个 test 文件夹，在文件夹下手动创建了6个文件，1~5中只有1,2,3,4,5对应的数字内容，第6个为空文件。
之后再将文件全部复制一份。
▶️运行效果
来源：https://blog.csdn.net/qq_43965708/article/details/119516231
0
投稿猜你喜欢
如果你已经理解了block formatting contexts那么请继续，否则请先看看这篇文章。Overflow能够做一些很牛掰的事情，- 前言在实际开发中, 有不少的场景需要使用到模糊查询, MongoDB shell 模糊查询很简单:db.collection.find({&
- 今天一个项目上需要，修改了一些属性，测试成功。<!--#include file="conn.asp"-
- 在我们的生活中，只要你睁开眼睛就能看到各种各样的视觉。不同的视觉能给你不同的视觉暗示，同样能给你不同的心理感受。视觉这个话题太泛了，大自然中
- 其实就是利用文件“global.asa”！许多ASP编程新手都想知道这东西是什么？事实上，global.asa就是一个事件驱动程序，其中共包
- 前言反爬虫是网站为了维护自己的核心安全而采取的抑制爬虫的手段，反爬虫的手段有很多种，一般情况下除了百度等网站，反扒机制会常常更新以外。为了保
- 一：最近，经常碰到有网友问，如何使vbscript和javascipt传递变量。不知道为什么要这么做。因为每一种脚本语言几乎都可以完成所需要
- 【原文地址】New C# "Orcas" Language Features: Automatic Properties
- 如果使用注释的方法得当的话，为你的CSS文件添加注释可以在开发过程中给予你和其他人很大的帮助。最常见的是为CSS样式规则添加提示信息，不过使
- 本章的前面讨论如何使用SQL向一个表中插入数据。但是，如果你需要向一个表中添加许多条记录，使用SQL语句输入数据是很不方便的。幸运的是，My
- 一个SELECT查询中的LIKE语句来执行这种查询，尽管这种方法可行，但对于全文查找而言，这是一种效率极端低下的方法，尤其在处理大量数据的时
- 一、利用Google API生成二维码Google提供了较为完善的二维码生成接口，调用API接口很简单，以下是调用代码：$urlToEnco
- 本文较为深入的探究了php中in_array函数用法。分享给大家供大家参考。具体如下：今天突然想到php中的in_array函数有个其怪的用
- 我不知道有多少人在使用浏览器的书签，这东东有时候实在是很有用的，比如现在说到的jQuerify书签。jQuerify书签的功能很简单，那就是
- 在现代LOGO设计当中，叶子的形状被视做好的创意。或者说，是一种变革的想法。在网页中他们大多被用于轻量级的解决方案、干净的不抽像的设计。在实
- 使用MySQL的命令终端时，如果输入SQL有误，将有beep声。若要关闭该功能，根据mysql --help，使用mysql --no-be
- 在微软的ASP编程体系中，ADO对象的建立，使得从网页访问数据库成为一件易事，特别是ADO的Recordset对象使得控制数据的输出显示更为
- tips：如果根目录下有favicon.ico，可省去<link rel="shortcut icon" ...&
- 本文实例讲述了php实现的验证码文件类。分享给大家供大家参考。具体如下：<?php/*** @file* @version 1.0*
- 本文是小编针对js保留两位小数这个大家经常遇到的经典问题整理了在各种情况下的函数写法以及遇到问题的分析，以下是全部内容：一、我们首先从经典的
