Python实现的删除重复文件或图片功能示例【去重】
作者：loveliuzz 发布时间：2023-12-25 00:49:07
标签：Python,重复文件,去重
本文实例讲述了Python实现的删除重复文件或图片功能。分享给大家供大家参考，具体如下：
通过python爬虫或其他方式保存的图片文件通常包含一些重复的图片或文件，
通过下面的python代码可以将重复的文件删除以达到去重的目的。其中，文件目录结构如下图：
# /usr/bin/env python
# -*- coding:utf-8 -*-
# 运行的代码文件要放到删除重复的文件或图片所包含的目录中
import os
import hashlib
def filecount():
filecount = int(os.popen('dir /B |find /V /C ""').read())
return (filecount)
def md5sum(filename):
f = open(filename, 'rb')
md5 = hashlib.md5()
while True:
fb = f.read(8096)
if not fb:
break
md5.update(fb)
f.close()
return (md5.hexdigest())
def delfile():
all_md5 = {}
filedir = os.walk(os.getcwd())
for i in filedir:
for tlie in i[2]:
if md5sum(tlie) in all_md5.values():
os.remove(tlie)
else:
all_md5[tlie] = md5sum(tlie)
if __name__ == '__main__':
oldf = filecount()
print('去重前有', oldf, '个文件\n\n\n请稍等正在删除重复文件...')
delfile()
print('\n\n去重后剩', filecount(), '个文件')
print('\n\n一共删除了', oldf - filecount(), '个文件\n\n')
希望本文所述对大家Python程序设计有所帮助。
来源：https://blog.csdn.net/loveliuzz/article/details/81661281
0
投稿猜你喜欢
本文实例为大家分享了Python多线程模拟火车站售票的具体代码，供大家参考，具体内容如下Python的标准库提供了两个模块：thread和t- 此文章主要向大家讲述的是SQL Server数据库的分布式数据库系统的实际目标，通俗的讲就是研制分布式数据库系统的目的、动机，其中主要包括的
- 在这里奉上源代码，没有做样式处理，不过功能是可以的，希望大家可以和我交流交流！<html> <head>&
- Windows环境下一、开启 Imagick 扩展1、安装PHP扩展：Imagick，下载地址 https://pecl.php.net/p
- 在备份数据库的时候，数据表中可能存在这样的值array('a'='b','c'='d
- 本文实例讲述了Python实现返回数组中第i小元素的方法。分享给大家供大家参考，具体如下：#! /usr/bin/env python#co
- 1.提示窗口，当页面被打开时就弹出提示窗口。<style type="text/css"> body { b
- 遵循Web标准的思想，网页要表现出一种亲和力。那么，针对残障用户来说，其“阅读”器可不能读取图像上传递的信息的。所以我们会采用一种Using
- 联合结果集 新建临时工数据表 代码如下:CREATE TABLE T_TempEmployee (FIdCardNumber VARCHAR
- 由于opencv读入图片数据类型是uint8类型，直接加减会导致数据溢出现象（1）用Numpy操作可以先将图片数据类型转换成int类型进行计
- 在我转到wordpress之后第一个考虑的是它的数据库备份恢复问题，因为写bloger都知道，自己的blog记录的都是自己需要的宝贵的资料和
- YUI3.2.0 的 transition 模块，通过使用 transition:end 事件实现在 transition 完成后执行其他操
- 常见到网上博文有错误理论，包括身边很多朋友都曾认同“可访问性(Accessibility)是为残障人士准备”的观点。其实在互联网技术领域远不
- 这个网页颜色表是很好用，鼠标点击颜色即可复制颜色值到剪贴板，方便大家设计取色。下载苏昱css2 样式表中文手册包括颜色表：W3C- 十六色色
- 这篇文章主要介绍了Python属性和内建属性实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- 本文实例讲述了Python去除列表中重复元素的方法。分享给大家供大家参考。具体如下：比较容易记忆的是用内置的setl1 = ['b&
- 本文实例讲述了Thinkphp5.0 框架的请求方式与响应方式。分享给大家供大家参考，具体如下：Thinkphp5.0 的请求方式方法一（使
- format是字符串内嵌的一个方法，用于格式化字符串。以大括号{}来标明被替换的字符串。1、基本用法1. 按照{}的顺序依次匹配括号中的值s
- 看下面的Java代码，目的是为了当i是3的时候，就不做输出，直接跳到下一个循环。int i = 0;
- 因为自己在设计的时候就对这些东西经常不是很在意，以为是很小的事情，结果往往给自己搞出不少的麻烦。可能大家没有我这么粗心，不过还是想提醒一下跟
