Python实现的txt文件去重功能示例
作者：人饭子 发布时间：2021-12-22 23:42:49
标签：Python,txt文件,去重
本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt" #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
if line not in lines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('\n')
outfile.close()
print("success")
其中old.tx如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.jb51.net
www.google.com
www.sohu.com
www.jb51.net
www.163.com
运行后new.txt内容如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com
PS：这里再为大家提供几款相关工具供大家参考使用：
在线去除重复项工具：
http://tools.jb51.net/code/quchong
在线文本去重复工具：
http://tools.jb51.net/aideddesign/txt_quchong
希望本文所述对大家Python程序设计有所帮助。
来源：https://blog.csdn.net/sinat_35360663/article/details/80414699
0
投稿猜你喜欢
Tip:本文仅供学习与交流，切勿用于非法用途！！！背景介绍有个同学问我：“XXX，有没有办法搜集一下淘宝的商品信息啊，我想要做个统计”。于是- 概论在讨论ECMAScript闭包之前，先来介绍下函数式编程（与ECMA-262-3 标准无关）中一些基本定义。 然而，为了更好的解释这些定
- 阅读上一篇：FrontPage XP设计教程2——网页的编辑 制作一个漂亮的网页，离不开网页整体布局的设计，网页布局设计的合理与否，直接影响
- 背景在开发中，我们常常会遇到一些耗时任务，举个例子：上传并解析一个 1w 条数据的 Excel 文件，最后持久化至数据库。在我的程序中，这个
- 一、导包import pandas as pdimport matplotlib.pyplot as plt二、绘制简单折线数据：有一个Ex
- 利用字典dict来完成统计举例：a = [1, 2, 3, 1, 1, 2]dict = {}for key in a: dic
- 等了好久的小程序，终于在近日曝光了。现在就带大家来尝尝鲜。以下是一张随便看看的图。一、构建微信小程序的步骤下载开发工具考虑到微信0.9.09
- 废话不多说，直接上代码吧！#python中，while语句用于循环执行程序，即在某个条件下，循环执行某段程序，以处理需要重复处理的相同任务。
- 本文实例讲述了python实现在字符串中查找子字符串的方法。分享给大家供大家参考。具体如下：这里实现python在字符串中查找子字符串，如果
- 如下所示：# 返回一个列表中第二大的数def second(ln):max = 0s = {}for i in range(len(ln))
- 前言上位机实战开发先放一放，今天来学习一个新的内容—NumPy的使用1 一维数组例：用普通方法生成一维数组num = [0 for i in
- 当Python执行import语句时，它会在一些路径中搜索Python模块和扩展模块。可以通过sys.path查看这些路径，比如：>&
- 在实际编程开发中，我们会使用到各类的加密算法来对数据和信息进行加密。比如密码中比较常见的MD5加密，以及AES加密等等。对于密码认证来说，M
- 1. 引言pprint的英文全称Data pretty printer，顾名思义就是让显示结果更加直观漂亮。print()和pprint()
- degrees()方法从弧度转换到度角x语法以下是degrees()方法的语法：degrees(x)注意：此函数是无法直接访问的
- 只做实现。。完全没考虑性能优化。所以我实现了以后特别卡。第一个是在通讯录右边的索引条上进行滑动，滑动到相应字母就跳转到相应字母的锚点上。思路
- 1、局部变量name = "Yang Li"def change_name(name): print(&qu
- 在更改列顺序之前，你需要考虑是否的确需要更改表中的列顺序。SQL的核心要点是从数据存储格式获取应用。总应指定检索数据的顺序。在下面的第1条语
- 1、登录SMTP服务器首先使用网上的方法（这里使用163邮箱，smtp.163.com是smtp服务器地址，25为端口号）：import s
- 高斯模糊的介绍与原理通常，图像处理软件会提供"模糊"（blur）滤镜，使图片产生模糊的效果。"模糊"
