Python实现字典去除重复的方法示例
作者：无法自拔 发布时间：2021-02-24 21:52:14
标签：Python,字典,去除重复
本文实例讲述了Python实现字典去除重复的方法。分享给大家供大家参考，具体如下：
#!/usr/bin/env python
# encoding: utf-8
#字典去重小代码
import sys
import os
import platform
try:
pass
except:
print '''you have something wrong this is a simple jiaoben '''
sys.exit()
why = 'why.txt'
for i in xrange(len(sys.argv)):
if(i>=1):
other = sys.argv[i]
if os.path.exists(other):
pass
else:
print other + ' file not find'
sys.exit()
if 'Windows' in platform.system():
os.system("type "+other+" >> "+why)
else:
os.system("cat "+other+" >> "+why)
yuan = open('why.txt','r')
dirc = open('whynot.txt','w')
for line in set(yuan.readlines()):
if line == '' or line == '\r\n':
pass
else:
dirc.writelines(line)
很简单的思路 把文件放入到why.txt中 然后再去重得到whynot.txt
Usage: quchong.py 1.txt 2.txt 3.txt 等等
PS：本站还有两款比较简单实用的在线文本去重复工具，推荐给大家使用：
在线去除重复项工具：
http://tools.jb51.net/code/quchong
在线文本去重复工具：
http://tools.jb51.net/aideddesign/txt_quchong
希望本文所述对大家Python程序设计有所帮助。
0
投稿猜你喜欢
- 在windows 2003下,在运行web应用程序的时候出现一下错误: 服务器无法处理请求，－－＞对路径“C:/temp/mytest.tx
使用Keras作前端写网络时，由于训练图像尺寸较大，需要做类似 tf.random_crop 图像裁剪操作。为此研究了一番Keras下已封装- 现在拥有了正则表达式这把神兵利器，我们就可以进行对爬取到的全部网页源代码进行筛选了。下面我们一起尝试一下爬取内涵段子网站：http://ww
- 从 gif 直观地感受一下效果我有大量 url 需要访问，但是有些 url 会超时为了避免超时，设置driver.set_page_load
- Turtle库是Python语言中一个很流行的绘制图像的函数库，想象一个小乌龟，在一个横轴为x、纵轴为y的坐标系原点，(0,0)位置开始，它
- 本文旨在介绍 vue-router 的实现思路，并动手实现一个简化版的 vue-router 。我们先来看一下一般项目中对 vue-rout
- Python来进行查询和替换一个文本字符串？可以使用sub()方法来进行查询和替换，sub方法的格式为：sub(replacement, s
- 本文实例讲述了PHP类的特性。分享给大家供大家参考，具体如下：对象向下传递特性当一个对象调用一个实例方法，然后在该方法中又去静态调用另一个类
- 在进行小数计算的时候使用float，经常会出现小数位不精确的情况。在python编程中，推荐使用decimal来完成小数位的精度计算。dec
- 先用最简单的三层全连接神经网络，然后添加激活层查看实验结果，最后加上批标准化验证是否有效首先根据已有的模板定义网络结构SimpleNet，命
- 01 什么是pocPoC（全称: Proof of Concept）, 中文译作概念验证。在安全界，你可以理解成为漏洞验证程序。和一些应用程
- 随着网络的普及，基于网络的应用也越来越多。网络数据库就是其中之一。通过一台或几台服务器可以为很多客户提供服务，这种方式给人们带来了很多方便，
- 1. 使用readline模块逐行读取流数据1.1. 创建Interface对象在readline模块中，通过Interface对象的使用来
- 前言作为一个数据库，作为数据库中的一张表，随着用户的增多随着时间的推移，总有一天，数据量会大到一个难以处理的地步。这时仅仅一张表的数据就已经
- 引子首先说 正则表达式是什么？正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expres
- 我从11岁开始编程，并且一直都很喜欢技术和编程。这些是我一直以来获得的经验教训。作为一个程序员，你可能需要这样的忠告。我更希望每个人在获取这
- <form action="calscore.asp?action=do" met
- 名片管理系统有两个模块组成：cards_main.py 和 cards_tools.py一个是主程序，另一个是封装增删改查函数的被调用程序代
- 前言在python 中有时候我们用数组操作数据可以极大的提升数据的处理效率，类似于R的向量化操作，是的数据的操作趋于简单化，在python
- 1、问题描述在项目开发中,当我们通过npm run build打包之后将文件放在服务器上时通常会出现图片失效问题,控制台中提示某个图片没有找
