python去除文件中重复的行实例
作者：yizhen_nlp 发布时间：2022-07-30 17:33:38
标签：python,去除,重复行
python去除文件中重复的行，我们可以设置一个一个空list，res_list，用来加入没有出现过的字符行！
如果出现在res_list，我们就认为该行句子已经重复了，可以再加入到记录重复句子的list中。
如下代码：
# -*- coding: UTF-8 -*-
#程序功能是为了完成判断文件中是否有重复句子
#并将重复句子打印出来
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
index = index + 1
if line in res_list:
temp_str = ""
temp_str = temp_str + str(index) #要变为str才行
temp_line = ''.join(line)
temp_str = temp_str+temp_line
#最终要变为str类型
file_dul.write(temp_str); #将重复的存入到文件中
else:
res_list.append(line)
来源：https://blog.csdn.net/yizhen_nlp/article/details/70340271
0
投稿猜你喜欢
- 在程序设计过程中，经常需要对输入的数据格式进行检查，这时就会用到正则表达式，匹配正则表达式则数据格式正确，否则格式错误。为了检查输入的数据是
- 引言当我们想到“pythonic”时，理解，如列表和字典理解是 Python 的一个特性。这是我们执
- 本文实例为大家分享了python接入微信聊天机器人的具体代码，供大家参考，具体内容如下1.安装库wxpy：pip install -U wx
- 通过python+splinter，实现在12306网站刷票并自动购票流程（无法自动识别验证码）。此类程序只是提高了12306网站的 <
- 本文实例讲述了PHP实现上传文件并存进数据库的方法。分享给大家供大家参考。具体如下：show_add.php文件如下：<?php &n
昨晚今晚写了两晚，总算把Py Port Scanner 写完了，姑且称之为0.1版本，算是一个Python多线程端口扫描工具。水平有限，实话- 引文： 长期以来，多媒体信息在计算机中都是以文件形式存放，由操作系统管理的，但是随着计算机网络，分布式计算的发展，对多媒体信息进行高效的管理
- 本文实例为大家分享了JavaScript实现扫雷小游戏的具体代码，供大家参考，具体内容如下工具：Sublime Text / Dreamwe
- 我们的机器学习任务通常会跟全局图像的问题有关（例如，“图像是否包含一只猫呢？”），所以我们最后一层的神经元应该对整个输入的全局敏感。通过逐渐
- 协同开发时本地测试昨天的文章中提到了Go如何优雅的进行本地测试，今天分享一下：在多人协同开发中，如果大家都进行本地测试可能会出现的问题。最大
- 具体的upgrade脚本如下：动态删除索引DROP PROCEDURE IF EXISTS UPGRADE;DELIMITER $$CREA
- 前言无聊的时候做了一个搜索文章的软件，有没有更加的方便快捷不知道，好玩就行了环境使用Python 3.8Pycharm模块使用import
- 使用了pandas的Series方法绘制图像体验之后感觉直接用matplotlib的功能好用了不少，又试用了DataFrame的方法之后发现
- 本文实例讲述了Java连接各种数据库的方法。分享给大家供大家参考。具体如下：//MySQL：
- 前言在自学机器学习或者是深度学习的过程中，有的时候总想把执行过程或者执行结果显示出来，所以就想到了动画。好在用 Python 实现动画有许多
- 一、备份数据库1、打开SQL企业管理器，在控制台根目录中依次点开Microsoft SQL Server2、SQL Server组-->
- 目录redigo 对 发布订阅的使用订阅的主题发布redigo 对 发布订阅的使用redigo 对redis 的发布订阅机制放在pubsub
- 01_msgbox# 使用easygui功能，可以直接导入easygui模块import easygui# 需要弹框时，要使用easygui
- 前言Python一般使用Matplotlib制作统计图形，用它自己的说法是‘让简单的事情简单，让复杂的事情变得可能'。用它可以制作折
- Python计算器加减乘除，供大家参考，具体内容如下1、效果图2、代码# coding=utf-8import sysfrom PyQt5.
