Linux实现文件内容去重及求交并差集
作者：楔子 发布时间：2023-11-02 18:55:09
标签：Linux,文件,去重,交集,并集
一、数据去重
日常工作中，使用Hive或者Impala查询导出来可能会存在数据重复的现象，但又不想重新执行一遍查询（查询时间稍长，导出文件内容多），因此想到了使用Linux命令将文件的内容重复数据进行去除。
案例如下：
可以看到aaa.txx有3条重复数据
想去掉多余的数据，只保留一条
sort aaa.txt | uniq > bbb.txt
将aaa.txt文件中重复数据去掉，输出到bbb.txt
可以看到bbb.txt文件中只保留了一条数据
二、数据交、并、差
1)、交集(相当于user_2019 inner join user_2020 on user_2019.user_no=user_2020.user_no)
sort user_2019.txt user_2020.txt | uniq -d
2)、并集(相当于 user_2019.user_no union user_2020.user_no)
sort user_2019.txt user_2020.txt | uniq
3)、差集
user_2019.txt-user_2020.txt
sort user_2019.txt user_2020.txt user_2020.txt | uniq -u
user_2020.txt - user_2019.txt:
sort user_2020.txt user_2019.txt user_2019.txt | uniq -u
来源：https://www.cnblogs.com/kopao/p/13361801.html
0
投稿猜你喜欢
- 背景因为最近一直在折腾Kubernetes集群版本升级、Docker版本升级，所以不停的把测试环境安装、还原、升级、降级，简直乱的不行。终于
什么是POSH ？不，这不是一些新的网页设计上的时尚的宣传- POSH是Plain Old Semantic HTML（清晰老式语义化HTM- Mozilla终于发布Firefox 3.6正式版了，这对Firefox来说又是一个具有里程碑意义的版本。也可能是一年之内唯一的一个主要版本
- 企业管理工具开发商BeyondTrust近日表示，微软在Windows 7中对颇受争议的UAC（用户账户控制）所做的改进只是表面功夫，根本没
- 1.WebToJepg和其他在线网页截屏工具如snap相比， WebToJepg能把全屏的网页转化为图片，还有可以设置图片大小，以
- 当我开始注意微软公司的Windows家庭服务器时(Windows Home Server，WHS)，结果却失望地发现，这个“革命性”的WHS
- 现在的网站越做越大了，存储的东西越来越多，如何解决这些文件存储也成了新的难题。如果把这些文件都完全采用大硬盘存储来解决，并不是一个好主意，因
- 域名：GoDaddy是世界第一大域名注册商，域名的附加服务很多，有blog,Email,email指向，停放页，出售页面等。而且可以很方便的
- 大家都知道做网站推广很关键，现在我想谈谈如何利用特殊时段的热门关键词为网站带来流量。春节前，我上搜搜问问和百度知道等知道（问题）系统逛的时候
- 网站权重，是搜索引擎给网站（包括网页）赋予一定的权威值，对网站（含网页）权威的评估评价，一个网站权重越高，在搜索引擎所占的份量越大，在搜索引
- windows2003server标准服务当中需要停止的服务，作为IIS网络服务器，以上服务务必要停止，如果需要SSL证书服务，则设置方法不
- 众所周知，开启Gzip能极大地压缩文本数据的体积，可是有的主机上并没有安装Gzip模块（例如我现在使用的主机），因此不能通过写.htacce
- 就是直接限制网络流量,这种限制通常是最严厉的一种流量限制,10个g的流量大体支持50人在线以内.当月流量超过后,在一个月内网站
- 通俗的讲，Web服务器传送(serves)页面使浏览器可以浏览，然而应用程序服务器提供的是客户端应用程序可以调用(call)的方法(meth
- 北京时间10月1日消息，中华网游戏今日宣布，《指环王》(LOTRO)的封测已经顺利完成。据统计，封测期间用户的每日平均游戏时间达到了3.9小
- 4月19日，在“2008第三届中国互联网站长年会”上，蓝色理想创始人曾沐阳在接受专访的时候表示，大家不要轻易做个人站长，要有充分的思想准备，
- 开启视频功能今天，笔者详细给大家介绍一下，如何使用Discuz!6.0论坛中的视频上传和在线录制功能。站长如何开启视频功能：使用Discuz
- 今天谈一个关于搜索引擎优化细节得有点无聊的问题。以前在论坛里有朋友问，什么样的文章长度有利于SEO?首先先说两句基本上永远正确的废话原则：1
- 据国外媒体报道，CNNMoney网站日前评出了2009年度美国50大最佳职业，系统工程师高居榜首。CNNMoney根据薪水和未来前景两大标准
- apache中的mod_rewrite模块提供了一个基于正则表达式分析器的重写引擎来实时重写URL请求，主要的功能就是实现URL的跳转，它的
