Java GZip 基于内存实现压缩和解压的方法
作者:超哥说码 发布时间:2023-05-24 12:47:29
GZip是常用的无损压缩算法实现,在Linux中较为常见,像我们在Linux安装软件时,基本都是.tar.gz格式。.tar.gz格式文件需要先对目录内文件进行tar压缩,然后使用GZip进行压缩。
本文针对基于磁盘的压缩和解压进行演示,演示只针对一层目录结构进行,多层目录只需递归操作进行即可。
Maven依赖
org.apache.commons: commons-compress: 1.19: 此依赖封装了很多压缩算法相关的工具类,提供的API还是相对比较底层,我们今天在它的基础上做进一步封装。
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-compress</artifactId>
<version>1.19</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
工具类
在实际应用中,对应不同需求,可能需要生成若干文件,然后将其压缩。在某些应用中,文件较小、文件数量较少且较为固定,频繁与磁盘操作,会带来不必要的效率影响。
工具类针对.tar.gz格式提供了compressByTar、decompressByTar、compressByGZip、decompressByGZip四个方法,用于处理.tar.gz格式压缩文件,代码如下:
package com.arhorchin.securitit.compress.gzip;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import org.apache.commons.compress.archivers.tar.TarArchiveEntry;
import org.apache.commons.compress.archivers.tar.TarArchiveInputStream;
import org.apache.commons.compress.archivers.tar.TarArchiveOutputStream;
import org.apache.commons.compress.compressors.gzip.GzipCompressorInputStream;
import org.apache.commons.compress.compressors.gzip.GzipCompressorOutputStream;
import org.apache.commons.io.IOUtils;
/**
* @author Securitit.
* @note 基于内存以ZIP算法进行压缩和解压工具类.
*/
public class GZipRamUtil {
/**
* 使用TAR算法进行压缩.
* @param sourceFileBytesMap 待压缩文件的Map集合.
* @return 压缩后的TAR文件字节数组.
* @throws Exception 压缩过程中可能发生的异常,若发生异常,则返回的字节数组长度为0.
*/
public static byte[] compressByTar(Map<String, byte[]> tarFileBytesMap) throws Exception {
// 变量定义.
ByteArrayOutputStream tarBaos = null;
TarArchiveOutputStream tarTaos = null;
TarArchiveEntry tarTae = null;
try {
// 压缩变量初始化.
tarBaos = new ByteArrayOutputStream();
tarTaos = new TarArchiveOutputStream(tarBaos);
// // 将文件添加到TAR条目中.
for (Map.Entry<String, byte[]> fileEntry : tarFileBytesMap.entrySet()) {
tarTae = new TarArchiveEntry(fileEntry.getKey());
tarTae.setName(fileEntry.getKey());
tarTae.setSize(fileEntry.getValue().length);
tarTaos.putArchiveEntry(tarTae);
tarTaos.write(fileEntry.getValue());
tarTaos.closeArchiveEntry();
}
} finally {
if (tarTaos != null) {
tarTaos.close();
}
if (null == tarBaos) {
tarBaos = new ByteArrayOutputStream();
}
}
return tarBaos.toByteArray();
}
/**
* 使用TAR算法进行解压.
* @param sourceZipFileBytes TAR文件字节数组.
* @return 解压后的文件Map集合.
* @throws Exception 解压过程中可能发生的异常,若发生异常,返回Map集合长度为0.
*/
public static Map<String, byte[]> decompressByTar(byte[] sourceTarFileBytes) throws Exception {
// 变量定义.
TarArchiveEntry sourceTarTae = null;
ByteArrayInputStream sourceTarBais = null;
TarArchiveInputStream sourceTarTais = null;
Map<String, byte[]> targetFilesFolderMap = null;
try {
// 解压变量初始化.
targetFilesFolderMap = new HashMap<String, byte[]>();
sourceTarBais = new ByteArrayInputStream(sourceTarFileBytes);
sourceTarTais = new TarArchiveInputStream(sourceTarBais);
// 条目解压缩至Map中.
while ((sourceTarTae = sourceTarTais.getNextTarEntry()) != null) {
targetFilesFolderMap.put(sourceTarTae.getName(), IOUtils.toByteArray(sourceTarTais));
}
} finally {
if (sourceTarTais != null)
sourceTarTais.close();
}
return targetFilesFolderMap;
}
/**
* 使用GZIP算法进行压缩.
* @param sourceFileBytesMap 待压缩文件的Map集合.
* @return 压缩后的GZIP文件字节数组.
* @throws Exception 压缩过程中可能发生的异常,若发生异常,则返回的字节数组长度为0.
*/
public static byte[] compressByGZip(byte[] sourceFileBytes) throws IOException {
// 变量定义.
ByteArrayOutputStream gzipBaos = null;
GzipCompressorOutputStream gzipGcos = null;
try {
// 压缩变量初始化.
gzipBaos = new ByteArrayOutputStream();
gzipGcos = new GzipCompressorOutputStream(gzipBaos);
// 采用commons-compress提供的方式进行压缩.
gzipGcos.write(sourceFileBytes);
} finally {
if (gzipGcos != null) {
gzipGcos.close();
}
if (null == gzipBaos) {
gzipBaos = new ByteArrayOutputStream();
}
}
return gzipBaos.toByteArray();
}
/**
* 使用GZIP算法进行解压.
* @param sourceGZipFileBytes GZIP文件字节数组.
* @return 解压后的文件Map集合.
* @throws Exception 解压过程中可能发生的异常,若发生异常,则返回的字节数组长度为0.
*/
public static byte[] decompressByGZip(byte[] sourceGZipFileBytes) throws IOException {
// 变量定义.
ByteArrayOutputStream gzipBaos = null;
ByteArrayInputStream sourceGZipBais = null;
GzipCompressorInputStream sourceGZipGcis = null;
try {
// 解压变量初始化.
gzipBaos = new ByteArrayOutputStream();
sourceGZipBais = new ByteArrayInputStream(sourceGZipFileBytes);
sourceGZipGcis = new GzipCompressorInputStream(sourceGZipBais);
// 采用commons-compress提供的方式进行解压.
gzipBaos.write(IOUtils.toByteArray(sourceGZipGcis));
} finally {
if (sourceGZipGcis != null)
sourceGZipGcis.close();
}
return gzipBaos.toByteArray();
}
}
工具类测试
在Maven依赖引入正确的情况下,复制上面的代码到项目中,修改package,可以直接使用,下面我们对工具类进行简单测试。测试类代码如下:
package com.arhorchin.securitit.compress.gzip;
import java.io.File;
import java.util.HashMap;
import java.util.Map;
import org.apache.commons.io.FileUtils;
import com.arhorchin.securitit.compress.gzip.GZipRamUtil;
/**
* @author Securitit.
* @note GZipRamUtil工具类测试.
*/
public class GZipRamUtilTester {
public static void main(String[] args) throws Exception {
Map<String, byte[]> fileBytesMap = null;
fileBytesMap = new HashMap<String, byte[]>();
// 设置文件列表.
File dirFile = new File("C:/Users/Administrator/Downloads/个人文件/2020-07-13/files");
for (File file : dirFile.listFiles()) {
fileBytesMap.put(file.getName(), FileUtils.readFileToByteArray(file));
}
byte[] ramBytes = GZipRamUtil.compressByTar(fileBytesMap);
ramBytes = GZipRamUtil.compressByGZip(ramBytes);
FileUtils.writeByteArrayToFile(new File("C:/Users/Administrator/Downloads/个人文件/2020-07-13/ram.tar.gz"), ramBytes);
ramBytes = GZipRamUtil.decompressByGZip(ramBytes);
fileBytesMap = GZipRamUtil.decompressByTar(ramBytes);
System.out.println(fileBytesMap.size());
}
}
运行测试后,通过查看ram.tar.gz和控制台输出解压后文件数量,可以确认工具类运行结果无误。
总结
1) 在小文件、文件数量较小且较为固定时,提倡使用内存压缩和解压方式。使用内存换时间,减少频繁的磁盘操作。
2) 在大文件、文件数量较大时,提倡使用磁盘压缩和解压方式。过大文件对服务会造成过度的负载,磁盘压缩和解压可以缓解这种压力。《Java GZip 基于磁盘实现压缩和解压》
来源:https://blog.csdn.net/securitit/article/details/108156074
猜你喜欢
- 安全发布对象在静态初始化函数中初始化一个对象引用将对象的引用保存到volatile类型域或者AtomicReference对象中将对象的引用
- 在spring cloud系列章节中,本来已经写了几个章节了,但是自己看起来有些东西写得比较杂,所以重构了一下springcloud的章节内
- Kotlin基础教程之数据类型一切都是对象.在Kotlin中一切都是对象.Kotlin有一些基本类型Boolean,Byte,Shot,In
- C# char类型有自带的大小写转换方法:ToUpper和ToLowerchar str1 = 'a';char str2
- Semaphore也是一个同步器,和前面两篇说的CountDownLatch和CyclicBarrier不同,这是递增的,初始化的时候可以指
- Nashorn是什么Nashorn,发音“nass-horn”,是德国二战时一个坦克的命名,同时也是java8新一代的javascript引
- 今天记录一下验证码的实现,希望能够帮助到大家!首先我们看一下实现的效果:此验证码的实现没有用到太多的插件,话不多说直接上代码,大家拿过去就可
- import java.util.HashMap;import java.util.Map;import org.apache.common
- java 值Document解析xml详细介绍使用jar包:jdom.jar配置文件格式 global.xml一、获取输入的值组成的结点我们
- 我们在平常项目开发中,经常会用到周期性定时任务,这个时候使用定时任务就能很方便的实现。在SpringBoot中用得最多的就是Schedule
- 介绍大家都知道微信支付的回调链接要求不能跟参数,但又要接收返回的xml数据。我开始使用@RequestBody注解在参数上,希望能获取xml
- 最近公司需要做一个告警页面的功能,需要分页,查了很多资料发现PageHelper比较合适故写一篇从零开始的PageHelper使用的教程,也
- 本文实例为大家分享了利用Swing绘制一个动态时钟的具体代码,供大家参考,具体内容如下效果代码在下面,可跳过解析。前言编程实现一个时钟利用S
- 本文实例为大家分享了java中文传值乱码问题,以及解决方法,供大家参考,具体内容如下一般编码格式设置:1.可以经过两次编码处理,即设置字符集
- SEATA概要seata 是alibaba 出的一款分布式事务管理器,他有侵入性小,实现简单等特点。我们能够使用seata 实现分布式事务管
- 一、JAVA简要概述先说一下java之父,詹姆斯·高斯林这是一个爱喝咖啡而又强大的男人。再来看一下JAVA有多火在TIOBE排行榜上JAVA
- SpringBoot获取所有接口的路由@Autowired WebApplicationContext appli
- 前言本文主要给大家介绍了关于Spring Boot优化内嵌Tomcat的相关内容,分享出来供大家参考学习,下面话不多说了,来一看看详细的介绍
- VS2019打包WPF安装程序最新教程,使用Visual Studio 2019开发的WPF程序如果想要打包为安装程序,除了在VS2019找
- 泛型 一般 出现在集合中,迭代器中 也会出现!泛型 是为了 提高代码的 安全性。 泛型 确保数据类型的唯一性。在我们常用的容器中