java IO流将一个文件拆分为多个子文件代码示例
作者:人圭先生 发布时间:2023-08-30 12:46:15
标签:java,文件拆分,io流
文件分割与合并是一个常见需求,比如:上传大文件时,可以先分割成小块,传到服务器后,再进行合并。很多高大上的分布式文件系统(比如:google的GFS、taobao的TFS)里,也是按block为单位,对文件进行分割或合并。
看下基本思路:
如果有一个大文件,指定分割大小后(比如:按1M切割)
step 1:
先根据原始文件大小、分割大小,算出最终分割的小文件数N
step 2:
在磁盘上创建这N个小文件
step 3:
开多个线程(线程数=分割文件数),每个线程里,利用RandomAccessFile的seek功能,将读取指针定位到原文件里每一段的段首位置,然后向后读取指定大小(即:分割块大小),最终写入对应的分割文件,因为多线程并行处理,各写各的小文件,速度相对还是比较快的。
下面代码是将一个文件拆分为多个子文件,每个大小是100K
package testIO;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.util.Arrays;
public class subStream {
public static void main(String[] args) {
//先将源文件读取到内存中
int eachSize=100*1024;
File srcFile =new File("F:/test/test.txt");
//创建一个文件对象
splitFile(srcFile,eachSize);
}
public static void splitFile(File srcFile,int eachSize){
//判断文件是否符合拆分要求
if(srcFile.length()==0){
throw new RuntimeException("文件不符合拆分要求");
}
byte[] fileContent= new byte[(int) srcFile.length()];
try {
//将文件内容读取到内存中
FileInputStream fis=new FileInputStream(srcFile);
fis.read(fileContent);
fis.close();
}
catch (Exception e) {
e.printStackTrace();
}
//计算要次要拆分为多少份
int fileNumber;
if(fileContent.length%eachSize==0){
fileNumber = fileContent.length/eachSize;
} else{
fileNumber = fileContent.length/eachSize+1;
}
for (int i=0;i<fileNumber;i++){
String fileName = srcFile.getName()+"-"+i+".txt";
File fi = new File(srcFile.getParent(), fileName);
//在当前文件路径下创建拆分的文件
byte[] eachContent;
//将源文件内容复制到拆分的文件中
if(i!=fileNumber-1){
eachContent = Arrays.copyOfRange(fileContent, eachSize*i, eachSize*(i+1));
} else{
eachContent = Arrays.copyOfRange(fileContent, eachSize*i, fileContent.length);
}
try {
FileOutputStream fos = new FileOutputStream(fi);
fos.write(eachContent);
fos.close();
System.out.printf("输出子文件 %s,其大小是 %d,每个的大小是%d\n",fi.getAbsoluteFile(),fi.length(),eachContent.length);
}
catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
}
}
来源:http://blog.csdn.net/sinat_15274667/article/details/53982986
0
投稿
猜你喜欢
- 项目概况:Spring Cloud搭的微服务,使用了eureka,FeignClient,现在遇到FeignClient调用接口时不支持上传
- java web返回中文乱码ajax返回中文乱码问题 在浏览器按F12查看数据包可以看到charset为 iso-8859-1,这是spri
- 引言设计: 嗯? 这个图片点击跳转进详情再返回图片怎么变白闪一下呢?产品: 是啊是啊! 一定是个bug开发: 囧囧囧在开发过程中, 也许你也
- 1.map遍历快速实现边距,文字自适应改变大小Container( // padding: EdgeI
- 首先对于一个SpringBoot工程来说,最明显的标志的就是 @SpringBootApplication它标记了这是一个SpringBoo
- 前言在使用Java开发接口请求中,我们需要对请求进行进行统一返回值,这时候我们自己封装一个统一的Result返回类,下面就介绍下我用的这种的
- 前言:文件的上传和下载在日常开发中很是常见,那么这一功能是如何实现的呢,下面我给大家介绍一下实现条件:1、需要一个form标签,method
- mybatis-plus自动配置mapper.xml与java接口映射本来没有mybatis-plus的话,这个工作是通过mybatis-s
- springboot + docker + jenkins自动化部署项目,jenkins、mysql、redis都是docker运行的,并且
- 本文实例讲述了Java简单验证身份证功能。分享给大家供大家参考,具体如下:package org.cxy.csdn.example;impo
- Android中的异步消息机制分为四个部分:Message、Handler、MessageQueue和Looper。其中,Message是线
- synchronized都问啥?如果Java面试有什么是必问的,synchronized必定占据一席之地。初出茅庐时synchronized
- 先看下效果:两种需求场景:1.广告页3s后跳转到首页2.短信验证码60s倒计时第一种的话,根据需求我们可以知道,我们想要的效果就是3s结束做
- 前言在java Thread类中,我们会看到interrupt()、interrupted()及isInterrupted(),在大多数情况
- 介绍什么是ThreadLocal?ThreadLocal叫做线程变量,用于在多线程环境下创建线程本地变量。通俗的讲,ThreadLocal可
- tcp客户端示例#include <errno.h> #include <sys/socket.h> #includ
- 一、项目概述之前有不少粉丝私信我说,能不能用Android原生的语言开发一款在手机上运行的游戏呢?说实话,使用java语言直接开发游戏这个需
- 本文主要给大家介绍了关于Java8中Optional类型和Kotlin中可空类型使用的相关内容,分享出来供大家参考学习,下面话不多说了,来一
- SingleClick:@Retention(AnnotationRetention.RUNTIME)@Target(AnnotationT
- 1.获取签名与模板进入阿里云平台,进入短信服务模块,在以下位置添加签名和模板(格式一定按照要求填写 审批的比较严格)2.编写模板与签名的枚举