c#分页读取GB文本文件实例
作者：shichen2014 发布时间：2021-09-13 10:18:39
标签：c#,读取
本文实例讲述了c#分页读取GB文本文件的方法。分享给大家供大家参考。具体如下：
一、应用场景：
① .我在做BI开发测试的时候，有可能面对source文件数GB的情况，如果使用一般的文本编辑器，则会卡死，或要等很久才能显示出来。
② .有时候，我们使用ascii(01)或ascii(02)作为行或列的分隔符，这样的临时文件用于导数据到DB,如果文件导入过程中有错误，需要查看文件 的时候，普通的编辑器不支持换行，则会很恐怖。
为解决这两个需求，我使用c#完成了一个简单的winform的应用程序。
功能列表：
1.根据配置的行数，写测试文件，指定行终止符，列分隔符暂时没有使用上。
2.根据指定的行终止符，和pagesize,分页读取文件内容，而且可以在text和byte间转换。
二、实现代码:
主要的代码如下，使用了一个迭代器：
private IEnumerator<string> ReadLines(string filename)
{
/*
string line;
using (TextReader reader = File.OpenText(filename))
{
while ((line = reader.ReadLine()) != null)
yield return line;
}
*/
StringBuilder sb = new StringBuilder();
using (FileStream fs = File.OpenRead(filename))
{
int b = 0;
while ((b=fs.ReadByte())!=-1)
{
//textbox3 store the row terminator
if (b.ToString() == textBox3.Text.Trim())
{
yield return sb.ToString();
sb.Clear();
}
else
sb.Append(UnicodeEncoding.ASCII.GetString(new byte[] { byte.Parse(b.ToString()) }));
}
}
}
示例截图如下所示：
我测试了一次，生成了1个亿的数据行，在系统中显示占用6GB的空间，
我尝试读写，无卡顿情况。
可以进一步更新：
根据列行分隔符显示到gridview中，这样更清晰。
可以从后往前读文件。
希望本文所述对大家的C#程序设计有所帮助。
0
投稿猜你喜欢
本文实例讲述了Java Swing中JDialog实现用户登陆UI。分享给大家供大家参考，具体如下：JDialog是一种对话框组件，它常常与- 一、Spinner的两种展示样式下拉列表的展示方式有两种，一种是在当前下拉框的正下方展示列表，此时把spinnerMode属性设置为drop
- 一、简介Android的消息机制主要是指Handler的运行机制，那么什么是Handler的运行机制那？通俗的来讲就是，使用Handler将
- 方法一：public class MainActivity extends Activity { @O
- 为什么需要全局异常处理在传统 Spring Boot 应用中， 我们 @ControllerAdvice 来处理全局的异常，进行统一包装返回
- 目录生成器设计类图： 实现代码：优点：用途与缺点：责任链设计类图：实现代码：优点：用途和缺点：总结生成器生成器模式：封装一个产品的
- 1、类的修饰符分为：可访问控制符和非访问控制符两种。 可访问控制符是：公共类修饰符 public非访问控制符有：抽象类修饰符 abstrac
- 本文实例为大家分享了OpenGL绘制贝塞尔曲线的具体代码，供大家参考，具体内容如下最终效果图：通过3个点形成一条贝塞尔曲线1. 鼠标问题在使
- 成员类型访问权限低于字段本身现在假设你有一个小兵类，他的访问权限是仅限当前程序集。internal class 小兵{public int
- 本文实例讲述了Java实现删除排序数组中重复元素的方法。分享给大家供大家参考，具体如下：题目描述：给定一个排序数组，在原数组中删除重复出现的
- 需求：android存储字符串数据简单的有SharePerfence不过只能存储89kb最多的数据（好像），超过这个数据如果不方便网络存储，
- DataHub 类似于传统大数据解决方案中 Kafka 的角色，提供了一个数据队列功能。DataHub 除了供了一个缓冲的队列作用。同时由于
- instanceof判断某个对象是否是某个类的实例或者某个类的子类的实例。它的判断方式大概是这样的：public<T> bool
- 前言前面说过了类的加载机制，里面讲到了类的初始化中时用到了一部分内存管理的知识，这里让我们来看下Java虚拟机是如何管理内存的。先让我们来看
- 本文实例讲述了C#实现windows form拷贝内容到剪贴板的方法。分享给大家供大家参考。具体实现方法如下：using System;us
- 前面讲了 Spock框架Mock对象方法经验总结一、静态方法Mock静态方法我们使用PowerMock结合Mockito的方案，首先在测试类
- 本文实例讲述了Java定义泛型方法。分享给大家供大家参考，具体如下：一 点睛1 如果定义类、接口是没有使用类型形参，但定义方法时想自己定义类
- 本文实例为大家分享了Android设置默认锁屏壁纸接口的具体代码，供大家参考，具体内容如下完成自定义service后,接下来就是具体实现接口
- 为什么需要网关呢？我们知道我们要进入一个服务本身，很明显我们没有特别好的办法，直接输入IP地址+端口号，我们知道这样的做法很糟糕的，这样的做
- 本文实例为大家分享了Android九宫格图片展示的具体代码，供大家参考，具体内容如下using System;using Microsoft
