Golang 按行读取文件的三种方法小结
作者:恋喵大鲤鱼 发布时间:2024-02-20 18:45:29
Golang 是一种现代的编程语言,它具有高效、简洁和可扩展等特点,因此在各种领域广泛应用。在 Golang 中,读取文件是一个常见的操作。在本篇技术博客中,我将介绍如何在 Golang 中按行读取文件。
1.使用 bufio.Scanner 读取文件
Golang 中有一个 bufio 包,它提供了 Scanner 类型,可以方便地按行读取文件。我们可以使用 Scanner 的 Scan() 方法来读取每一行。
bufio.Scanner是一个基于缓冲区的数据扫描器,它提供了方便的逐行/逐词读取操作。Scan 方法是bufio.Scanner 的一个核心方法,用于扫描缓冲区中的数据并返回扫描到的下一个 Token。
Scan 方法的签名如下:
func (s *Scanner) Scan() bool
该方法返回一个 bool 类型值,表示扫描是否成功。如果扫描成功,该方法会将下一个Token读取出来并保存在Scanner的Text字段中。如果扫描失败,则返回false。
在读取Token之前,Scanner会将缓冲区中的数据读取到底层的Reader中,并从底层的Reader中获取新的数据填充到缓冲区中。因此,在Scan方法调用之前,Scanner的缓冲区中可能已经包含了一部分数据,也可能为空。
扫描过程中,Scanner会将缓冲区中的数据按照分隔符进行分割,并将分割后的Token返回。默认情况下,Scanner使用换行符作为分隔符,即每次扫描一行数据。如果需要使用其他分隔符,可以使用Scanner的Split方法进行设置。
// ReadLines reads all lines of the file.
func ReadLines(path string) ([]string, error) {
file, err := os.Open(path)
if err != nil {
return nil, err
}
defer file.Close()
var lines []string
scanner := bufio.NewScanner(file)
for scanner.Scan() {
lines = append(lines, scanner.Text())
}
return lines, scanner.Err()
}
上面的代码中,我们首先使用 NewScanner() 函数创建一个 Scanner 对象。然后在 for 循环中,我们使用 Scanner 的 Scan() 方法读取文件的每一行,然后使用 Text() 方法获取每一行的内容。最后,我们将获取到的行追加到字符串切片中。
2.使用 bufio.Reader 读取文件
除了使用 Scanner 类型之外,我们还可以使用 bufio 包中的 Reader 类型按行读取文件。在使用 bufio.Reader 时,我们需要使用 ReadBytes() 或 ReadString() 方法来读取每一行,示例代码如下:
// ReadLinesV2 reads all lines of the file.
func ReadLinesV2(path string) ([]string, error) {
file, err := os.Open(path)
if err != nil {
return nil, err
}
defer file.Close()
var lines []string
reader := bufio.NewReader(file)
for {
// ReadString reads until the first occurrence of delim in the input,
// returning a string containing the data up to and including the delimiter.
line, err := reader.ReadString('\n')
if err == io.EOF {
lines = append(lines, line)
break
}
if err != nil {
return lines, err
}
lines = append(lines, line[:len(line)-1])
}
return lines, nil
}
上面的代码中,我们使用 NewReader() 函数创建一个 Reader 对象。在 for 循环中,我们使用 ReadString() 函数读取每一行的内容,并将其追加到字符串切片中。
需要注意的是,在使用 ReadString() 函数时,我们需要指定分隔符,例如 ‘\n’ 表示以换行符为分隔符。如果读取的文件中没有指定的分隔符,ReadString() 函数会返回一个错误,因此我们需要在 for 循环中检查是否发生了错误。
3.使用 bufio.Reader 的 ReadLine 读取文件
使用 bufio.Reader 逐行读取文件时,除了使用 ReadBytes() 或 ReadString() 方法,还可以使用 ReadLine() 函数。
// ReadLinesV3 reads all lines of the file.
func ReadLinesV3(path string) ([]string, error) {
f, err := os.Open(path)
if err != nil {
return nil, err
}
defer f.Close()
var lines []string
r := bufio.NewReader(f)
for {
// ReadLine is a low-level line-reading primitive.
// Most callers should use ReadBytes('\n') or ReadString('\n') instead or use a Scanner.
bytes, _, err := r.ReadLine()
if err == io.EOF {
break
}
if err != nil {
return lines, err
}
lines = append(lines, string(bytes))
}
return lines, nil
}
使用 bufio.Reader 的 ReadLine() 方法可以读取一行数据,但是需要注意它的返回值。ReadLine() 函数的返回值包括三个部分:读取到的数据、是否读取完整一行以及错误信息。如果读取到的数据超出了缓存区的大小,它会返回一个错误信息,而不是完整的一行数据。
因此,如果读取的一行数据的长度超过了缓存区的大小,ReadLine() 函数将无法读取到完整的一行数据。为了避免这种情况的发生,我们可以通过设置缓存区的大小来解决。
ReadLine 是一个低级的行读取原语。大多数调用者应该使用 ReadBytes(‘\n’) 或 ReadString(‘\n’),或者使用 Scanner。
4.go-huge-util
本文实现的函数已放置开源仓库 dablelv/go-huge-util,欢迎大家使用。
package main
import (
"github.com/dablelv/go-huge-util/file"
)
func main() {
path := "your/file/path"
lines, err := file.ReadLines(path)
lines, err = file.ReadLinesV2(path)
lines, err = file.ReadLinesV3(path)
}
推荐使用 file.ReadLines。
go-huge-util 除了类型转换,还有很多其他实用函数,如加解密、zip 解压缩等,欢迎大家使用、Star、Issue 和 Pull Request。
参考文献
dablelv/go-huge-util - GitHub
来源:https://dablelv.blog.csdn.net/article/details/130337527
猜你喜欢
- 基本上快被这个问题搞疯了,症状如下症状描述:在ie下(6或7,8没有试过)当出现中英文混排,都采用默认字体时,并使用 li 列表做float
- 常见的限流算法固定窗口计数器算法固定窗口计数器算法将时间分为固定大小的窗口,例如1秒。在每个窗口中,服务会记录它接收到的请求数。如果在一个窗
- 目前由于phantomjs已经不维护了,而新版的Chrome(59+)推出了Headless模式,对爬虫来说尤其是定时任务的爬虫截屏之类的是
- 1.选择File -> Settings2.选择 File and Code Templates -> Files ->
- 一、前言在Python中,类表示具有相同属性和方法的对象的集合。在使用类时,需要先定义类,然后再创建类的实例,通过类的实例就可以访问类中的属
- 作者:F. Permadi译者:Sheneyan(子乌)英文原文: INTRODUCTION TO JavaScript Functions
- 主要使用IE各个阶段实现的一些方法,从中也可以看出IE的发展史。暂时提供到IE4的判定。var isIE = window.ActiveXO
- 慢SQL与索引的关系慢SQL优化原则数据库也是应用,MySQL 作为一种磁盘数据库,属于典型的 IO 密集型应用,并且随机 IO 比顺序 I
- 优点:·减少使用空间·使后面的背景层模糊或者渐隐出现让用户的焦点集中在当前层。什么时候使用(对话框等)模式窗口?·图片/视频灯箱效果·联系表
- Ajax,全称为Asynchronous JavaScript and XML,即异步的JavaScript和XML。它不是一门编程语言,而
- 本文实例讲述了Python设计模式之建造者模式。分享给大家供大家参考,具体如下:建造者模式(Builder Pattern):将一个复杂对象
- 前言大家应该都有所体会,随着硬件层面的发展,linux系统多核已经是普通趋势,而mysql是单进程多线程,所以先天上对多进程的利用不是很高,
- 实例如下所示:#!/usr/bin/python# -*- coding:utf8 -*-from selenium import webd
- 故障转移群集是Windows Server中的一个功能,自从在Windows NT 4.0 Enterprise Edition中首次引入群
- 项目简介鉴于项目保密的需要,不便透露太多项目的信息,因此,简单介绍一下项目存在的难点:海量数据:项目是对CSV文件中的数据进行处理,而特点是
- 类似于and操作类似于or操作# 类型转换# sortedli=[2,45,1,67,23,10]li.sort() #list的排序方法p
- 第一章:连接 FTP 服务器并实现文件夹下载① 连接 FTP 服务器如果 FTP 不用用户名密码就直接可以访问,那就是用的默认用户名 Ano
- udp实现同时收发信息import socketimport threadingdef fa(udp_socket,recv_ip,recv
- PHP echo() 函数实例输出一些文本:<?php echo "Hello world!"; ?>定义和
- Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE