Golang TCP粘包拆包问题的解决方法
作者:短路的鲍勃 发布时间:2023-07-18 11:04:43
什么是粘包问题
最近在使用Golang编写Socket层,发现有时候接收端会一次读到多个数据包的问题。于是通过查阅资料,发现这个就是传说中的TCP粘包问题。下面通过编写代码来重现这个问题:
服务端代码 server/main.go
func main() {
l, err := net.Listen("tcp", ":4044")
if err != nil {
panic(err)
}
fmt.Println("listen to 4044")
for {
// 监听到新的连接,创建新的 goroutine 交给 handleConn函数 处理
conn, err := l.Accept()
if err != nil {
fmt.Println("conn err:", err)
} else {
go handleConn(conn)
}
}
}
func handleConn(conn net.Conn) {
defer conn.Close()
defer fmt.Println("关闭")
fmt.Println("新连接:", conn.RemoteAddr())
result := bytes.NewBuffer(nil)
var buf [1024]byte
for {
n, err := conn.Read(buf[0:])
result.Write(buf[0:n])
if err != nil {
if err == io.EOF {
continue
} else {
fmt.Println("read err:", err)
break
}
} else {
fmt.Println("recv:", result.String())
}
result.Reset()
}
}
客户端代码 client/main.go
func main() {
data := []byte("[这里才是一个完整的数据包]")
conn, err := net.DialTimeout("tcp", "localhost:4044", time.Second*30)
if err != nil {
fmt.Printf("connect failed, err : %v\n", err.Error())
return
}
for i := 0; i <1000; i++ {
_, err = conn.Write(data)
if err != nil {
fmt.Printf("write failed , err : %v\n", err)
break
}
}
}
运行结果
listen to 4044
新连接: [::1]:53079
recv: [这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据�
recv: �][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
...省略其它的...
从服务端的控制台输出可以看出,存在三种类型的输出:
一种是正常的一个数据包输出。
一种是多个数据包“粘”在了一起,我们定义这种读到的包为粘包。
一种是一个数据包被“拆”开,形成一个破碎的包,我们定义这种包为半包。
为什么会出现半包和粘包?
客户端一段时间内发送包的速度太多,服务端没有全部处理完。于是数据就会积压起来,产生粘包。
定义的读的buffer不够大,而数据包太大或者由于粘包产生,服务端不能一次全部读完,产生半包。
什么时候需要考虑处理半包和粘包?
TCP连接是长连接,即一次连接多次发送数据。
每次发送的数据是结构的,比如 JSON格式的数据 或者 数据包的协议是由我们自己定义的(包头部包含实际数据长度、协议魔数等)。
解决思路
定长分隔(每个数据包最大为该长度,不足时使用特殊字符填充) ,但是数据不足时会浪费传输资源
使用特定字符来分割数据包,但是若数据中含有分割字符则会出现Bug
在数据包中添加长度字段,弥补了以上两种思路的不足,推荐使用
拆包演示
通过上述分析,我们最好通过第三种思路来解决拆包粘包问题。
Golang的bufio库中有为我们提供了Scanner,来解决这类分割数据的问题。
type Scanner
Scanner provides a convenient interface for reading data such as a file of newline-delimited lines of text. Successive calls to the Scan method will step through the 'tokens' of a file, skipping the bytes between the tokens. The specification of a token is defined by a split function of type SplitFunc; the default split function breaks the input into lines with line termination stripped. Split functions are defined in this package for scanning a file into lines, bytes, UTF-8-encoded runes, and space-delimited words. The client may instead provide a custom split function.
简单来讲即是:
Scanner为 读取数据 提供了方便的 接口。连续调用Scan方法会逐个得到文件的“tokens”,跳过 tokens 之间的字节。token 的规范由 SplitFunc 类型的函数定义。我们可以改为提供自定义拆分功能。
接下来看看 SplitFunc 类型的函数是什么样子的:
type SplitFunc func(data []byte, atEOF bool) (advance int, token []byte, err error)
Golang官网文档上提供的使用例子🌰:
func main() {
// An artificial input source.
const input = "1234 5678 1234567901234567890"
scanner := bufio.NewScanner(strings.NewReader(input))
// Create a custom split function by wrapping the existing ScanWords function.
split := func(data []byte, atEOF bool) (advance int, token []byte, err error) {
advance, token, err = bufio.ScanWords(data, atEOF)
if err == nil && token != nil {
_, err = strconv.ParseInt(string(token), 10, 32)
}
return
}
// Set the split function for the scanning operation.
scanner.Split(split)
// Validate the input
for scanner.Scan() {
fmt.Printf("%s\n", scanner.Text())
}
if err := scanner.Err(); err != nil {
fmt.Printf("Invalid input: %s", err)
}
}
于是,我们可以这样改写我们的程序:
服务端代码 server/main.go
func main() {
l, err := net.Listen("tcp", ":4044")
if err != nil {
panic(err)
}
fmt.Println("listen to 4044")
for {
conn, err := l.Accept()
if err != nil {
fmt.Println("conn err:", err)
} else {
go handleConn2(conn)
}
}
}
func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
// 检查 atEOF 参数 和 数据包头部的四个字节是否 为 0x123456(我们定义的协议的魔数)
if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
var l int16
// 读出 数据包中 实际数据 的长度(大小为 0 ~ 2^16)
binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
pl := int(l) + 6
if pl <= len(data) {
return pl, data[:pl], nil
}
}
return
}
func handleConn2(conn net.Conn) {
defer conn.Close()
defer fmt.Println("关闭")
fmt.Println("新连接:", conn.RemoteAddr())
result := bytes.NewBuffer(nil)
var buf [65542]byte // 由于 标识数据包长度 的只有两个字节 故数据包最大为 2^16+4(魔数)+2(长度标识)
for {
n, err := conn.Read(buf[0:])
result.Write(buf[0:n])
if err != nil {
if err == io.EOF {
continue
} else {
fmt.Println("read err:", err)
break
}
} else {
scanner := bufio.NewScanner(result)
scanner.Split(packetSlitFunc)
for scanner.Scan() {
fmt.Println("recv:", string(scanner.Bytes()[6:]))
}
}
result.Reset()
}
}
客户端代码 client/main.go
func main() {
l, err := net.Listen("tcp", ":4044")
if err != nil {
panic(err)
}
fmt.Println("listen to 4044")
for {
conn, err := l.Accept()
if err != nil {
fmt.Println("conn err:", err)
} else {
go handleConn2(conn)
}
}
}
func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
// 检查 atEOF 参数 和 数据包头部的四个字节是否 为 0x123456(我们定义的协议的魔数)
if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
var l int16
// 读出 数据包中 实际数据 的长度(大小为 0 ~ 2^16)
binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
pl := int(l) + 6
if pl <= len(data) {
return pl, data[:pl], nil
}
}
return
}
func handleConn2(conn net.Conn) {
defer conn.Close()
defer fmt.Println("关闭")
fmt.Println("新连接:", conn.RemoteAddr())
result := bytes.NewBuffer(nil)
var buf [65542]byte // 由于 标识数据包长度 的只有两个字节 故数据包最大为 2^16+4(魔数)+2(长度标识)
for {
n, err := conn.Read(buf[0:])
result.Write(buf[0:n])
if err != nil {
if err == io.EOF {
continue
} else {
fmt.Println("read err:", err)
break
}
} else {
scanner := bufio.NewScanner(result)
scanner.Split(packetSlitFunc)
for scanner.Scan() {
fmt.Println("recv:", string(scanner.Bytes()[6:]))
}
}
result.Reset()
}
}
运行结果
listen to 4044
新连接: [::1]:55738
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
...省略其它的...
来源:https://juejin.im/post/5d220f7b6fb9a07ec7553da4
猜你喜欢
- 熬了半个通宵,写出了自己的Google SiteMap文件,在这里给出详细编写教程,愿对大家有所帮助。Google SiteMap的作用及协
- 在对跨多个表格的数据进行组合时,有时很难搞清楚要使用哪一个SQL句法。我将在这里对将多个表格中的查询合并至单一声明中的常用方式进行阐述。在这
- 以下插件是我在项目中经常使用的jQuery插件,不见得是最好的,但是我目前接触到的jQuery插件中最适合我的。01. jQuery.Fle
- 这篇文章主要介绍了IOS苹果AppStore内购付款的服务器端php验证方法(使用thinkphp)。AppStore内购在app中支付的过
- json_encode()如何转化一个对象? 使用 json_encode() 将数组 array
- 代码演示如下:方法一<?php function encryptDecrypt($key, $string, $decrypt){
- 在OOCSS中怎么定义“对象”?对象类似JAVA中的类,保持着OO的特征。一个CSS对象由4部分组成:可能是一个或多个DOM节点的HTML由
- 在我们设计网页的时候,总会遇到一些不愉快的事情,最常见的莫过于在后台添加内容后才发现显示的页面被撑开,导致网页极度不美观。以前大
- 摘要: 阐述一种全新的ASP模板引擎,实现代码(逻辑)层与HTML(表现)层的分离.这种模板实现方法避免了一般ASP模板加载模板文件(加载组
- 内容摘要:严格地说,ASP 并不是一门编程语言,所以不存在类这一概念,我们这里说 ASP 类是指 A
- 以下为引用的内容: <html> <head> <title>不刷新页面查询的方法&
- 对于许多想学习JavaScript的朋友来说,无疑如何选择入门的书籍是他们最头疼的问题,或许也是他们一直畏惧,甚至放弃学习JavaScrip
- 问题你有50枚金币,需要分配给以下几个人:Matthew,Sarah,Augustus,Heidi,Emilie,Peter,Giana,A
- 如何正确显示数据库里同时存在的GB码和BIG5码? Public Function CheckBIG(strS
- 看如下asp代码:<%@ codepage="65001" %><!-- 
- 代码如下:< % Set fso=Server.CreateObject("Scripting
- 解释器模式(Interpreter Pattern)是什么解释器模式是一种行为型模式,它定义了一种语言文法,并且定义了一个解释器,用来解释这
- 1.JOIN和UNION区别 join 是两张表做交连后里面条件相同的部分记录产生一个记录集, union是产生的两个记录集(字段要一样的)
- 十要:第一:要认真规划和分析。这是网页设计灵魂工作。创建站点之前,要明确你的网站主要针对哪些访问者,为哪些用户服务,要把握准主页题材第二:网
- 听说firefox是史上最好用的浏览器,便下载下来体验一番,将体验感受与大家分享一下,并和我一直使用的the world浏览器做一个对比!首