如何在 Go 中将 []byte 转换为 io.Reader?

原文链接: 如何在 Go 中将 []byte 转换为 io.Reader?

在这里插入图片描述

在 stackoverflow 上看到一个问题,题主进行了一个网络请求,接口返回的是 []byte。如果想要将其转换成 io.Reader,需要怎么做呢?

这个问题解决起来并不复杂,简单几行代码就可以轻松将其转换成功。不仅如此,还可以再通过几行代码反向转换回来。

下面听我慢慢给你吹,首先直接看两段代码。

[]byte 转 io.Reader

package main

import (
	"bytes"
	"fmt"
	"log"
)

func main() {
	data := []byte("Hello AlwaysBeta")

	// byte slice to bytes.Reader, which implements the io.Reader interface
	reader := bytes.NewReader(data)

	// read the data from reader
	buf := make([]byte, len(data))
	if _, err := reader.Read(buf); err != nil {
		log.Fatal(err)
	}

	fmt.Println(string(buf))
}

输出:

Hello AlwaysBeta

这段代码先将 []byte 数据转换到 reader 中,然后再从 reader 中读取数据,并打印输出。

io.Reader 转 []byte

package main

import (
	"bytes"
	"fmt"
	"strings"
)

func main() {
	ioReaderData := strings.NewReader("Hello AlwaysBeta")

	// creates a bytes.Buffer and read from io.Reader
	buf := &bytes.Buffer{}
	buf.ReadFrom(ioReaderData)

	// retrieve a byte slice from bytes.Buffer
	data := buf.Bytes()

	// only read the left bytes from 6
	fmt.Println(string(data[6:]))
}

输出:

AlwaysBeta

这段代码先创建了一个 reader,然后读取数据到 buf,最后打印输出。

以上两段代码就是 []byteio.Reader 互相转换的过程。对比这两段代码不难发现,都有 NewReader 的身影。而且在转换过程中,都起到了关键作用。

那么问题来了,这个 NewReader 到底是什么呢?接下来我们通过源码来一探究竟。

源码解析

Go 的 io 包提供了最基本的 IO 接口,其中 io.Readerio.Writer 两个接口最为关键,很多原生结构都是围绕这两个接口展开的。

在这里插入图片描述

下面就来分别说说这两个接口:

Reader 接口

io.Reader 表示一个读取器,它将数据从某个资源读取到传输缓冲区。在缓冲区中,数据可以被流式传输和使用。

在这里插入图片描述

接口定义如下:

type Reader interface {
    Read(p []byte) (n int, err error)
}

Read() 方法将 len(p) 个字节读取到 p 中。它返回读取的字节数 n,以及发生错误时的错误信息。

举一个例子:

package main

import (
	"fmt"
	"io"
	"os"
	"strings"
)

func main() {
	reader := strings.NewReader("Clear is better than clever")
	p := make([]byte, 4)

	for {
		n, err := reader.Read(p)
		if err != nil {
			if err == io.EOF {
				fmt.Println("EOF:", n)
				break
			}
			fmt.Println(err)
			os.Exit(1)
		}
		fmt.Println(n, string(p[:n]))
	}
}

输出:

4 Clea
4 r is
4  bet
4 ter
4 than
4  cle
3 ver
EOF: 0

这段代码从 reader 不断读取数据,每次读 4 个字节,然后打印输出,直到结尾。

最后一次返回的 n 值有可能小于缓冲区大小。

Writer 接口

io.Writer 表示一个编写器,它从缓冲区读取数据,并将数据写入目标资源。

在这里插入图片描述

type Writer interface {
   Write(p []byte) (n int, err error)
}

Write 方法将 len(p) 个字节从 p 中写入到对象数据流中。它返回从 p 中被写入的字节数 n,以及发生错误时返回的错误信息。

举一个例子:

package main

import (
	"bytes"
	"fmt"
	"os"
)

func main() {
	// 创建 Buffer 暂存空间,并将一个字符串写入 Buffer
	// 使用 io.Writer 的 Write 方法写入
	var buf bytes.Buffer
	buf.Write([]byte("hello world , "))

	// 用 Fprintf 将一个字符串拼接到 Buffer 里
	fmt.Fprintf(&buf, " welcome to golang !")

	// 将 Buffer 的内容输出到标准输出设备
	buf.WriteTo(os.Stdout)
}

输出:

hello world ,  welcome to golang !

bytes.Buffer 是一个结构体类型,用来暂存写入的数据,其实现了 io.Writer 接口的 Write 方法。

WriteTo 方法定义:

func (b *Buffer) WriteTo(w io.Writer) (n int64, err error)

WriteTo 方法第一个参数是 io.Writer 接口类型。

转换原理

再说回文章开头的转换问题。

只要某个实例实现了接口 io.Reader 里的方法 Read() ,就满足了接口 io.Reader

在这里插入图片描述

bytesstrings 包都实现了 Read() 方法。

// src/bytes/reader.go

// NewReader returns a new Reader reading from b.
func NewReader(b []byte) *Reader { return &Reader{b, 0, -1} }
// src/strings/reader.go

// NewReader returns a new Reader reading from s.
// It is similar to bytes.NewBufferString but more efficient and read-only.
func NewReader(s string) *Reader { return &Reader{s, 0, -1} }

在调用 NewReader 的时候,会返回了对应的 T.Reader 类型,而它们都是通过 io.Reader 扩展而来的,所以也就实现了转换。

总结

在开发过程中,避免不了要进行一些 IO 操作,包括打印输出,文件读写,网络连接等。

在 Go 语言中,也提供了一系列标准库来应对这些操作,主要封装在以下几个包中:

  • io:基本的 IO 操作接口。
  • io/ioutil:封装了一些实用的 IO 函数。
  • fmt:实现了 IO 格式化操作。
  • bufio:实现了带缓冲的 IO。
  • net.Conn:网络读写。
  • os.Stdinos.Stdout:系统标准输入输出。
  • os.File:系统文件操作。
  • bytes:字节相关 IO 操作。

除了 io.Readerio.Writer 之外,io 包还封装了很多其他基本接口,比如 ReaderAtWriterAtReaderFromWriterTo 等,这里就不一一介绍了。这部分代码并不复杂,读起来很轻松,而且还能加深对接口的理解,推荐大家看看。

好了,本文就到这里吧。关注我,带你通过问题读 Go 源码。


推荐阅读:

热情推荐:

  • 计算机经典书籍(含下载方式)
  • 技术博客 硬核后端技术干货,内容包括 Python、Django、Docker、Go、Redis、ElasticSearch、Kafka、Linux 等。
  • Go 程序员 Go 学习路线图,包括基础专栏,进阶专栏,源码阅读,实战开发,面试刷题,必读书单等一系列资源。
  • 面试题汇总 包括 Python、Go、Redis、MySQL、Kafka、数据结构、算法、编程、网络等各种常考题。

参考文章:

  • https://books.studygolang.com/The-Golang-Standard-Library-by-Example/chapter01/01.1.html
  • https://www.cnblogs.com/jiujuan/p/14005731.html
  • https://segmentfault.com/a/1190000015591319
  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以使用 scipy 库中的 loadmat 函数来读取 .mat 文件,然后使用 numpy 库中的 save 函数将数据保存为 .npy 文件。 示例代码如下: ```python import scipy.io import numpy as np # 读取 .mat 文件 mat = scipy.io.loadmat('file.mat') # 获取数据 data = mat['data'] # 保存为 .npy 文件 np.save('file.npy', data) ``` 注意:在使用 loadmat 函数时,需要指定 .mat 文件的路径,并使用字典类型的结构获取其中的数据。 ### 回答2: 在Python中,将.mat文件转换为.npy文件可以使用SciPy库中的io模块。 首先,我们需要安装SciPy库,可以使用以下命令安装: ``` pip install scipy ``` 安装完成后,我们可以使用SciPy的io模块来进行.mat文件和.npy文件之间的转换。 假设我们已经有一个名为example.mat的.mat文件,我们想要将其转换为example.npy文件,可以使用下面的代码: ```python from scipy import io import numpy as np # 读取.mat文件 data = io.loadmat('example.mat') # 获取.mat文件中的数据 mat_data = data['variable_name'] # 将数据保存为.npy文件 np.save('example.npy', mat_data) ``` 在代码中,我们首先导入了SciPy的io模块和NumPy库。然后,我们使用`io.loadmat()`函数读取.mat文件,将返回一个字典,其中包含了.mat文件中的所有变量。我们可以通过指定变量的名称来获取相应的数据。 接着,我们使用`np.save()`函数将获取的数据保存为.npy文件。需要注意的是,此函数的第一个参数是.npy文件的名称,第二个参数是要保存的数据。 运行上述代码后,就会在当前目录下生成一个名为example.npy的.npy文件,其中包含了来自example.mat文件的数据。 ### 回答3: 在Python中将.mat转换为.npy,可以使用SciPy库中的io模块。首先需要导入SciPy库和NumPy库: ``` import scipy.io import numpy as np ``` 然后使用SciPy库的io模块中的`loadmat`函数加载.mat文件: ``` data = scipy.io.loadmat('input.mat') ``` 这将把.mat文件中的数据加载到一个字典中。你可以使用keys()方法查看字典的键: ``` print(data.keys()) ``` 接下来,如果你想将某个特定的数组保存为.npy文件,可以使用NumPy库的`save`函数: ``` np.save('output.npy', data['array_name']) ``` 这将把名为"array_name"的数组保存为.npy文件,文件名为"output.npy"。 如果你想转换整个.mat文件中的所有数组,可以使用一个循环遍历所有键和值,并保存为.npy文件: ``` for key, value in data.items(): np.save(key + '.npy', value) ``` 这将循环遍历所有的键和值,并分别以键名为文件名保存为.npy文件。 需要注意的是,在将.mat转换为.npy时,可能会因为数据类型不兼容导致转换失败。在这种情况下,你可以将数据类型转换为兼容的类型后再保存: ``` np.save('output.npy', data['array_name'].astype(np.float64)) ``` 这里将"array_name"的数组类型转换为float64类型后再保存。 通过以上步骤,你可以将.mat文件转换为.npy文件,并在Python中使用numpy库进行后续分析和处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值