ipfs filestore解读

版本: go-ipfs@v0.4.23

IPFS中的filestore作用类似于Git中的LFS,主要用于存储大文件,在blockstore只存储大文件的dag root,在FileManager存放文件的metadata, 避免大文件充斥blockstore,节省blockstore的空间。

Git LFS

LFS全称Large File System,是git用来存放大文件的地方。它有几个优点:

1、在git仓库只存储了大文件的链接(主要存放文件的sha256),体积很小,方便clone和pull。

clone的时候只pull最新的版本,无需像其它object一样保存所有历史版本。

2、git diff基于文本行比较,而大文件大部分是二进制文件,diff不适用。

ipfs filestore

filestore结构体如下

// Filestore implements a Blockstore by combining a standard Blockstore
// to store regular blocks and a special Blockstore called
// FileManager to store blocks which data exists in an external file.
type Filestore struct {
	fm *FileManager
	bs blockstore.Blockstore
}

从代码注释可以看出,blockstore用于存储普通文件(ipfs add file);FileManager用于存储外部文件地址等信息(ipfs add file --nocopy)。

FileManager和git lfs都是直接管理磁盘上的文件(没有额外的格式),不同的是,git lfs会copy文件,管理的是lfs仓库中的文件,存有该文件的所有版本,可以管理版本;而FileManager不copy文件,管理的是源文件,无法管理版本。

FileManager和git lfs都会记录源文件的metadata,git lfs主要记录文件路径(包含文件名)、文件大小及文件内容的哈希(sha256);FileManager主要记录中key是文件CID的base32编码,value是文件内容的哈希、路径(包含文件名)、大小、偏移量(主要用于大文件分块)和文件stat信息。

FileManager和git lfs虽然都记录了源文件的metadata及其历史版本信息,但是git lfs依赖git,可以管理版本(checkout),FileManager不行(只记录所有历史版本信息,没有形成版本链条)。

// PosInfo stores information about the file offset, its path and
// stat.
type PosInfo struct {
	Offset   uint64
	FullPath string
	Stat     os.FileInfo // can be nil
}

// FilestoreNode is an ipld.Node which arries PosInfo with it
// allowing to map it directly to a filesystem object.
type FilestoreNode struct {
	ipld.Node
	PosInfo *PosInfo
}

实操

准备

1、修改ipfs config配置文件
  "Experimental": {
    "FilestoreEnabled": false,
    "UrlstoreEnabled": false,
  }

以上两个功能默认是关闭的,均设置为true。

2、add的时候添加–nocopy参数

ipfs filestore命令

$ ipfs filestore -h
USAGE
  ipfs filestore - Interact with filestore objects.

  ipfs filestore

SUBCOMMANDS
  ipfs filestore dups              - List blocks that are both in the filestore and standard block storage.
  ipfs filestore ls [<obj>]...     - List objects in filestore.
  ipfs filestore verify [<obj>]... - Verify objects in filestore.

  For more information about each command, use:
  'ipfs filestore <subcmd> --help'

现阶段filestore有3个子命令:dups/ls/verify

add --nocopy
$ echo "Hello" > hello

$ ipfs add hello --nocopy
added bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da hello

有两点需要注意:
1、只能add文件,不能add字符串
2、add的文件的路径必须位于ipfs root(默认是$home)底下,可以位于root的多级子目录。

ipfs add时,ipfs使用FileManager保存文件信息的同时,也会通过dht向距离该文件CID最近的节点provide。

ipfs filestore ls
$ ipfs filestore ls
bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da      6 Downloads/hello 0
ipfs filestore verify
$ ipfs filestore verify bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da
ok      bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da      6 Downloads/hello 0

ipfs cat

$ ipfs cat bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da
Hello

最好在linux下ipfs cat,在windows不能直接ipfs cat,只能先get后cat。

由于ipfs1在add的时候已经provide,ipfs2也能cat,即通过bitswap找ipfs发送wantlist请求,获取文件。

$ echo "Hello World!" > hello 
$ ipfs add hello --nocopy
added bafkreiadxiqe4ugre3sgotaalycnqlueyijwm6ak6h2dxvkkg6aww2vtia hello

$ ipfs filestore ls
bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da      6 Downloads/hello 0
bafkreiadxiqe4ugre3sgotaalycnqlueyijwm6ak6h2dxvkkg6aww2vtia     13 Downloads/hello 0

$ ipfs filestore verify bafkreiadxiqe4ugre3sgotaalycnqlueyijwm6ak6h2dxvkkg6aww2vtia
ok      bafkreiadxiqe4ugre3sgotaalycnqlueyijwm6ak6h2dxvkkg6aww2vtia     13 Downloads/hello 0

$ ipfs filestore verify bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da
changed bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da      6 Downloads/hello 0

重新add --nocopy后,bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da标注为"changed",表明已被修改;bafkreiadxiqe4ugre3sgotaalycnqlueyijwm6ak6h2dxvkkg6aww2vtia标注为"ok",表明是最新版本。

此时我们再ipfs cat下

$ ipfs cat bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da
Error: data in file did not match. Downloads/hello offset 0

$ ipfs cat bafkreiadxiqe4ugre3sgotaalycnqlueyijwm6ak6h2dxvkkg6aww2vtia
Hello World!

果然,bafkreidgubc3iuqqfrm5qqhmbf6vtwkgpyj2h42pmskokop72mwbxm27da的内容已经无法获取,bafkreiadxiqe4ugre3sgotaalycnqlueyijwm6ak6h2dxvkkg6aww2vtia的内容可以获取。 因为Downloads/hello源文件已经改变,无法得知旧版本的内容,只能获取最新的内容。

有趣的测试

add 大文件(2.16MB)
$ ipfs add IMG_5152.JPG --nocopy
added QmaSDkQpknQeN1iM34SaV8eznkQuuvFHS33zigjCyGnrxa IMG_5152.JPG
 2.16 MiB / 2.16 MiB  100.00%

$ ipfs filestore ls
bafkreiaxtlgx2cligrkinkgq6374kd25q2hrbsessdxlzkxd7seh2mrqqq 262144 ipTest/IMG_5152.JPG 1835008
bafkreib5755rqduckwwysb3tkjdlhqt3slkqfkxx7dwihrhko6ezpqizq4 262144 ipTest/IMG_5152.JPG 786432
bafkreic3idfydr2s5wpblk5jmcqdm4d7hu5w3zat73vygswpmomlh37o74 262144 ipTest/IMG_5152.JPG 1310720
bafkreictqthw2fhcxvfwitz5xzjth2if7o534pje6zwfvb52ojv4tpzdw4 262144 ipTest/IMG_5152.JPG 1048576
bafkreiewb3z4zviruicvplcqmsnhqheue3lb44vm335vo4t2h3htz7b7l4 262144 ipTest/IMG_5152.JPG 524288
bafkreif3yikabcsik7wqodrpfeiwjzggbpgmii4kum7otchsnz3ri334zy 262144 ipTest/IMG_5152.JPG 0
bafkreiflbeifymhqb6il5t7kbmlrhtlxjeruztv5bujldrtcgfxksnktmq 262144 ipTest/IMG_5152.JPG 262144
bafkreigfn7y3au6ie4qfrs2njypwp5z52eske7m7bwvzozzqcsvubpmynm 171316 ipTest/IMG_5152.JPG 2097152
bafkreih6hyyn6w4swilsr3aibki4wzqbjqjgr2uxlhewaoodc3twaa4rsm 262144 ipTest/IMG_5152.JPG 1572864
add 目录
$ mkdir test
$ cd test
$ echo "3" > 3
$ echo "4" > 4
$ cd ..
$ ipfs add test/ -r --nocopy
added bafkreiarehh4zvmrh4fgh7webjx72rhkmt45ye24mzruxiab2ef46qycui test/3
added bafkreid54fkv34gcoabst2avxe5tfrlrypvfjxewpoe6qgvxhomxfnzndu test/4
added QmcdtREQsVfNc3RatR2PwR7i3VuSeLfNND5vGXYNL1sgrx test
 4 B / 4 B  100.00%

可见,FileManager只存储文件,目录和大文件的dag root依然保存在blockstore中, 这些dag root记录这目录内的文件信息以及大文件的分块信息。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值