JuiceFS 社区版 v1.1- Beta 发布,新增五个实用功能
我们很高兴地宣布JuiceFSv1 1-Beta版本正式发布啦!这是一个功能丰富的
博客园 2023-06-12 15:19:08
我们很高兴地宣布 JuiceFS v1.1-Beta 版本正式发布啦!这是一个功能丰富的版本,带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能:
(资料图)
目录配额:为目录设置配额限制,控制其大小和文件数目录克隆:快速地复制目录及其内容,节省时间和空间一键恢复回收站文件:一次性地恢复某段时间内所有被删除的文件,无需逐个操作一键收集诊断信息:一键生成诊断报告,方便排查问题和反馈意见快速查看用量信息:快速查看存储空间和文件数的统计信息此外,我们还新增了一个元数据引擎 FoundationDB,一个支持分布式事务的 Key-Value 存储。
本次版本,共有 57 位社区贡献者参与贡献了 726 次提交,感谢每一位的付出。
下面,我们将详细介绍这个版本的新功能和变化。
目录配额配额可以用来限制文件系统中存储空间的最大可用量,防止因个别用户占用过多而影响整个系统的稳定性。在之前版本中,JuiceFS 只支持文件系统级别的配额。这样一来,当这个文件系统被多用户共享使用时,管理员就无法有效地控制每个用户的使用量。因此,在 v1.1 版本中,我们为 JuiceFS 增加了目录配额的功能。具体来说,管理员可以根据需要为任意目录设置一个配额阈值(硬限制),之后如果此目录的使用量达到或超过该阈值,任何试图新建或扩展文件的请求都将失败,直到用户删除部分已有文件或管理员提高配额阈值。另外,为目录设置配额还有一个好处,就是可以让 JuiceFS 跟踪并记录它的使用情况,并在需要时快速获取此目录及其子目录下所有文件的用量统计信息。
目录配额的管理需要借助于新的 juicefs quota
命令,其设置参数与现有的文件系统配额一致,通过 --capacity
来限制容量和通过 --inodes
来限制文件数。例如:
$ juicefs quota set $METAURL --path /test --capacity 1+-------+---------+---------+------+-----------+-------+-------+| Path | Size | Used | Use% | Inodes | IUsed | IUse% |+-------+---------+---------+------+-----------+-------+-------+| /test | 1.0 GiB | 1.6 MiB | 0% | unlimited | 314 | |+-------+---------+---------+------+-----------+-------+-------+
以上命令为 /test
目录设置了 1 GiB 的容量配额,且同时可以看到该目录下已使用量为 1.6 MiB。由于为目录新建配额时,需要递归统计该目录下当前的使用量,因此为已有的大目录设置配额可能需要等待较长时间。如果想查询某个目录的配额及其当前用量,可以使用 quota get
子命令,如:
$ juicefs quota get $METAURL --path /test+-------+---------+---------+------+-----------+-------+-------+| Path | Size | Used | Use% | Inodes | IUsed | IUse% |+-------+---------+---------+------+-----------+-------+-------+| /test | 1.0 GiB | 1.6 MiB | 0% | unlimited | 314 | |+-------+---------+---------+------+-----------+-------+-------+
此外,也可以使用 quota ls
子命令来查看所有已经设置的配额。
值得注意的是,目录配额的统计并不是实时更新的,而是有一定的延迟。这样做是为了尽量减少对业务性能的影响。因此,可能出现这样的情况:目录用量已经达到配额阈值,但部分客户端在短时间(10 秒级别)内仍然可以写入。同时,如果客户端进程异常退出,其临时记录的用量信息可能还没有同步给元数据引擎,导致信息不准确。为了解决这个问题,JuiceFS 提供了 quota check
子命令,可以在必要时检查并修复配额中的统计值,如:
$ juicefs quota check $METAURL --path /test --repair+-------+---------+---------+------+-----------+-------+-------+| Path | Size | Used | Use% | Inodes | IUsed | IUse% |+-------+---------+---------+------+-----------+-------+-------+| /test | 1.0 GiB | 3.2 MiB | 0% | unlimited | 317 | |+-------+---------+---------+------+-----------+-------+-------+
文件数的限制与其类似,在此不再赘述,具体使用可参考:https://juicefs.com/docs/zh/community/guide/quota/#目录配额。
目录克隆有时候,用户可能需要将一些文件复制出来用于其他目的。如果文件量不大,可以直接用 cp
命令来完成。但是,如果文件量很大,这样做就会耗费很长时间,并且涉及到大量的对象存储数据复制。为了解决这个问题,JuiceFS 新增了目录克隆的功能,可以快速复制指定目录下的所有文件。新复制出来的文件有自己的元数据,但是和原文件共享数据块,只是将其引用计数加一。克隆完成后,两边的文件都是独立的,可以各自修改而不会相互影响。由于克隆过程只涉及到元数据操作,而不需要复制数据,因此速度会比普通的 cp
命令快很多。执行克隆的命令示例如下:
$ juicefs clone /mnt/jfs/dir1 /mnt/jfs/dir2
一键恢复回收站文件JuiceFS 的回收站中,文件按照被删除的时间归类,并且附加了原来父目录的索引号,用于在需要时找回其原来的位置。但是,在实际使用中,我们发现利用这些信息重新构建目录结构比较麻烦,只适合手动恢复少量的文件。为了解决这个问题,JuiceFS 在这个版本中新增了 juicefs restore
命令来帮助整理这些文件,例如:
$ juicefs restore redis://localhost/1 2023-05-10-01 --put-back
以上命令可以将 .trash/2023-05-10-01
中的所有文件按其被删除时的目录结构放回原位置。如果原父目录不存在或者遇到有冲突的文件名,则会打印告警日志并跳过,用户后续可以再手动将其恢复到想要的位置。
当 JuiceFS 在运行中出现故障时,新接触的用户往往不知道该如何分析问题原因。因此,在这个版本中 JuiceFS 增加了 juicefs debug
命令来帮助一键收集关键的现场信息,包括主机环境、软件版本和进程运行时状态等,如:
$ juicefs debug /mnt/jfs --out-dir /tmp/jfs-debug
待命令完成退出后,用户可以在 /tmp/jfs-debug
中找到一个以挂载点名称和时间戳命名的 .zip
文件,里面即包含此次收集的诊断信息。
在生产环境中,管理员经常需要定期查看文件系统的使用量情况,或者找出当前系统中最占用空间的目录等。在 JuiceFS 之前版本中,这需要管理员手动统计多个目录的用量(比如执行 du
命令),然后进行排序筛选,这样做既麻烦又可能耗时很长。为了解决这个问题,在这个版本中,JuiceFS 新增了 juicefs summary
命令来快速查看指定目录下的用量统计。例如:
$ juicefs summary /mnt/jfs --depth 1 --entries 5+------+---------+------+-------+| PATH | SIZE | DIRS | FILES |+------+---------+------+-------+| / | 176 MiB | 9 | 20 || d2/ | 43 MiB | 1 | 5 || d4/ | 40 MiB | 3 | 4 || d5/ | 40 MiB | 1 | 4 || d3/ | 23 MiB | 1 | 4 || d1/ | 20 MiB | 1 | 2 || ... | 10 MiB | 1 | 1 |+------+---------+------+-------+
上述命令会统计 /mnt/jfs
下所有一级目录的使用量,并根据 SIZE
从大到小排序后显示最高的 5 项。
在这个版本中,JuiceFS 还增加了一些其他功能来提高系统的安全性与易用性,包括:
在 mount 时通过--root-squash
选项来将 root 用户映射为一个非特权用户,以此来减少权限安全隐患和防止误操作在 mount 时通过 --enable-ioctl
选项来使能对 ioctl
的部分支持,目前能用来设置一些特殊标记位来控制文件的行为,如 append only (a)
和 immutable (i)
在使用 juicefs sync
工具时,新支持了 jfs://
前缀,可以在不挂载的情况下就直接将对象存储与 JuiceFS 内文件同步新的元数据引擎在此版本中,JuiceFS 还引入了一种新的元数据引擎 FoundationDB。这是一款由 Apple 公司开源的分布式数据库,能够在多个集群服务器上高效地存储和管理大规模的结构化数据。它具有高性能、高可扩展性和高容错性的特点。要使用 FoundationDB 作为 JuiceFS 的元数据引擎,只需将 Meta-URL 设置为:fdb://
。其中 cluster_file_path
是 FoundationDB 的配置文件路径,用于连接其服务端。而 prefix
是一个用户自定义的字符串(与使用 TiKV 类似),可以在多个文件系统或者应用共用一个 FoundationDB 集群时,区分不同的元数据空间。示例如下:
$ juicefs format \ --storage s3 \ ... \ "fdb:///etc/foundationdb/fdb.cluster?prefix=jfs" \ pics
具体使用细节可以参考文档
v1.1-Beta 下载地址:https://github.com/juicedata/juicefs/releases/tag/v1.1.0-beta1
希望这些变化能够让你在使用 JuiceFS 时感到更加轻松、便捷和高效。我们也期待你提供宝贵的反馈和意见。如果你还没有开始使用 JuiceFS,可以关注我们的公众号,或者访问官网 ,我们为开发者准备了详细的文档和博客。
我们很高兴地宣布JuiceFSv1 1-Beta版本正式发布啦!这是一个功能丰富的
元隆雅图6月12日在互动平台表示,6月10日中国国家队(TEAMCHINA)特许
6月12日,据水母网援引沸点视频报道:6月11日,河南焦作,大风将路边一
2023年6月第2周(2023年6月6日-2023年6月11日)共采集多个网络平台,共
昆明女性如何确定人流成功?昆明人流医院口碑:1、昆明和万家妇产医院2
太原西山建设18个城郊森林公园,治理破坏面1万余亩,林木覆盖率由不足2
河北日报消息(记者赵瑞雪)6月11日,为期82天的2023(第四届)河北省
1、扶郎花花语象征互敬互爱,有毅力、不畏艰难扶郎花原产地为南非,为
1、鸡锁骨鸡翅膀链接身体骨头。本文就为大家分享到这里,希望小伙伴们
1原本以为的巨大优势被瞬间抹平,说实话我吓了一跳,就在我们愣神的功
桥西召开“三找”部署会桥西区高度重视找差距、找问题、找短板“三找”
端午节,又称端阳节、龙舟节、重午节、重五节、天中节等,日期在每年农
【CNMO新闻】据中国铁路微信公众号消息国铁集团将于今日(6月10日)在1
北京时间6月10日,NBA总决赛G4即将开打,掘金将继续客场挑战热火。赛前
韩联社9日消息,韩国总统尹锡悦9日下午在龙山总统府接见OpenAI首席执行