JuiceFS v1.0 正式发布,首个面向生产环境的 LTS 版本
今天,JuiceFS v1.0 發布了🎉
經過了18 個月的持續迭代和大量生產環境的廣泛驗證,此版本將成為第一個被長期維護的穩定版(LTS)。同時,該版本提供完整的向前兼容,所有用戶可以直接升級。
JuiceFS 是為雲環境設計的分佈式文件系統,同時兼容POSIX、HDFS、S3 訪問協議,也可以使用CSI 方式在Kubernetes 中作為PV 使用,在大數據、機器學習,和需要共享文件存儲的場景中廣泛使用。
可用於生產環境
穩定可靠的軟件離不開全面的質量管理體系,JuiceFS 的測試體系已經涵蓋了每日進行的單元測試、基礎功能測試、兼容性測試、第三方工具測試以及實際應用場景測試。每一個版本發布之前,還需要額外完成異常測試和壓力測試。在這次v1.0 正式版發布前,我們模擬了從Redis 切換到TiKV 再持續寫入100 億小文件,來驗證系統的擴展性。
在過去的一年半里,來自不同行業、不同企業規模的社區用戶嘗試將JuiceFS 應用到更為廣泛的場景中:人工智能、大數據、雲原生、數據共享、備份歸檔等。JuiceFS 的能力在應用中獲得了持續改進,並上線到生產環境中,經受住了持續的穩定性和性能考驗。
有上千集群在持續使用JuiceFS,最大集群規模超過10PB 數據和數十億文件。這些用戶來自互聯網和科技、電信運營商、生命醫藥、航天、氣象、遙感等領域;包括有移動雲、航天宏圖、小米、vivio、攜程旅行、大疆、理想汽車、上汽集團、地平線、雲知聲、深勢科技、商湯、Shopee、知乎、網易遊戲、一面數據等企業,還有濟南超算中心、國家天文數據中心等。
這些社區用戶也分享了他們在不同場景的實踐:
- 移動雲使用JuiceFS 支持Apache HBase 增效降本的探索
- 理想汽車使用JuiceFS 實現數據平台存算分離
- Shopee 使用JuiceFS 實現ClickHouse 數據冷熱分層
- 雲知聲使用JuiceFS 建設超算平台分佈式存儲
- 深勢科技使用JuiceFS 實現多雲AI 科學計算平台建設
- 知乎使用JuiceFS 給Flink 容器啟動加速
點擊 此處 查看用戶案例合集。
功能快速瀏覽
JuiceFS 是第一個完全插件式的分佈式文件系統,元數據和數據都可以藉助已有的成熟組件來實現,以應對豐富多變的企業環境和數據存儲需求,目前支持10 種以上元數據引擎 和30 種以上數據存儲引擎。同時,JuiceFS 同時兼容POSIX、HDFS、S3、WebDAV等訪問協議,讓數據不再成為孤島,可以自由地在所有應用中流通。
除了穩定性之外,JuiceFS 還提升了全方面的數據安全保障:
- 數據存儲加密,讓文件內容加密存儲在對象存儲中,防止數據意外洩露
- 回收站,防止手抖誤刪除
- 元數據導入& 導出工具不僅方便備份,還可以做元數據引擎遷移
- 元數據自動備份,支持數據延遲刪除,配合元數據備份,可以讓數據「回到過去」,防止誤更新
系統可觀測性也在持續增強:
- 提供豐富的系統指標監控系統運行狀態,通過API 直接接入Prometheus,預置的Grafana 模版
- 通過客戶端日誌和訪問日誌,可以了解系統詳情
- 文件元數據索引分析工具juicefs info
- 性能實時診斷工具juicefs profile
- 性能統計監控工具juicefs stats
- 支持Graphite 協議收集Hadoop SDK 的監控數據
- 內置Pyroscope 進行性能分析
還有豐富的管理工具:
- juicefs sync在任意兩個存儲系統之間複製數據,相當於高性能rsync/DistCp,支持豐富的訪問協議
- juicefs warmup可以為指定路徑預熱數據,提升讀取性能
- juicefs rmr快速刪除指定目錄
- juicefs config可以在線修改文件系統配置
- juicefs fsck可以檢查文件系統完整性,找出可能損壞的文件
- juicefs gc可以回收意外洩露的數據
- juicefs bench簡單的基準性能測試
- juicefs objbench測試對象存儲的訪問權限和基準性能
擁抱開源
JuiceFS 在2017 年以雲服務的形式發布,經過三年的持續打磨和穩健運後,為了能讓更多的開發者體驗到這款產品的便捷,我們在2021 年1 月11 日發布了插件化架構的JuiceFS 社區版,並以每月發布一個測試版的速度持續迭代。
當聽到一些社區用戶反饋對AGPLv3 的顧慮後,我們在2022年1月將“AGPLv3 許可” 改為了“Apache 2.0 許可”,讓用戶可以更放心地將JuiceFS 應用於各種商業環境,並且根據自身的需要進行二次改進,也便於上下游的應用進行更進一步的融合,比如Fluid 和PaddlePaddle Operator 就已經將JuiceFS 集成其中。
開源軟件的發展離不開社區用戶的共同努力,包括參與提交issue、貢獻PR、分享文章、回答問題的每一位成員,在此向每一位參與者表示感謝!
未來規劃
JuiceFS v1.0 是第一個長期維護( LTS)版本,我們會提供24 個月的持續維護。
未來的版本會逐步實現以下這些功能(歡迎反饋):
- 支持FoundationDB 做元數據引擎
- 錄配額
- 用戶和組配額
- POSIX ACL
- 快照
- WORM(Write Once Read Many)
在JuiceFS 的持續迭代過程中,一直保持著向後兼容,希望新的改進能夠更快地被用戶使用,未來的版本發布也會兼容v1.0 並提供平滑升級的方案。同時,JuiceFS v1.0 也為未來的版本做了一些向前兼容準備。