【Alluxio分布式存儲係統 v2.4.1】以前稱為Tachyon+通過公共接口連接眾多存儲係統
源碼簡介與安裝說明:
Alluxio(以前稱為Tachyon)是一個虛擬的分布式存儲係統。它彌合了計算框架和存儲係統之間的鴻溝,使計算應用程序可以通過公共接口連接到眾多存儲係統。Alluxio項目源自加州大學伯克利分校AMPLab的一個名為Tachyon的研究項目,該項目是伯克利數據分析堆棧(BDAS)的數據層。
Alluxio大數據存儲係統的功能:
1、靈活的文件API:Alluxio的本地API類似於java.io.File類,提供了 InputStream和OutputStream的接口和對內存映射I/O的高效支持。我們推薦使用這套API以獲得Alluxio的完整功能以及最佳性能。
2、兼容Hadoop HDFS的文件係統接口:基於這套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。
3、可插拔的底層存儲:Alluxio支持將內存數據持久化到底層存儲係統。Alluxio提供了通用接口以簡化對接不同的底層存儲係統。目前Alluxio支持Microsoft Azure Blob Store,Amazon S3,Google Cloud Storage,OpenStack Swift,GlusterFS, HDFS,MaprFS,Ceph,NFS,Alibaba OSS,Minio以及單節點本地文件係統,後續也會支持更多其他存儲係統。
4、Alluxio層級存儲:Alluxio可以管理內存和本地存儲如SSD和HDD,以加速數據訪問。如果需要更細粒度的控製,分層存儲功能可以用於自動化管理不同層之間的數據,確保熱數據在更快的存儲層上。自定義策略可以方便地應用到Alluxio,而且pin(釘住)的概念允許用戶顯式地控製數據的存放位置。
5、統一命名空間:Alluxio可以通過掛載功能實現不同存儲係統之間的高效數據管理。並且,透明命名機製在持久化存儲對象到底層存儲係統時可以保留存儲對象的文件名和目錄層次結構。
6、Web UI:用戶可以通過Web UI瀏覽文件係統。在調試模式下,管理員還可以查看每一個文件的詳細信息,包括存放位置,檢查點路徑等。
7、命令行:用戶也可以通過./bin/alluxio fs與Alluxio交互,例如:實現將數據從文件係統拷入拷出。
相關說明:
1、VIP會員無限製任意下載,免積分。立即前往開通>>
2、下載積分可通過日常 簽到、綁定郵箱 以及 積分兌換 等途徑獲得!
3、本站資源大多存儲在雲盤,如出現鏈接失效請評論反饋,如有密碼,均為:www.ipipn.com。
4、所有站內資源僅供學習交流使用。未經原版權作者許可,禁止用於任何商業環境,否則後果自負。為尊重作者版權,請購買正版作品。
5、站內資源來源於網絡公開發表文件或網友分享,如侵犯您的權益,請聯係管理員處理。
6、本站提供的源碼、模板、軟件工具等其他資源,都不包含技術服務,請大家諒解!
7、源碼、模板等資源會隨著技術、壞境的升級而存在部分問題,還請慎重選擇。
PS.源碼均收集自網絡,如有侵犯閣下權益,請發信件至: admin@ipipn.com .
源站網 » 【Alluxio分布式存儲係統 v2.4.1】以前稱為Tachyon+通過公共接口連接眾多存儲係統
6666666666最得意