電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>Fluid-Cloudnative云原生大數(shù)據(jù)應(yīng)用支撐平臺(tái)

Fluid-Cloudnative云原生大數(shù)據(jù)應(yīng)用支撐平臺(tái)

2512892 2022-05-16 | zip | 28.31 MB | 次下載 | 2積分

普通下載普通下載

資料介紹

授權(quán)協(xié)議 Apache 2.0

開(kāi)發(fā)語(yǔ)言 Google Go

操作系統(tǒng) 跨平臺(tái)

軟件類型開(kāi)源軟件

所屬分類大數(shù)據(jù)、數(shù)據(jù)存儲(chǔ)

軟件簡(jiǎn)介

為了解決大數(shù)據(jù)、AI 等數(shù)據(jù)密集型應(yīng)用在云原生計(jì)算存儲(chǔ)分離場(chǎng)景下，存在的數(shù)據(jù)訪問(wèn)延時(shí)高、聯(lián)合分析難、多維管理雜等痛點(diǎn)問(wèn)題，南京大學(xué) PASALab、阿里巴巴、Alluxio 在 2020 年?9 月份聯(lián)合發(fā)起了開(kāi)源項(xiàng)目 Fluid 。

Fluid 是一款開(kāi)源的云原生基礎(chǔ)架構(gòu)項(xiàng)目。在計(jì)算和存儲(chǔ)分離的大背景驅(qū)動(dòng)下，F(xiàn)luid 的目標(biāo)是為 AI 與大數(shù)據(jù)云原生應(yīng)用提供一層高效便捷的數(shù)據(jù)抽象，將數(shù)據(jù)從存儲(chǔ)抽象出來(lái)，以便達(dá)到：

通過(guò)數(shù)據(jù)親和性調(diào)度和分布式緩存引擎加速，實(shí)現(xiàn)數(shù)據(jù)和計(jì)算之間的融合，從而加速計(jì)算對(duì)數(shù)據(jù)的訪問(wèn)；
將數(shù)據(jù)獨(dú)立于存儲(chǔ)進(jìn)行管理，并且通過(guò)Kubernetes的命名空間進(jìn)行資源隔離，實(shí)現(xiàn)數(shù)據(jù)的安全隔離；
將來(lái)自不同存儲(chǔ)的數(shù)據(jù)聯(lián)合起來(lái)進(jìn)行運(yùn)算，從而有機(jī)會(huì)打破不同存儲(chǔ)的差異性帶來(lái)的數(shù)據(jù)孤島效應(yīng)。

通過(guò) Kubernetes 服務(wù)提供的數(shù)據(jù)層抽象，可以讓數(shù)據(jù)像流體一樣在諸如 HDFS、OSS、Ceph 等存儲(chǔ)源和 Kubernetes 上層云原生應(yīng)用計(jì)算之間靈活高效地移動(dòng)、復(fù)制、驅(qū)逐、轉(zhuǎn)換和管理。而具體數(shù)據(jù)操作對(duì)用戶透明，用戶不必再擔(dān)心訪問(wèn)遠(yuǎn)端數(shù)據(jù)的效率、管理數(shù)據(jù)源的便捷性，以及如何幫助 Kuberntes 做出運(yùn)維調(diào)度決策等問(wèn)題。用戶只需以最自然的 Kubernetes 原生數(shù)據(jù)卷方式直接訪問(wèn)抽象出來(lái)的數(shù)據(jù)，剩余任務(wù)和底層細(xì)節(jié)全部交給 Fluid 處理。

Fluid 項(xiàng)目當(dāng)前主要關(guān)注數(shù)據(jù)集編排和應(yīng)用編排這兩個(gè)重要場(chǎng)景。數(shù)據(jù)集編排可以將指定數(shù)據(jù)集的數(shù)據(jù)緩存到指定特性的 Kubernetes 節(jié)點(diǎn)；而應(yīng)用編排將指定該應(yīng)用調(diào)度到可以或已經(jīng)存儲(chǔ)了指定數(shù)據(jù)集的節(jié)點(diǎn)上。這兩者還可以組合形成協(xié)同編排場(chǎng)景，即協(xié)同考慮數(shù)據(jù)集和應(yīng)用需求進(jìn)行節(jié)點(diǎn)資源調(diào)度。