HDFS

hdfs知識

• 

  HBase集群數(shù)據(jù)在線遷移方案探索

  一、背景 訂單本地化系統(tǒng)目前一個月的訂單的讀寫已經(jīng)切至jimkv存儲，對應的HBase集群已下線。但存儲全量數(shù)據(jù)的HBa

  2024-06-12 標簽： 接口 編程 數(shù)據(jù)遷移 1172 0

• 

  基于Clickhouse構(gòu)建新一代日志存儲系統(tǒng)

  服務(wù)重啟變得特別慢且 Sys cpu 被打滿，原因是在服務(wù)重啟的過程中需要并發(fā)的加載 HDFS 上 Part 的元數(shù)據(jù)，

  2024-03-12 標簽： TCP 存儲系統(tǒng) HDFS 830 0

• 

  Alluxio是如何助力AI大模型訓練的呢？

  隨著云原生技術(shù)的飛速發(fā)展，各大公有云廠商提供的云服務(wù)也變得越來越標準、可靠和易用。憑借著云原生技術(shù)，用戶不僅可以在不同的

  2023-08-17 標簽： 存儲器 緩存器 機器學習 1932 0

• 

  Apache Doris巨大飛躍：存算分離新架構(gòu)介紹

  歷史上，數(shù)據(jù)分析需求的不斷提升（更大的數(shù)據(jù)規(guī)模、更快的處理速度、更低的使用成本）和計算基礎(chǔ)設(shè)施的不斷進化（從專用的高端硬

  2023-08-04 標簽： 存儲器 計算機 耦合器 1161 0

• 

  存算分離架構(gòu)設(shè)計與遷移實踐

  今天的案例分享來自社區(qū)用戶一面數(shù)據(jù)，這是一家通過解讀電商平臺和社交媒體渠道的海量數(shù)據(jù)，為全球快消巨頭（如寶潔、聯(lián)合利華和

  2023-07-26 標簽： 存儲器 MYSQL數(shù)據(jù)庫 tpc 1181 0

• 8種主流數(shù)據(jù)遷移工具技術(shù)選型

  ETL(是Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)，對于企業(yè)應用來說，我們經(jīng)常

  2023-04-20 標簽： ETL JAVA語言 HDFS 1090 0

• 分析Hive與Spark分區(qū)策略的異同點

  隨著技術(shù)的不斷的發(fā)展，大數(shù)據(jù)領(lǐng)域?qū)τ诤Ａ繑?shù)據(jù)的存儲和處理的技術(shù)框架越來越多。在離線數(shù)據(jù)處理生態(tài)系統(tǒng)最具代表性的分布式處理

  2023-04-11 標簽： 數(shù)據(jù)存儲 IOPs HDFS 972 0

• 大數(shù)據(jù)計算框架簡介

  Hadoop是目前世界上應用最廣泛的大數(shù)據(jù)工具。Hadoop具有高容錯率，且其硬件價格低，可以使用普通PC服務(wù)器（個人理

  2023-03-20 標簽： JAVA PC服務(wù)器 編程語言 2343 0

• 分布式文件系統(tǒng)的設(shè)計框架

  因為HDFS系統(tǒng)（分布式文件系統(tǒng)）可由數(shù)百或數(shù)千個存儲文件數(shù)據(jù)片段的服務(wù)器組成，即HDFS系統(tǒng)包含較多的硬件設(shè)備，所以H

  2023-03-20 標簽： 服務(wù)器 存儲數(shù)據(jù) HDFS 1034 0

• 大數(shù)據(jù)應用的開發(fā)流程

  大數(shù)據(jù)常見處理流程包括：原始數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲、統(tǒng)計分析、存儲至數(shù)據(jù)倉庫、數(shù)據(jù)導出、導入數(shù)據(jù)庫、數(shù)據(jù)可視化。

  2023-02-22 標簽： 數(shù)據(jù)庫 機器學習 python 5412 0

展開查看更多