国产亚洲精品自在线精品国

<bdo id="33mas"><xmp id="33mas"><bdo id="33mas"></bdo><menuitem id="33mas"><progress id="33mas"></progress></menuitem>
<div id="33mas"></div>

基于東方國信企業版Hadoop和英特爾? 傲騰? 持久內存的大數據平臺聯合解決方案

場景概述

企業數據正在快速增長,同時越來越多的業務需要從實時數據分析中獲得洞察,這意味著對于大數據分析性能的追求不會到達終點。

特別面向Spark SQL查詢的海量數據分析常見痛點是計算存儲分離的架構以及本地高容量低性能的存儲中,及時查詢語句的性能經常被受限于I/O端性能。

因此,典型Spark SQL查詢中,如何區別冷熱數據,真正被經常處理的數據使用DCPM進行加速緩存,或者對計算端本地緩存和Spark進程內數據緩存,提升數據分析的性能。具體數據分析場景如下:

方案概述

東方國信基于東方國信大數據平臺企業版(BEH),選取了TPC-DS中的I/O密集型的查詢進行驗證,以評估使用Optane PMem Cache的OAP帶來的性能提升。

東方國信大數據平臺企業版 (BEH) 通用產品解決方案如下:

為了在大數據分析應用中進一步提升 BEH 的性能表現,東方國信在服務器節點中使用了第二代英特爾? 至強? 可擴展處理器,并使用高性能的英特爾? 傲騰? 持久內存作為 Spark SQL 的緩存設備,以加速緩存性能。具體集成方案如下:

結果顯示,無論是在單節點還是集群測試環境中,英特爾傲騰持久內存都幫助 BEH 方案實現數倍的性能提升,以及顯著的成本節約。

達成效果

除了相對于 DRAM 存儲器的成本優勢之外,英特爾傲騰持久內存還帶來了內存子系統架構的顛覆性變化,將類似于 DRAM存儲器的字節尋址能力和類似于存儲的持久性合二為一。這種結合意味著它可以直接映射到應用程序地址空間,消除了與傳統存儲的讀寫相關的瓶頸,使其成為工作數據和長期存儲的主數據層。

東方國信大數據平臺企業版 BEH 針對企業應用場景,在高可用、高性能、重要功能特性以及運維等方面進行了創新與增強。在使用英特爾傲騰持久內存優化緩存性能之后,東方國信大數據平臺企業版 BEH 的性能得到進一步提升,有望幫助金融、互聯網、電信等行業用戶有效應對復雜查詢及大數據量分析場景,顯著改善應用延遲等方面的表現。

完整方案

国产亚洲精品自在线精品国

<bdo id="33mas"><xmp id="33mas"><bdo id="33mas"></bdo><menuitem id="33mas"><progress id="33mas"></progress></menuitem>
<div id="33mas"></div>