12月27日,阿里云正式發(fā)布云原生開源大數據平臺EMR 2.0，升級后的開源大數據平臺在成本持平的情況下，擴縮容性能最高可提升6倍。
據悉，阿里云EMR2.0為用戶提供了全新的平臺、開發(fā)、資源形態(tài)、分析場景等更優(yōu)的產品體驗，通過EMR Doctor健康檢查、全面的服務巡檢和事件通知、節(jié)點故障補償等運維能力的升級，預估運維成本可降低20%-30%。新平臺致力于為客戶快速構建高性價比、安全可靠、兼容生態(tài)的開源大數據平臺。
EMR2.0與EMR1.0彈性擴容速度對比
云原生趨勢下，開源大數據處于重構之中，以 Hadoop 為核心的開源大數據體系，開始轉變?yōu)槎嘣夹g并行發(fā)展。阿里云EMR產品負責人何源介紹， 阿里云EMR于2009年開始服務阿里巴巴集團內部客戶，2016年將過往的技術能力產品化開放，為客戶提供商業(yè)化服務。作為開源大數據領域的引領產品，EMR 2.0通過云原生能力重構平臺層、數據層、計算層，滿足數千客戶流處理、數據可視化、交互式分析、數據湖等多場景需求，重新定義了新一代開源大數據平臺。為客戶構建新一代開源大數據基礎設施。
EMR 2.0產品架構圖
客戶基于EMR2.0平臺可實現更加低成本、高效率、智能化的大數據集群管控和應用開發(fā)。通過使用搶占式實例，生產實證最多可降低百分之八十以上的成本。開啟故障實例自動補償，在全場景集群下，穩(wěn)定性可以提高1個9。全新發(fā)布的EMR Doctor，通過健康檢查服務的集群日報功能，查看集群是否存在資源浪費；通過任務評分倒排Top N，找到資源浪費最多的作業(yè)進行優(yōu)化；通過持續(xù)優(yōu)化，幫助客戶最大化利用資源，避免浪費。同時，還可以幫助客戶提前發(fā)現一些風險并進行處理。EMR Studio，提供Notebook和Workflow服務。全托管Notebook，兼容 用戶Jupyter使用習慣，可以無縫對接EMR各計算、存儲引擎，進行交互式的大數據開發(fā)和調試，已經開發(fā)和調試完的作業(yè)可以加入Workflow工作流里進行調度和上線。此外EMR Studio的Workflow服務也還支持Flink等的作業(yè)。
2022年6月，阿里云EMR聯合 OSS、 DLF、DataWorks等構建的云原生數據湖產品方案通過信通院評測認證，是國內首批且唯一滿分的產品方案，該方案為用戶提供“全托管湖存儲、全面湖加速、統一湖管理、多模態(tài)湖計算和智能湖治理”等全面數據湖能力。（國內首批！阿里云云原生數據湖產品通過信通院評測認證）
國內知名廣告營銷服務商匯量科技已使用EMR產品4年。在業(yè)務快速增長的大好形勢下，匯量科技面臨越來越多的困擾：如數據來源復雜、數據量大、數據維度多、實時運營業(yè)務秒級數據新鮮度需求等業(yè)務需求；本次升級后，匯量科技在素材平臺、熱力引擎等業(yè)務的大數據平臺搭建上，數據同步和及查詢效率有數倍提升，系統穩(wěn)定性顯著提升，未再出現之前cpu、mem、io負載高等情況。
隨著阿里云EMR2.0的發(fā)布，阿里云EMR將技術引領優(yōu)勢，轉化為云上產品服務能力。重新定義的新一代 EMR 產品，將為各行業(yè)廣大客戶構建開源大數據平臺提供最扎實的基座保障。
