色欲av永久无码精品无码蜜桃,A级毛片免费看

數(shù)家名企大數(shù)據(jù)平臺應(yīng)用演進(jìn)之路解析！

來源：IT168 　2018-11-17 15:34:53

十余年來，企業(yè)架構(gòu)經(jīng)過了數(shù)次迭代和變遷，ITPUB是這一切的重要見證者，同樣陪伴了無數(shù)架構(gòu)師的成長。10月17日，第十屆中國系統(tǒng)架構(gòu)師大會以“十年架構(gòu)，成長之路”為主題，云集了國內(nèi)CTO、研發(fā)總監(jiān)、高級系統(tǒng)架構(gòu)師、開發(fā)工程師和IT經(jīng)理等技術(shù)人群，與會規(guī)模超千人。本屆大會特設(shè)四大主線，其中，主線二為基于大數(shù)據(jù)平臺的應(yīng)用實踐，數(shù)位技術(shù)專家傾囊相授，SACC十年磨礪，涅槃起航!

美團(tuán)點評高級技術(shù)專家曾林西：美團(tuán)點評Spark的演進(jìn)與實踐

Spark作為美團(tuán)點評主流的離線大數(shù)據(jù)計算引擎，在數(shù)倉生產(chǎn)、查詢分析、機器學(xué)習(xí)等領(lǐng)域都有重度使用。曾林西介紹了Spark在美團(tuán)點評的演進(jìn)過程以及主要應(yīng)用場景和現(xiàn)狀;對于Spark任務(wù)管理、交互式開發(fā)、問題診斷等需求的平臺化架構(gòu)選型和建設(shè)思路;基于Spark做數(shù)倉生產(chǎn)計算引擎以及Spark on GPU集群實現(xiàn)批量深度學(xué)習(xí)預(yù)測等實踐過程遇到的功能性、穩(wěn)定性、性能問題對引擎內(nèi)核進(jìn)行改造的經(jīng)驗等內(nèi)容。

從正常運行到成熟應(yīng)用場景的落地，美團(tuán)點評的Spark演進(jìn)之路可以概括為能用、好用、用好三個階段。整個演進(jìn)過程圍繞解決平臺和接口定義，定位分布式執(zhí)行計算失敗原因，落地數(shù)據(jù)倉庫生產(chǎn)Spark等問題逐一展開，最終提升了整個Spark引擎的魯棒性。

小米數(shù)據(jù)流平臺負(fù)責(zé)人夏軍：小米數(shù)據(jù)流服務(wù)：大數(shù)據(jù)集成架構(gòu)演化之路

對大多數(shù)企業(yè)而言，讓數(shù)據(jù)去到該去的地方并發(fā)揮最大的價值一直是技術(shù)人員窮盡探索的難題。小米有眾多智能終端和設(shè)備，數(shù)據(jù)規(guī)模非常大，對于數(shù)據(jù)采集和大數(shù)據(jù)集成提出了非常高的要求。其內(nèi)部大數(shù)據(jù)系統(tǒng)眾多，如何高效集成Kafka、OLAP等多個系統(tǒng)?如何保證數(shù)據(jù)低延遲傳輸?如何實時發(fā)現(xiàn)并警報數(shù)據(jù)流異常?如何量化數(shù)據(jù)流整體鏈路情況等問題同樣是小米技術(shù)團(tuán)隊亟待解決的難題。

基于上述問題，小米的數(shù)據(jù)流平臺共分為三部分：Talos為中間層，小米自研的消息隊列，主要扮演數(shù)據(jù)中轉(zhuǎn)站的角色，類似于開源組件Kafka;下層為Source或Sink的擴展，目標(biāo)是連接大數(shù)據(jù)應(yīng)用場景下的不同平臺;上層依賴底層的數(shù)據(jù)收集進(jìn)行監(jiān)控、分析等工作。整套系統(tǒng)主要應(yīng)用于小米的埋點數(shù)據(jù)收集、實時日志分析、泛OLAP場景以及流式計算等場景。

eBay資深主任工程師郭躍鵬：Apache Griffin - 分布式系統(tǒng)的數(shù)據(jù)質(zhì)量方案

在大數(shù)據(jù)、云計算、流式計算為基礎(chǔ)的分布式環(huán)境下，數(shù)據(jù)本身的質(zhì)量問題越發(fā)重要。Apache Griffin項目是eBay發(fā)起并貢獻(xiàn)給Apache社區(qū)的數(shù)據(jù)質(zhì)量方案。它試圖提供一套可擴展，可伸縮的框架來解決數(shù)據(jù)質(zhì)量的幾個典型問題：如數(shù)據(jù)的精確性問題、一致性問題、合法性問題、時效性問題、唯一性問題以及完整性問題。面臨streaming和batch的企業(yè)數(shù)據(jù)環(huán)境，Apache Griffin如何通過提供一整套的流程來定義，測量并匯報數(shù)據(jù)質(zhì)量，以試圖解決數(shù)據(jù)質(zhì)量問題?

在數(shù)據(jù)服務(wù)領(lǐng)域從業(yè)多年，郭躍鵬發(fā)現(xiàn)不少企業(yè)內(nèi)部跨多個系統(tǒng)和團(tuán)隊沒有統(tǒng)一的數(shù)據(jù)質(zhì)量視圖，沒有共享平臺來管理數(shù)據(jù)質(zhì)量，也沒有近乎實時的系統(tǒng)健康狀況報告，Apache Griffin的初級需求便誕生了。除了解決上述問題，Apache Griffin也支持Streaming，基于Spark2.2.0版本并有新的DSL。之后，該團(tuán)隊將繼續(xù)優(yōu)化該項目，新增更多連接器并實現(xiàn)基于拓?fù)涞臄?shù)據(jù)質(zhì)量監(jiān)控(項目開源地址：https://github.com/apache/incubator-griffin)。

百度技術(shù)經(jīng)理張建偉：百度云Spark優(yōu)化及大規(guī)模應(yīng)用

從2003年至今，百度云經(jīng)歷了從分布式搜索系統(tǒng)到如今的可視化分析挖掘、可視化報表大屏和安全計算。在這個過程中，Spark證明了其大數(shù)據(jù)計算核心引擎的地位，百度云內(nèi)部也在進(jìn)行全面的Spark化，并本著“開源開放”的原則將研究改進(jìn)成果積極與社區(qū)分享。

目前，百度云內(nèi)部Spark集群規(guī)模在15000臺左右，團(tuán)隊進(jìn)行了運行時優(yōu)化、獨立Shuffle以及純流式等改進(jìn)。在性能優(yōu)化方面，百度云與Intel聯(lián)合開源了OAP項目，其性能提升了大概5倍;插件式易部署;類似傳統(tǒng)數(shù)據(jù)庫的索引和cache，易于使用。AE(Adaptive Execution)方案主要針對運行時優(yōu)化，解決Reduce數(shù)量設(shè)置等問題。流式shuffle的加入減少了舊 shuffle map merge、reduce pull 時間消耗等問題。如果感興趣，大部分技術(shù)成果都可以通過開源社區(qū)查詢實踐。

在本屆SACC大會的主線二《大數(shù)據(jù)平臺架構(gòu)實踐》上半場，我們了解了不同企業(yè)在數(shù)據(jù)分析、資源調(diào)度和集群配置等方面的實踐優(yōu)化。“十年磨一劍，礪得梅花香”，第十屆中國系統(tǒng)架構(gòu)師大會準(zhǔn)備了三天傳統(tǒng)技術(shù)大會演講，兩天深度主題培訓(xùn)

推薦DIY文章