工商銀行大數(shù)據(jù)云原生探索與實踐

來源《銀行科技研究社》： 隨著云計算技術的深入應用，帶來資源集約化和應用靈活性優(yōu)勢的云原生概念產(chǎn)生，大數(shù)據(jù)技術完成了從私有化部署到云上部署再向云原生的轉(zhuǎn)變，云原生能力正被大數(shù)據(jù)利用以提升效率。信通院最新發(fā)布的大數(shù)據(jù)白皮書指出：“利用云原生思想進行能力升級”為當前大數(shù)據(jù)技術發(fā)展趨勢，在此背景下，中國工商銀行持續(xù)探索和實踐大數(shù)據(jù)云原生化，提升大數(shù)據(jù)技術對業(yè)務的支撐能力，強化金融服務實體經(jīng)濟的數(shù)字驅(qū)動能力。

一、大數(shù)據(jù)云原生建設初衷

自2002年起，工商銀行軟件開發(fā)中心即持續(xù)優(yōu)化數(shù)據(jù)架構(gòu)、推進數(shù)據(jù)賦能業(yè)務，并在完成數(shù)據(jù)大集中的基礎上，開啟了金融行業(yè)企業(yè)級數(shù)據(jù)倉庫建設。此后，工商銀行軟件開發(fā)中心又以“開放、共享”為原則，于2016年啟動了大數(shù)據(jù)服務云體系建設項目，以搭建可靠、高效、易擴展的大數(shù)據(jù)技術平臺為基礎，以“一湖兩庫”和豐富多樣的數(shù)據(jù)服務為支撐，逐步形成了集技術、數(shù)據(jù)、服務于一體的數(shù)據(jù)中臺體系。目前，工商銀行已建成同業(yè)最大規(guī)模單集群，以大數(shù)據(jù)技術平臺和數(shù)據(jù)中臺體系支撐全行用數(shù)賦智，具備“自主可控、規(guī)模大、數(shù)據(jù)全、用數(shù)易、時效高、引擎多元”等優(yōu)秀特點。隨著數(shù)據(jù)和業(yè)務規(guī)模的不斷增長，傳統(tǒng)存算一體的大數(shù)據(jù)架構(gòu)逐漸面臨資源和性能瓶頸，在資源利用、資源調(diào)度、高效運維、敏捷創(chuàng)新等方面存在諸多瓶頸，逐漸無法適應未來的業(yè)務發(fā)展需要。具體來說，存在以下幾個方面問題：

(資料圖片僅供參考)

1)存算資源緊耦合：傳統(tǒng)架構(gòu)下，大數(shù)據(jù)集群的計算資源和存儲資源是緊耦合的，無法實現(xiàn)獨立擴縮容，這造成了計算和存儲資源利用率方面存在局部的不均衡。例如流式計算服務集群的計算資源利用率較高，存儲資源利用率不高，存算一體架構(gòu)下存儲和計算資源只能同步擴容，帶來資源的浪費。

2)資源調(diào)度欠靈活：傳統(tǒng)架構(gòu)下，各業(yè)務集群間資源使用存在一定錯峰的情況，但跨集群、跨業(yè)務的彈性資源調(diào)配難以實現(xiàn)。計算資源在不同的業(yè)務集群之間無法彈性調(diào)度，特別是大數(shù)據(jù)業(yè)務和在線業(yè)務間存在明顯的錯峰現(xiàn)象，大數(shù)據(jù)業(yè)務高峰通常是凌晨0點至早上8點，在線業(yè)務高峰通常是早上8點至晚上22點，由于兩者之間的計算資源不能靈活調(diào)度，導致整體設備規(guī)模出現(xiàn)了一定程度的膨脹。

3)資源隔離不徹底：傳統(tǒng)架構(gòu)下，為了實現(xiàn)數(shù)據(jù)全局共享，通常采用超大規(guī)模單集群部署模式，導致關鍵場景之間無法徹底做到資源隔離。

4)集群版本升級難：傳統(tǒng)架構(gòu)下，由于集群版本升級時，所有節(jié)點都需要同時更新，增加停機時間和系統(tǒng)風險，無法實現(xiàn)灰度升級，運維成本越來越高，導致新版本能力、新計算引擎的引入實施節(jié)奏慢，難以實現(xiàn)敏捷迭代。

云原生是大數(shù)據(jù)平臺下一代架構(gòu)的發(fā)展方向，特指大數(shù)據(jù)平臺充分利用云的特性，以存算分離形態(tài)部署，支持計算資源彈性調(diào)度，實現(xiàn)技術能力的快速升級，以解決傳統(tǒng)架構(gòu)下的瓶頸問題。

二、大數(shù)據(jù)云原生建設思路

工商銀行大數(shù)據(jù)和人工智能實驗室一直以來保持著對大數(shù)據(jù)前沿技術的持續(xù)跟蹤、研究及應用，針對大數(shù)據(jù)傳統(tǒng)架構(gòu)在資源和性能方面的痛點問題，前瞻性地對大數(shù)據(jù)云原生化進行了總體部署和工作規(guī)劃，并在存算分離、資源彈性調(diào)度等方面完成了技術試點。

1、架構(gòu)體系規(guī)劃

工商銀行大數(shù)據(jù)和人工智能實驗室借鑒業(yè)界大數(shù)據(jù)云原生建設經(jīng)驗，從“算、管、存、彈”四個方面進行架構(gòu)規(guī)劃。通過建設云上統(tǒng)一存儲服務，實現(xiàn)存算分離部署形態(tài)，解耦大數(shù)據(jù)存儲與計算資源，并在架構(gòu)上獨立建設統(tǒng)一元數(shù)據(jù)服務，全局形成統(tǒng)一的數(shù)據(jù)視圖，在統(tǒng)一資源管理服務中引入容器化彈性資源池，支持計算資源彈性調(diào)度，使得大數(shù)據(jù)平臺在資源擴容、資源調(diào)度、資源隔離、資源利用率全方面獲得提升，降低大數(shù)據(jù)平臺綜合成本，提升平臺資源供給能力。工商銀行云原生大數(shù)據(jù)平臺整體架構(gòu)可分為計算層、存儲層和資源層：

云原生大數(shù)據(jù)平臺規(guī)劃架構(gòu)圖

計算層主要負責數(shù)據(jù)的處理和分析。通過提供豐富的計算引擎，滿足多種業(yè)務場景的分析需求，包括批處理引擎Hive/Spark、批流一體引擎Flink、交互式分析引擎等。計算集群不再存儲數(shù)據(jù)，實現(xiàn)無狀態(tài)化，且可實現(xiàn)計算集群之間資源的完全隔離和按需擴容。

存儲層包括統(tǒng)一存儲和統(tǒng)一元數(shù)據(jù)服務，實現(xiàn)數(shù)據(jù)統(tǒng)一存儲、元數(shù)據(jù)統(tǒng)一管理，統(tǒng)一面向多個大數(shù)據(jù)計算集群提供全局數(shù)據(jù)視圖，避免傳統(tǒng)架構(gòu)下跨集群共享數(shù)據(jù)需拷貝一份帶來的冗余問題。同時，通過權(quán)限統(tǒng)一控制，全局保障數(shù)據(jù)訪問安全。

資源層統(tǒng)一納管底層異構(gòu)硬件，通過資源池化能力，向上融合供給大數(shù)據(jù)計算與存儲資源。在資源層統(tǒng)一資源管理服務中創(chuàng)新引入容器化彈性資源池，支持計算資源彈性調(diào)度，并實現(xiàn)在離線資源混合部署和調(diào)度，使得大數(shù)據(jù)平臺在資源供給能力方面獲得大幅提升。

2、核心能力建設

通過存算分離解耦存儲與計算資源。工商銀行已在金融生態(tài)云完成存算分離架構(gòu)試點，以公有云形式對行外客戶提供靈活、彈性的大數(shù)據(jù)計算服務，真正做到計算不夠擴計算，存儲不夠擴存儲，按需供給大數(shù)據(jù)資源，保障計算、存儲集群的資源利用率充分均衡。

通過容器化資源池實現(xiàn)資源彈性調(diào)度。工商銀行已實現(xiàn)計算引擎容器化輕量級部署，并初步完成了容器化彈性資源池建設，支持在離線業(yè)務資源的混合部署和調(diào)度，大數(shù)據(jù)平臺可錯峰利用在線業(yè)務碎片化資源緩解月末、季末批量資源緊張問題，資源調(diào)度的靈活性得到了大幅提升。

利用PaaS云平臺實現(xiàn)容器化彈性資源池

通過計算集群無狀態(tài)化改造和拆分，實現(xiàn)關鍵場景之間計算資源物理隔離，并支持集群灰度升級。工商銀行基于存算分離架構(gòu)，持續(xù)推進計算集群無狀態(tài)化改造，并計劃將原先的超大規(guī)模集群拆分成多個計算集群，做到關鍵場景之間計算資源徹底隔離，同時支持新技術能力的灰度引入與快速迭代，化解超大規(guī)模單集群的風險，降低運維成本，持續(xù)提升平臺的穩(wěn)定性。

三、總結(jié)與展望

大數(shù)據(jù)云原生已是不可逆轉(zhuǎn)的行業(yè)趨勢，隨著云計算技術的不斷發(fā)展，大數(shù)據(jù)技術體系也必將向云不斷融合。大數(shù)據(jù)云原生目前仍處于探索階段，未來工商銀行大數(shù)據(jù)和人工智能實驗室將持續(xù)推進新一代云原生大數(shù)據(jù)平臺建設，繼續(xù)秉持“科技引領，創(chuàng)新賦能”的發(fā)展理念，不斷加強與業(yè)界領先科技公司的合作，持續(xù)提升大數(shù)據(jù)技術對業(yè)務的支撐能力，為金融科技應用實踐和大數(shù)據(jù)生態(tài)建設添磚加瓦。

作者：工商銀行金融科技研究院 大數(shù)據(jù)和人工智能實驗室

關鍵詞：