恒生數據中臺來了!
日期:2019-08-22    來源:恒生世界    瀏覽次數:2265次
章樂焱,恒生公司首席架構師、數據中臺發展部經理。關注FinTech前沿,先后主導適用于大規模高并發交易處理的多層分布式系統、用于高性能內存業務處理的定序組播高可用架構、適合互聯網金融的彈性云架構的研發與大規模應用。

什么是數據中臺

從數據倉庫到數據中臺其實也還沒有誰權威定義什么是數據中臺,我借用了一個定義:作為全領域數據的共享能力中心,旨在提供數據采集、數據模型、數據計算、數據治理、數據資產、數據服務等全鏈路的一站式產品、技術、方法論的服務,構建面向數據應用的數據智能平臺。
并且我也很認可數據中心業務正經歷了從數據倉庫到數據平臺,再到數據中臺的演進,正賦予數據中臺更多的職能、更高的價值。
從簡單字面理解,數據中臺是位于前端數據應用與后端數據源之間的中間層,是為快速敏捷前端應用需求與相對緩慢的核心數據變化及復雜繁瑣的數據維護之間提供適配;所以,數據中臺即要有從事數據維護“臟活累活”的人,還要有懂全域核心數據的高層級建模分析人員。
上述理解看上去與傳統數據倉庫區別不大,如何看待數據倉庫、數據平臺、數據中臺的區別,核心是對數據應用價值的不斷提升,從“看數”到“用數”,再到創造新業務,可稱之為數據應用的三種不同境界。

用數據響應業務需求

基于數據倉庫的應用,一般提供數據分析報表等功能,解決企業內部“看數”的需求,比如領導者駕駛艙,為企業決策層提供經營數據,響應企業運營的需求;對于金融機構,響應外部監管機構的各種數據報送,也是一種“看數”的強需求。
數據的準確性、及時性,是“看數”階段對數據中心的重要指標。基于數據平臺的應用,在滿足“看數”的前提下,越來越多的“用數”需求被提出,越來越多的前端業務場景需要“用數”,要用數據來支持業務發展,需要數據中心及時響應業務需求。
比如:前端的產品運營、用戶運營部門,他們是實現企業價值的前臺核心部門,互聯網時代敏捷、快速的需求,第一時間傳遞到數據中心。
在現代大數據技術支持下,數據中心迅速平臺化,前端業務所需的數據集可以快速、靈活地被加入與使用,包括大量的外部參考數據的引入;數據的形式也從傳統數倉的結構化數據,延展到半結構化數據、非結構化數據,比如用戶行為數據、外部輿情數據。
隨著數據中心價值的提升,數據治理被提上日程,越來越多的企業愿意為數據質量、數據生命期管理、數據安全與隱私保護投入更多的資源。
基于數據中臺的應用,隨著數據多樣性的發展以及數據價值挖掘技術越來越復雜,對前臺應用“用數”的技能要求會越來越高,所以數據中心需要把相應的能力沉淀、共享。

用數據創造“數據”

在能力聚焦過程中,特別是在機器學習、自然語言處理、知識圖譜等AI技術的催化下,數據中心擁有了創造業務的能力。
機器學習揭示人工專家未能察覺的數據結構與數據關系,自然語言處理使得機器能替代人工高效提取非結構化數據中的有用信息,知識圖譜讓信息的組織更加靈活有效,并能利用圖計算技術進行相關的推理;所以數據中心將越來越多的增值服務包裝成API,提供給前端應用,從而使得數據中心發展成數據中臺,更多的數據被匯聚、被增值,賦能給下游應用。
在金融領域,各種智能資訊、智能投研、智能客服、智能風控,正是數據中臺支持下創造出來的全新業務場景,正在迅速顛覆這些業務上原先的人工處理模式。
對于數據倉庫、數據平臺、數據中臺也有人做了下面的總結,數據倉庫對應分析報表即服務;數據平臺對應數據集即服務;數據中臺對應數據API即服務。
對于數據的重視莫過于阿里,“DT時代”、“數據是新能源”,這些概念大多出于阿里,包括“數據中臺”,“大中臺、小前臺”。
然而,數據資產如何真正激活發揮價值,從數據中臺的角度看,還是要找到合適的場景,把它服務化輸出,越是剛需的場景也越能體現價值。

三類數據資產及應用

作為資本市場的IT服務商,我們相信從業務需求出發,結合大數據、人工智能的應用,將會是資本市場數字化升級的主要方向。
作為資本市場金融機構核心IT系統的主要提供者,在數據中臺的建設規劃上恒生一定是一個重要的參與者。有哪些數據資源,會賦能到哪些業務場景,這是我們首要分析的,特別是除傳統業務數倉之外的用戶大數據、投研大數據。

01傳統“業務數倉”
傳統“業務數倉”已普遍被用于客服、合規風控,基于內部業務系統的結構化數據為主,首先滿足內外部“看數”的需求。
由于業務系統經過多年的建設發展,一般系統建設也可能來自多家開發商或者部分自研,系統版本也幾經迭代,技術架構多為異構,所以傳統“業務數倉”迫切需要補的短板是通過數據治理提升數據質量。
然而,基于業務系統的現狀,數據治理很難從根本上解決上游業務系統變更對下游數據應用的影響,需要恒生這樣的主流開發商從業務系統設計、交付環節滿足機構對數據治理的需求。

02 用戶大數據
“客戶第一”的理念一般為金融機構所信奉,IT的發展也首先考慮直接面向客戶的場景。所以隨著大數據技術的發展,“用戶大數據”相應的數據資產首先被關注。
除了業務系統中沉淀結構化用戶信息,用戶行為數據被進一步采集,然而很多情況下,使用第三方通過互聯網提供的用戶行為分析服務,導致存在用戶隱私信息被無意中泄漏給第三方的安全隱患。
在網絡安全已立法的今天,金融機構應當建立自己的用戶行為分析系統,并告知用戶,獲得用戶的授權。“用戶大數據”主要應用場景有金融機構APP的運營、精準營銷。
基于用戶大數據的用戶行為分析系統,是金融APP產品運營的重要工具,拉新、促活、留存,都需要有數據的支撐,在這個過程中還需要合法購買第三方的用戶分析數據、明細數據補足進入大數據平臺,并能有效使用這些外部數據。
同時,利用用戶大數據及用戶標簽系統,對用戶進行全面、精準的畫像,從而實現千人千面的用戶服務,比如資訊信息的個性化推薦、金融產品的個性化推薦。這些應用都是數據中臺利用“用戶大數據”可以提供的數據服務。

03 投研大數據
在資本市場,投資是核心的業務,不管是客戶自主投資、代客理財、自營業務、還是投行業務,后面都需要“投研大數據”的支撐。
人工智能的相關技術(機器學習ML、自然語言處理NLP、知識圖譜KG)在“投研大數據”的深度加工上也是日漸實用,核心體現在提升數據處理效率、降低數據處理成本、增強特色數據等方面。
特別是由于文本類非結構化資訊信息在投研大數據中占很大的比例,自然語言處理技術在資訊關鍵信息抽取上發揮重大作用。
投研大數據的核心是對作為投資標的企業或金融產品的情報進行收集與分析,對標的企業或金融產品進行多維度標簽化,并利用知識圖譜的圖數據庫技術進一步梳理相關實體的相互關系,形成諸如企業股權關系鏈、上下游產業鏈,然后用圖計算相關技術進行各種量化關系推導,結合金融工程相關理論,可在投資機會分析、投資風險預警上發揮重要作用。

恒生的數據中臺建設

恒生數據中臺發展部,借助于核心業務系統供應商的占位優勢,致力于為資本市場各類金融機構提供一體化的數據中臺解決方案,包括:一體化的平臺建設、數據治理、大數據AI應用。
在數據中臺的建設上,我們認為適合采取整體規劃,場景驅動小步快跑的策略來演進,比如:在業務數據中臺領域,以統一監管報送、領導者駕駛艙作為應用場景落地;在用戶大數據中臺領域,以用戶行為分析、個性化資訊推薦作為應用場景落地;在投研大數據中臺領域,以智能資訊、量化特色因子加工作為應用場景落地。
數據中臺的建設,一方面有助于支持前端業務的快速迭代、跨系統的相互協作;另一方面有利于數據分析應用能力的專業化,做大做強。風口上的數據中臺,將成為全領域數據的能力共享中心。
分享到:
與我們互動
Copyright ? 2019 Hundsun Technologies Inc. All Rights Reserved 浙ICP備09092082號-5 浙公網安備33010802003988號
百变王牌近百期走势图今天