去年九月,銀監(jiān)會發(fā)布了39號文,中心思想要求銀行信息技術“安全可控”。它要求2015年起,各銀行業(yè)金融機構對安全可控信息技術的應用以不低于15%的比例逐年增加,直至2019年達到不低于75%的總體占比。雖然沒有明確指出,但是“安全可控”的要求顯然對國產IT產品更有利。事實上,39號文提出的指導方向,包括“優(yōu)先選擇愿意在核心知識和關鍵技術領域進行合作的機構,避免對單一產品或技術的依賴,”“有序推進整體架構自主設計、核心應用自主研發(fā)、核心知識自主掌握、關鍵技術自主應用”也證實了銀監(jiān)會的態(tài)度——鼓勵銀行使用國產技術,國外廠商要在銀行有一席之地則必須要愿意分享核心技術。
現(xiàn)階段,我國銀行的IT系統(tǒng)高度依賴“IOE”(以IBM為代表的小型機,以Oracle為代表的數(shù)據(jù)庫軟件、以EMC為代表的高端存儲)等國外廠商。39號文的發(fā)布讓大家認為銀行業(yè)的信息技術立刻就要掀起國產化的大浪,但是今年四月,銀監(jiān)會宣布了暫緩39號文新規(guī)的決定。這個決定并不出乎意料。首先,國外IT廠商是不會對39號文新規(guī)無動于衷的。事實上,包括美國商會在內的多個國外商業(yè)團體向我國政府提出了抗議,聲稱新規(guī)違反了WTO承諾,干涉了商業(yè)機構的采購活動。然而,對39號文新規(guī)的阻力還來自于我國銀行業(yè)本身。眾所周知,銀行業(yè)對IT系統(tǒng)的可靠性和穩(wěn)定性要求極高,系統(tǒng)故障常常意味著直接的金錢損失。所以,銀行對IT產品的故障抱著“零容忍”的態(tài)度。我國的信息技術因為起步晚,確實和國外還存在著差距,尤其在操作系統(tǒng)和數(shù)據(jù)庫這樣的基礎軟件領域。同時,我國的銀行業(yè)正在高速發(fā)展,不斷地推出新產品新服務,還要應對互聯(lián)網(wǎng)金融等各種變化,更需要穩(wěn)定可靠的IT系統(tǒng)作為業(yè)務的保障。銀行愿意使用經過長期驗證的“IOE”配備情有可原。在政策上要求銀行冒業(yè)務風險選用在先進性、可靠性、穩(wěn)定性以及成熟度方面還和國外有差距的自主產品是不現(xiàn)實的,選用什么樣的產品還需要銀行依據(jù)業(yè)務情況自己來決定。
如此看來,我國的IT廠商似乎短期內無法得到銀行業(yè)的青睞。然而,大數(shù)據(jù)時代的到來改變了這一格局。隨著網(wǎng)上銀行、手機銀行的發(fā)展和銀行新業(yè)務、新產品、新用戶的增多,銀行的數(shù)據(jù)量出現(xiàn)了爆發(fā)。數(shù)據(jù)分析的規(guī)模和復雜度都超過了傳統(tǒng)數(shù)據(jù)庫的處理能力,本應該提供堅實后盾的“IOE”配備在海量數(shù)據(jù)面前漸漸顯得力不從心。一天一次的常規(guī)“跑批”(批量數(shù)據(jù)計算)正在花費越來越多的時間,面臨著無法在當天完成的可能。為了解決這樣的問題,銀行需要對數(shù)據(jù)處理系統(tǒng)進行升級。以“IOE”為代表的架構采用縱向擴展(提升單機性能)的策略來升級,單機性能不可能無限提高,這樣的策略有著顯而易見的瓶頸。而銀行的數(shù)據(jù)量每天都在增長,對系統(tǒng)不斷的升級是必然的??梢灶A見的是,在高性能端,數(shù)據(jù)處理系統(tǒng)的升級將越來越困難,同等資金換來的性能將越來越少。在這樣的情形下,銀行需要采用完全不同的數(shù)據(jù)處理技術。近年來得到長足發(fā)展的大數(shù)據(jù)技術就是為了體量巨大且不斷增長的數(shù)據(jù)而生的,而大數(shù)據(jù)技術就是國內IT廠商的機會。計算機技術發(fā)展時,我國遠遠落在國外之后,這個差距在互聯(lián)網(wǎng)發(fā)展時已經得到了大大縮短。今天,在大數(shù)據(jù)時代的開端,我國已經有了不輸國外的經濟土壤、政策環(huán)境和人才儲備,國外的技術不再有不可望其項背的優(yōu)勢。事實上,我國已經有了性能比肩甚至超越硅谷同行的大數(shù)據(jù)產品。
日前,某全國性股份制商業(yè)銀行便面臨著將數(shù)據(jù)倉庫業(yè)務從傳統(tǒng)數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺的任務。在大數(shù)據(jù)平臺的選擇上,該銀行進行了多方考量。該銀行的首要目標是解決現(xiàn)有數(shù)據(jù)庫處理能力不足的問題。所以,采購的大數(shù)據(jù)平臺必須有極強的數(shù)據(jù)處理能力,它需要能夠輕松應對涉及超寬表(寬度在幾萬字節(jié))、多張表(多達幾十張)的關聯(lián)和聚合,需要能夠快速地完成銀行每天TB級別數(shù)據(jù)量的分析。第二,大數(shù)據(jù)平臺需要提供SQL和PL/SQL的支持。該銀行原先使用Oracle數(shù)據(jù)庫,所以業(yè)務邏輯由SQL和PL/SQL寫就,這也是銀行的分析人員最熟悉的數(shù)據(jù)分析語言。銀行希望能夠將分析業(yè)務直接遷移到新的平臺運行,否則,銀行將需要對業(yè)務進行大量改寫,銀行員工也需要重新學習和適應,遷移成本過高。第三,大數(shù)據(jù)平臺需要良好的擴展性。銀行的數(shù)據(jù)還在快速增長中,可預見的是,銀行需要對數(shù)據(jù)處理系統(tǒng)進行進一步的擴容和處理能力的升級。銀行要求采購的大數(shù)據(jù)平臺的存儲和計算能力能夠方便地擴展,為未來更大的數(shù)據(jù)量做好準備。市場上能夠同時符合以上留個條件的大數(shù)據(jù)同類產品非常少,計算速度、SQL和PL/SQL支持和擴展性三點不易兼得。
下圖歸納了市場上常見的同類產品在這三方面的表現(xiàn):
不難看出,銀行數(shù)據(jù)倉庫業(yè)務必須的SQL和PL/SQL支持是大多數(shù)大數(shù)據(jù)產品的軟肋。經過多方調研和全面測試,銀行選擇了兼顧三者的Transwarp Inceptor,它是上海星環(huán)科技開發(fā)的Transwarp Data Hub(TDH)分布式一站式大數(shù)據(jù)處理平臺下的交互式內存分析引擎,完全滿足該銀行對大數(shù)據(jù)平臺的三大要求。產品雖然年親,但是在交通、物流、電信、能源等行業(yè)已經有很多落地案例,經過了大量的驗證,加上在測試中穩(wěn)定而出色的表現(xiàn),打消了該銀行對國產IT產品可靠性、穩(wěn)定性方面的擔憂。
1. 使用TDH下的交互式SQL分析引擎Transwarp Inceptor支持銀行的數(shù)據(jù)倉庫業(yè)務。Transwarp Inceptor全面支持SQL2003,且支持80%的PL/SQL語法,經測試,Transwarp Inceptor 100%支持該銀行數(shù)據(jù)倉庫業(yè)務,銀行的數(shù)據(jù)分析任務不需要經過改寫便可輕松遷移至TDH平臺。
2. Transwarp Inceptor采用分布式內存計算方式,將涉及海量數(shù)據(jù)的復雜任務分割成小任務交給多臺機器同時處理,加快計算速度。同時,Transwarp Inceptor將計算中間結果放在內存中,利用內存的高速隨機讀寫進一步提升計算速度。TDH平臺處理銀行的數(shù)據(jù)倉庫業(yè)務相對于銀行原系統(tǒng)速度有了十幾倍的提高,使銀行可以輕松完成每天的分析任務。
3. 不同于傳統(tǒng)數(shù)據(jù)庫的縱向擴展策略,TDH采用向計算集群添加服務器的方式來橫向擴展處理能力,這樣的策略保證投入和處理能力的提升是線性關系——多少投入就帶來多少提升。橫向擴展的策略讓TDH的擴展性極佳,可以無限提升存儲和計算能力。
錦上添花的是TDH計算集群無須超高性能的服務器,經濟的通用服務器便可以用于搭建TDH集群,使得TDH解決方案具有極高的性價比。而且TDH配備的JDBC接口完美對接上層報表系統(tǒng),銀行的數(shù)據(jù)分析人員只需按照以往的工作習慣繼續(xù)使用上層應用,無需重新適應新的系統(tǒng)。
下面是一張貸款銷售分析截圖:
該銀行在業(yè)務中對一家國內廠商產品的選擇無疑是對國產信息技術的鼓勵,更值得一提的是這個選擇并不是政策要求的,而是基于業(yè)務的需求和產品的先進性做出的。幾年前,國產的個人IT產品還僅僅是“廉價低質量”的代名詞。現(xiàn)在,聯(lián)想、小米、華為等品牌不僅被國人青睞,還在世界范圍內廣受歡迎。這些品牌的成功不在于政策的扶持,而是真正做出了客戶需要的產品。在企業(yè)級的IT產品上,國產廠商和國外廠商雖然還有一定差距,但是在技術不斷革新的今天,這個差距在不斷縮短。相信我國會有越來越多的企業(yè)級IT廠商做出客戶需要的優(yōu)秀產品,躋身世界一流的行列。
星環(huán)科技是目前國內極少數(shù)掌握企業(yè)級大數(shù)據(jù)基礎軟件技術的數(shù)據(jù)庫廠商。在全球大數(shù)據(jù)去IOE的大背景下,Hadoop已成為公認的傳統(tǒng)數(shù)據(jù)庫的替代品。星環(huán)產品Transwarp Data Hub ( TDH ) 功能比肩硅谷同行, 三大組件Hyperbase, Stream,和Inceptor的性能和SQL兼容性在業(yè)界處于領先水平。
聯(lián)系星環(huán)科技
地址:上海市徐匯區(qū)桂平路481號18號樓3樓301室
咨詢:400-807-9976
官網(wǎng):www.transwarp.cn
星環(huán)科技微信:transwarp-sh