定(ding) ?位

金蝶(die)Apusic大(da)數(shu)據(ju)融合(he)套件(以下簡稱套件)高(gao)性能海(hai)量(liang)數(shu)據(ju)集成(cheng)、交換、傳輸(shu)的(de)專業deng)砑  guo)強(qiang)大(da)的(de)數(shu)據(ju)處理(li)能力,可以便捷地將(jiang)大(da)數(shu)據(ju)環境下的(de)各種zhi)shu)據(ju)資源和各個異構系統存儲的(de)大(da)量(liang)的(de)數(shu)據(ju)整合(he)成(cheng)完整的(de)、一(yi)致的(de)、準確的(de)、可集中存取的(de)高(gao)質(zhi)量(liang)數(shu)據(ju),協(xie)助用戶實現zhi)shu)據(ju)資源整合(he)和數(shu)據(ju)價值(zhi)挖掘,有效促進數(shu)據(ju)資源的(de)mu)  謾/p>

用戶面臨的(de)挑戰(zhan)

近些年(nian)來,我國的(de)信息化進程大(da)大(da)加快,大(da)量(liang)的(de)基礎業務系統在不斷的(de)被(bei)搭建起來。新老業務系統不斷融合(he),支撐著整個業務系統的(de)運轉。隨著業務規模逐(zhu)年(nian)擴大(da),應用系統chi) 涫shu)據(ju)交換的(de)需求(qiu)越來越強(qiang)烈。數(shu)據(ju)集成(cheng)業務的(de)數(shu)據(ju)量(liang)、交換頻(pin)度、復雜度都在隨業務規模成(cheng)倍的(de)增長(chang),導致數(shu)據(ju)交換暴露出的(de)問題也(ye)越來越多。這對現有的(de)集成(cheng)業務建設(she)與(yu)管理(li)帶來的(de)巨大(da)的(de)挑戰(zhan)。

接入系統越來越多,接入難度越來越大(da),接入速度越來越慢

由于業務系統chi)擲嚳fan)多,必(bi)然出現不同的(de)技術實現,導致組織內存在多個完全異構業務系統。上級部門和下級部門采用不同的(de)管理(li)軟件,部門和部門各自采用適(shi)合(he)本身業務特點的(de)信息系統等(deng)情況(kuang)隨處可見,使獲(huo)取不同業務系統數(shu)據(ju)的(de)工作(zuo)變得困難和復雜。

大(da)數(shu)據(ju)環境下集成(cheng)技術多樣性與(yu)復雜性

業務系統數(shu)據(ju)交換與(yu)集成(cheng)需求(qiu)的(de)特點是復雜且具有多樣性。
集成(cheng)方式︰面臨數(shu)據(ju)集成(cheng),文(wen)件交換,服務集成(cheng)多種zhi) cheng)方式;
資源形態多樣性︰需要支持(chi)關系數(shu)據(ju)庫(ku)表、NoSQL、結構化半結構化文(wen)件、HDFS、流式數(shu)據(ju)、Web服務,特定(ding)應用適(shi)配(pei)器等(deng)多種zhi)shu)據(ju)介質(zhi)存儲和數(shu)據(ju)管道;
數(shu)據(ju)抽取方式︰支持(chi)全量(liang)數(shu)據(ju)和變化增量(liang)數(shu)據(ju)抽取捕獲(huo);
交換時效性︰支持(chi)zhi)涓艫鞫取 ding)時任務、實時交換、消息事件觸(chu)發、手工執行多種;
數(shu)據(ju)轉換的(de)復雜性︰需要對異構數(shu)據(ju)轉換處理(li)、清(qing)洗過(guo)濾、腳(jiao)本處理(li)。

數(shu)據(ju)集成(cheng)交換規模逐(zhu)步擴大(da),性能與(yu)可靠性無法保障

隨著集成(cheng)工作(zuo)的(de)mu) 梗 換還婺Vzhu)步擴大(da)。小範(fan)圍、單業務系統chi) 淶de)數(shu)據(ju)交換,越來越少,而跨地域、跨業務領域、跨部門的(de)大(da)量(liang)數(shu)據(ju)共享(xiang)與(yu)交換逐(zhu)步則成(cheng)為常態。之前(qian)針對于點對點或(huo)小規模數(shu)據(ju)交換的(de)產(chan)品(pin)在功能與(yu)性能方面均難以滿足這樣的(de)變化。

業務對交換管理(li)提出了(liao)更高(gao)的(de)要求(qiu),但現有的(de)運維管理(li)工具無法支撐

業務要求(qiu)運維與(yu)管理(li)人員同時監管數(shu)十種業務並行運行的(de)情況(kuang),上百個節點的(de)運行狀態,以保證系統運行的(de)穩定(ding)性與(yu)可靠性。但由于現有的(de)支撐工具對大(da)規模數(shu)據(ju)交換業務的(de)監控能力非常薄弱,系統chi)諧魷值(zhi)de)數(shu)據(ju)交換問題難以被(bei)即時發現、評估以及(ji)處理(li),給業務運行帶來了(liao)很大(da)的(de)不確fan)ㄒ蛩亍/p>

產(chan)品(pin)的(de)核心價值(zhi)

豐(feng)富的(de)數(shu)據(ju)適(shi)配(pei)能力

  • 套件包含強(qiang)大(da)的(de)數(shu)據(ju)適(shi)配(pei)能力,提供上百種zhi)shi)配(pei)器能適(shi)配(pei)連接各種zhi)shu)據(ju)源和數(shu)據(ju)格(ge)式;
  • 支持(chi)大(da)數(shu)據(ju)平台適(shi)配(pei),提供Hive,Hbase,Hdfs,Kafka,MongoDB適(shi)配(pei)組件;
  • 支持(chi)關系數(shu)據(ju)庫(ku),平文(wen)件、Web服務、以及(ji)主流應用協(xie)議如JMS\TCP&UDP\HTTP\FTP的(de)接入適(shi)配(pei)。

高(gao)性能處理(li)復雜數(shu)據(ju)轉換

  • 提供大(da)量(liang)可視(shi)化組件,包括數(shu)據(ju)校驗、連接、查詢、分割、合(he)並(聚集)、映cheng)洹?判頡 guo)濾、去重、替換、條件分zhi)  辛凶 壞deng)功能完成(cheng)復雜轉換操作(zuo);
  • 基于流程和轉換組件的(de)多線程並發處理(li)架構,可在單位時間內進行大(da)批(pi)量(liang)級數(shu)據(ju)轉換處理(li),性能卓越。

API服務集成(cheng)和治理(li)

  • 隨著微服務架構的(de)普(pu)及(ji),越來越多的(de)應用之間輕(qing)量(liang)級的(de)業務協(xie)同采用Rest服務集成(cheng)方式實現zhi)shu)據(ju)傳輸(shu)和交換。ADI大(da)數(shu)據(ju)集成(cheng)套件實現對各種zhi)shu)據(ju)源封(feng)裝為標準API服務,並實現zhi) 肌 li)、編排等(deng)功能實現跨系統的(de)數(shu)據(ju)流轉;同時提供API服務目(mu)錄、發布訂閱、流量(liang)限制、安全管控、服務水(shui)平等(deng)服務治理(li)功能,實現平台API服務的(de)統一(yi)精細化管控。

穩定(ding)可靠的(de)數(shu)據(ju)交換傳輸(shu)

  • 針對跨區域、跨層級、跨部門的(de)網絡環境下的(de)數(shu)據(ju)集成(cheng),需要提供高(gao)性能的(de)傳輸(shu)通道以實現zhi)shu)據(ju)的(de)mu)繽 shu)交換。大(da)數(shu)據(ju)套件提供高(gao)性能的(de)分布式消息隊列作(zuo)為底(di)層傳輸(shu)管道,提供穩定(ding)可靠的(de)數(shu)據(ju)和文(wen)件傳輸(shu)服務,有效支撐千萬級表數(shu)據(ju)記錄和TB級文(wen)件交換傳輸(shu)。

資源統一(yi)管理(li)和業務集中配(pei)置

  • 套件提供完整的(de)資源目(mu)錄功能,幫(bang)助用戶編制信息資源目(mu)錄實現共享(xiang)信息資源的(de)管理(li),方便各部門用戶及(ji)時完整的(de)了(liao)解(jie)部門所有的(de)mu)杉 cheng)共享(xiang)的(de)信息資源,為數(shu)據(ju)集成(cheng)和交換共享(xiang)提供依據(ju);
  • 同時提供數(shu)據(ju)交換集成(cheng)的(de)業務集中配(pei)置管理(li)功能,提供向導式幫(bang)助用戶快件配(pei)置集成(cheng)交換任務流程並自動部署到遠程交換節點,有效提高(gao)業務配(pei)置和集中管控效率。

統一(yi)資源監控管理(li)

  • 大(da)數(shu)據(ju)集成(cheng)套件的(de)管控平台可實現zhi)植際蕉喔鱸誦蟹衿韉de)統一(yi)監控和管理(li)。用戶只需要將(jiang)運行服務器注冊到監控平台,即可實現轉換和作(zuo)業流程資源的(de)部署,調度,並實時監控各個服務器節點的(de)運行狀態信息,以及(ji)部署在運行服務器節點上的(de)流程的(de)運行狀態以及(ji)數(shu)據(ju)處理(li)效率和處理(li)細節,包括處理(li)成(cheng)功數(shu),失(shi)敗數(shu)等(deng)等(deng),同時提供各種可視(shi)化圖表展現運行狀況(kuang)。

產(chan)品(pin)架構及(ji)特點

應用場景

數(shu)據(ju)庫(ku)表同步、異構數(shu)據(ju)集成(cheng)、數(shu)據(ju)跨層級、跨部門、跨區域數(shu)據(ju)交換傳輸(shu)、API服務集成(cheng)、API服務管理(li)、文(wen)件交換

典(dian)型案例

在國家統計(ji)局企業一(yi)套表項目(mu)中,通過(guo)大(da)數(shu)據(ju)集成(cheng)平台實現北(bei)京雲(yun)萬峰和清(qing)華(hua)同方兩套統計(ji)聯網直bei)ㄆ教2個省的(de)月報,季報,年(nian)報等(deng)數(shu)據(ju)雙向同步。數(shu)據(ju)同步涉及(ji)交換處理(li)流程500多條,年(nian)數(shu)據(ju)同步量(liang)千萬級,同步效率達1萬條/秒。
平台采用全表同步和基于日志的(de)異步CDC增量(liang)高(gao)效及(ji)時同步整合(he)數(shu)據(ju),有效支撐兩套直bei)ㄆ教ㄊshu)據(ju)的(de)一(yi)致性和完整性,為數(shu)據(ju)分析和數(shu)據(ju)比對提供高(gao)質(zhi)量(liang)高(gao)精準的(de)數(shu)據(ju)內容(rong)。

證監會數(shu)據(ju)交換系統是為了(liao)建立證券期(qi)貨行業統一(yi)的(de)數(shu)據(ju)共享(xiang)機制,支持(chi)中央監管信息平台與(yu)其他部委或(huo)監管機構的(de)數(shu)據(ju)交換。主要是完成(cheng)互(hu)聯網、證聯網、涉密內網之間的(de)文(wen)件交換,具備數(shu)據(ju)交換、數(shu)據(ju)共享(xiang)、文(wen)件交換、統計(ji)監控、系統管理(li)等(deng)功能。

甦州工業園區政務信息資源共享(xiang)交換平台是為滿足人口(kou)庫(ku)的(de)建立過(guo)程中的(de)數(shu)據(ju)交換而設(she)置的(de)專項項目(mu),在滿足人口(kou)庫(ku)建設(she)需求(qiu)的(de)基礎上,為園區提供面向三大(da)庫(ku)(企業法人庫(ku)、空(kong)間地理(li)信息庫(ku)、人口(kou)庫(ku))的(de)資源共享(xiang)交換服務,為園區電(dian)子(zi)政務建設(she)提供穩定(ding)、可靠的(de)資源共享(xiang)交換服務。