定 ?位

金蝶Apusic大數據融合套件(以下簡稱套件)高性能海量數據集成、交換、傳輸的專業軟件,通過強大的數據處理能力,可以便捷地將大數據環境下的各種數據資源和各個異構系統存儲的大量的數據整合成完整的、一致的、準確的、可集中存取的高質量數據,協助用戶實現數據資源整合和數據價值挖掘,有效促進數據資源的開發利用。

用戶面臨的挑戰

近些年來,我國的信息化進程大大加快,大量的基礎業務系統在不斷的被搭建起來。新老業務系統不斷融合,支撐著整個業務系統的運轉。隨著業務規模逐年擴大,應用系統之間數據交換的需求越來越強烈。數據集成業務的數據量、交換頻度、復雜度都在隨業務規模成倍的增長,導致數據交換暴露出的問題也越來越多。這對現有的集成業務建設與管理帶來的巨大的挑戰。

接入系統越來越多,接入難度越來越大,接入速度越來越慢

由于業務系統種類繁多,必然出現不同的技術實現,導致組織內存在多個完全異構業務系統。上級部門和下級部門采用不同的管理軟件,部門和部門各自采用適合本身業務特點的信息系統等情況隨處可見,使獲取不同業務系統數據的工作變得困難和復雜。

大數據環境下集成技術多樣性與復雜性

業務系統數據交換與集成需求的特點是復雜且具有多樣性。
集成方式:面臨數據集成,文件交換,服務集成多種集成方式;
資源形態多樣性:需要支持關系數據庫表、NoSQL、結構化半結構化文件、HDFS、流式數據、Web服務,特定應用適配器等多種數據介質存儲和數據管道;
數據抽取方式:支持全量數據和變化增量數據抽取捕獲;
交換時效性:支持間隔調度、定時任務、實時交換、消息事件觸發、手工執行多種;
數據轉換的復雜性:需要對異構數據轉換處理、清洗過濾、腳本處理。

數據集成交換規模逐步擴大,性能與可靠性無法保障

隨著集成工作的開展,交換規模逐步擴大。小范圍、單業務系統之間的數據交換,越來越少,而跨地域、跨業務領域、跨部門的大量數據共享與交換逐步則成為常態。之前針對于點對點或小規模數據交換的產品在功能與性能方面均難以滿足這樣的變化。

業務對交換管理提出了更高的要求,但現有的運維管理工具無法支撐

業務要求運維與管理人員同時監管數十種業務并行運行的情況,上百個節點的運行狀態,以保證系統運行的穩定性與可靠性。但由于現有的支撐工具對大規模數據交換業務的監控能力非常薄弱,系統中出現的數據交換問題難以被即時發現、評估以及處理,給業務運行帶來了很大的不確定因素。

產品的核心價值

豐富的數據適配能力

  • 套件包含強大的數據適配能力,提供上百種適配器能適配連接各種數據源和數據格式;
  • 支持大數據平臺適配,提供Hive,Hbase,Hdfs,Kafka,MongoDB適配組件;
  • 支持關系數據庫,平文件、Web服務、以及主流應用協議如JMS\TCP&UDP\HTTP\FTP的接入適配。

高性能處理復雜數據轉換

  • 提供大量可視化組件,包括數據校驗、連接、查詢、分割、合并(聚集)、映射、排序、過濾、去重、替換、條件分發、行列轉換等功能完成復雜轉換操作;
  • 基于流程和轉換組件的多線程并發處理架構,可在單位時間內進行大批量級數據轉換處理,性能卓越。

API服務集成和治理

  • 隨著微服務架構的普及,越來越多的應用之間輕量級的業務協同采用Rest服務集成方式實現數據傳輸和交換。ADI大數據集成套件實現對各種數據源封裝為標準API服務,并實現發布、代理、編排等功能實現跨系統的數據流轉;同時提供API服務目錄、發布訂閱、流量限制、安全管控、服務水平等服務治理功能,實現平臺API服務的統一精細化管控。

穩定可靠的數據交換傳輸

  • 針對跨區域、跨層級、跨部門的網絡環境下的數據集成,需要提供高性能的傳輸通道以實現數據的跨網傳輸交換。大數據套件提供高性能的分布式消息隊列作為底層傳輸管道,提供穩定可靠的數據和文件傳輸服務,有效支撐千萬級表數據記錄和TB級文件交換傳輸。

資源統一管理和業務集中配置

  • 套件提供完整的資源目錄功能,幫助用戶編制信息資源目錄實現共享信息資源的管理,方便各部門用戶及時完整的了解部門所有的可集成共享的信息資源,為數據集成和交換共享提供依據;
  • 同時提供數據交換集成的業務集中配置管理功能,提供向導式幫助用戶快件配置集成交換任務流程并自動部署到遠程交換節點,有效提高業務配置和集中管控效率。

統一資源監控管理

  • 大數據集成套件的管控平臺可實現分布式多個運行服務器的統一監控和管理。用戶只需要將運行服務器注冊到監控平臺,即可實現轉換和作業流程資源的部署,調度,并實時監控各個服務器節點的運行狀態信息,以及部署在運行服務器節點上的流程的運行狀態以及數據處理效率和處理細節,包括處理成功數,失敗數等等,同時提供各種可視化圖表展現運行狀況。

產品架構及特點

應用場景

數據庫表同步、異構數據集成、數據跨層級、跨部門、跨區域數據交換傳輸、API服務集成、API服務管理、文件交換

典型案例

在國家統計局企業一套表項目中,通過大數據集成平臺實現北京云萬峰和清華同方兩套統計聯網直報平臺32個省的月報,季報,年報等數據雙向同步。數據同步涉及交換處理流程500多條,年數據同步量千萬級,同步效率達1萬條/秒。
平臺采用全表同步和基于日志的異步CDC增量高效及時同步整合數據,有效支撐兩套直報平臺數據的一致性和完整性,為數據分析和數據比對提供高質量高精準的數據內容。

證監會數據交換系統是為了建立證券期貨行業統一的數據共享機制,支持中央監管信息平臺與其他部委或監管機構的數據交換。主要是完成互聯網、證聯網、涉密內網之間的文件交換,具備數據交換、數據共享、文件交換、統計監控、系統管理等功能。

蘇州工業園區政務信息資源共享交換平臺是為滿足人口庫的建立過程中的數據交換而設置的專項項目,在滿足人口庫建設需求的基礎上,為園區提供面向三大庫(企業法人庫、空間地理信息庫、人口庫)的資源共享交換服務,為園區電子政務建設提供穩定、可靠的資源共享交換服務。