數據集成服務提供在線設置ETL作業、轉換任務的定時運行策略,監控任務的執行情況,查看任務執行日志的功能。保障多種數據格式、源頭的數據經過清洗轉換后及時有效地送達組織的數據倉庫,強有力地支撐后續的數據開發、數據挖掘
數據維護人員
數據開發人員
項目經理
產品經理
技術經理
架構描述:
根據業務需求開發作業任務、轉換任務
上傳轉換任務、作業任務并設置定時調度策略
數據集成服務定時運行任務,從來源數據庫抽取數據并導入數據倉庫
提供B/S模式的web界面,使有瀏覽器的地方即可管理、監控數據集成任務的需求成為并提供了統一管理ETL作業任務、轉換的入口
提供在線設置任務定時運行的功能,降低了調度ETL任務的難度,是調度ETL任務的好幫手
通過設置任務的日志級別(最小日志、行級日志、基本日志、詳細日志、調試日志),開發者和維護者可從日志中捕獲有用信息,進行錯誤定位及任務優化
通過列表呈現任務的運行狀態、下次調度時間,讓系統管理員一目了然地掌控集成任務
從多種維度統計任務的運行情況,保障數據集成任務穩定、有效地運行,提高數據集成的質量
利用平臺提供的通知管理服務,用戶可定制通過短信、郵件、釘釘、微信、騰訊短信,阿里云短信,阿里云電話,華為短信等渠道接收告警信息的功能
利用平臺提供的存儲管理服務,用戶可將任務上傳到多個存儲渠道進行備災存儲及享受到優質的上傳、下載功能
儀表盤:呈現作業、轉換的運行信息。如總作業數、成功次數、失敗次數等
定時策略:管理定時任務策略配置。用于系統自動掃描定時任務,按時、周期性的執行任務
任務分類:管理作業、轉換的維度
作業管理:管理作業任務清單及執行的定時策略
轉換管理:管理轉換任務清單及執行的定時策略
作業日志:呈現作業任務的執行開始、結束時間、時長、運行結果及日志詳情
轉換日志:呈現轉換任務的執行開始、結束時間、時長、運行結果及日志詳情
作業監控:統計作業任務執行的成功次數、失敗次數、運行狀態、最近調度及完成時間、下次調度時間
轉換監控:統計轉換任務執行的成功次數、失敗次數、運行狀態、最近調度及完成時間、下次調度時間