數據開發服務向數據開發工程師提供拖拉拽控件的方式,設計復雜的工作流有向無環圖,挖掘出有商業價值的數據
架構描述:
數據開發工程師創建工作流,設計工作流任務
系統維護員為工作流設置定時調度策略
系統維護員監控工作流執行情況
提供B/S模式的web界面,使有瀏覽器的地方即可開發、管理任務的需求成為可能
開發工作流時,通過預設任務的前置任務和任務分支,設計出復雜的流程,達到有條件、有步驟地提煉出數據的目的
開發工作流時,通過預設任務失敗的重試次數、失敗重試間隔,有效地減少人工干預任務執行的工作量,提高工作流執行成功率
開發工作流時,通過預設超時告警、發送郵件,將工作流執行信息及時推送給用戶
數據開發工程師通過使用SHELL、SQL、SPARK、FLINK等控件開發工作流,在一個工作流中使用多種計算機語言、計算引擎對數據打出組合拳,從海量、雜亂無章的數據中提煉出有效的知識和信息
啟動工作流時,保存輸入參數。任務執行失敗重跑時,可恢復到故障發生的執行環境,重新跑出數據
復雜的工作流執行失敗時,可從失敗的任務節點開始跑數,避免從頭開始跑數,浪費計算資源
在一個工作流中,數據開發工程師可以只使用MySQL、ORACLE、HIVE等數據倉庫中的一種;可以同時使用MySQL、ORACLE、HIVE等數據倉庫中的幾種,使數據從一種數據倉庫流向另一種數據庫
儀表盤:流程定義統計、任務狀態統計、流程狀態統計
數據源中心:數據源的管理界面
項目管理:數據開發服務按項目維度組織管理整個項目的工作流、工作流實例、任務實例
項目管理-工作流定義:界面表格、創建工作流、編輯工作流、運行、定時、定時管理、復制刪除工作流
項目管理-工作流實例:界面表格、編輯、重跑、恢復失敗、停止、暫定、刪除、甘特圖
項目管理-任務實例:界面表格、強制成功、查看日志