數據采集上報服務,主要針對于政務、個人、單位等通用型的通用數據采集上報平臺,用于數據入湖的方式之一。此處主要包括非結構化數據和半結構化數據、結構化數據等場景,同時便于收集多種數據來源,同時包含有資源目錄的規劃和劃分功能,是數字化平臺的前置應用,同時后期加上數據上鏈功能。
業務操作人員
非 IT 類人員
熟悉計算機人員
主要包含的功能如下:
非結構化數據采集:包括 word/excel/pdf/cvs/圖片(jpg/png/gif/tif 等)/音頻/視頻等數據上傳分析和提取
半結構化數據采集:包括相關 excel 文件,報告,工作文檔,日志等數據采集
結構化數據采集:包括 mysql/oracle/nosql/kafka 等數據采集上報,并保存到上報系統中
數據目錄的分類:自定義資源目錄分析,目錄結構定義,行業術語和專業性業務分類服務
在線修改編輯:文檔在線修改編輯
數據目錄自動識別:文檔信息提取,自動提取關鍵詞,進行資源目錄分類建議
文檔修改記錄:包括文檔修訂記錄,文件對比分析
人員自定義工作流審核:數據目錄創建分析,數據目錄自動分類處理,數據共享人工審核操作,集成 oa 系統
數據目錄共享:提供數據的下載鏈接,訂閱,多數據類型(比如 http/excel/cvs 等)下載等
數據采集業務架構設計
架構描述:
非結構化數據采集上報針對于非業務性人員,同時提供數據共享和分享服務
半結構化數據數據采集來自第三方梳理和采集管理
數據源采集通過 etl 和數據同步等方式進行數據的傳輸梳理
主要針對于各個場景的整合以及結合 alinesno-cloud-platform(ACP)平臺進行的上層業務建設,主要功能如下:
序號 | 模塊 | 描述 | 進度 | 備注 |
---|---|---|---|---|
2 | 分布式文件存儲 | 完成 | ||
4 | 組織權限管理 | 完成 | ||
7 | 文件網關服務 | 完成 | ||
9 | 數據上報服務 | 完成 | ||
10 | 網盤管理服務 | 完成 | ||
11 | 數據提取服務 | 完成 | ||
12 | 數據識別服務 | 完成 | ||
13 | 數據共享服務 | 完成 | ||
14 | 數據目錄服務 | 完成 | ||
16 | 數據上報門戶 | 完成 |
對外提供服務能力,主要針對于多種業務場景的對外提供服務,包括各種場景下的數據分析提取,智能算法分析,業務數據分析下載等。
數據下載
數據上報
數據分析
數據門戶