水利樞紐監測數據匯集平臺概述
來源:用戶上傳
作者:
摘 要：為實現廣東省“互聯網+現代水利”頂層設計提出的全面感知現代水利體系，運用物聯網、大數據、云計算等技術手段，打通重點水利樞紐的信息化系統數據壁壘，建設水利樞紐監測數據匯集平臺，實現數據的匯集共享管理。
關鍵詞：現代水利;互聯網+;數據匯集;數據管理
中圖分類號：TP393 文獻標志碼：A 文章編號：2095-2945（2019）13-0172-03
Abstract： In order to realize the comprehensive perception of the modern water conservancy system put forward by the top-level design of "Internet Plus Modern Water Conservancy" in Guangdong Province， the Internet of things， big data， cloud computing and other technical means are used to break through the data barriers of the information system of key water conservancy projects. The monitoring data collection platform of water conservancy project is constructed to realize the collection and sharing management of data.
Keywords： modern water conservancy; Internet Plus; data collection; data management
自《國務院關于積極推進“互聯網+”行動的指導意見》[1]出臺以來，“互聯網+”已在各行各業得到深入的研究和應用[2、3]，水利行業的學者也進行了相關應用的探討[4-6]。為落實水利部提出水利工作重點轉變到“水利工程補短板，水利行業強監管”等精神，廣東省開展了以互聯網技術為引領的“互聯網+現代水利”系統研究[7、8]，先后出臺了《廣東省“互聯網+現代水利”行動計劃》《廣東省“互聯網+現代水利”頂層設計》，明確了廣東省“互聯網+現代水利”四大建設目標，其中打造全面感知體系是重要組成部分。為了全面感知體系能在全省范圍內高效推廣，決定以信息化基礎條件較好、監測類型全面的重點水利樞紐作為試點開展工作，從實踐中研究出可復制的建設模式，邁出全面感知的第一步。
1 目標與架構
1.1 建設目標
廣東省重點水利樞紐已基本在本地建成信息化系統，具有完善的監測數據庫。通過在樂昌峽、飛來峽等重點水利樞紐部署數據感知前置機，打造一個全省范圍的信息資源高速互通數據感知網，將分散在不同工程信息化系統的信息資源進行整合。在省級建立水利樞紐智能感知數據管理中心，接入各水利樞紐的監測感知數據，實現各水利工程監測感知數據的傳輸及共享，提高信息資源的利用率，邁出全面感知的第一步。
1.2 總體技術架構
系統架構主要分為數據交換層和感知應用層，數據交換層承載全省重點水利樞紐工程數據的流轉，感知應用層實現監測數據信息資源的統一管理和應用。
數據交換層由數據服務節點和數據管理中心組成，其中數據服務節點實現各個水利樞紐數據的接入及數據傳輸。整個數據交換層基于底層IP承載網提供可靠的點對點傳輸服務，具備路由選擇、流量控制、壓縮加密、鑒權管理、數據傳輸等功能[9]。
感知應用層：根據《廣東省“互聯網+現代水利”頂層設計》的要求，搭建基于微服務架構的省重點水利樞紐感知應用層，實現其信息資源的統一管理和應用。
2 數據歸集
在各水利樞紐開展現場調研，進行感知數據梳理、數據目錄設計等工作，完成信息化系統改造、數據服務節點和數據感知微服務的建設，使數據能順暢地傳送到智能感知數據管理中心。
2.1 感知數據梳理
數據資源梳理是水利樞紐智能感知過程的一個重要環節，對眾多的數據進行科學合理的分類規劃[10]，是實現全面感知目標的基礎保證。通過數據資源梳理，能使分散的、標準不一的數據實現由數據到信息的轉化。通過分析、梳理數據交換及應用所涉及的重要業務概念，同時考慮和其他系統數據模型之間的對接關系，建立業務模型。
數據規劃采用自下而上的驗證方法進行?？傮w信息資源分為基礎數據、監測數據、文件數據、空間數據等多類。
（1）基礎資源數據：存儲水利樞紐的各項基本信息，如名稱、地址、部門、各業務負責人、感知設備情況等等。
?。?）監測感知數據：存儲結構化的水利樞監測感知數據，通過與水利樞紐本地數據環境開放的數據接口進行對接，其中包括防洪調度感知監測、發電安全感知監測、工程安全感知監測三大類。
?。?）業務資源數據：業務資源數據涵蓋了防汛、氣象、海事等成員單位共享的專業業務數據。通過合理的資源目錄編制，對數據信息進行高效的分類分層管理，為水利工程樞紐感知和災情評估工作提供相關的數據服務，并通過數據中心進行數據的交換和共享。
?。?）空間地理數據：存儲空間地理數據，主要將水利工程感知過程中用到的基礎地理圖、地形圖、行政圖、水利樞紐模型、河道水域、遙感影像、高清航拍以及相關的屬性數據、多媒體等數據存入空間地理信息數據庫中，方便各項功能的地圖服務調用。
?。?）文件資源數據：主要包括業務過程中所產生的相關文件數據，包括文檔、文本。
2.2 數據目錄設計 感知數據目錄設計是在省重點水利樞紐智能感知體系建立的重要基礎，將基于感知數據梳理的成果上，結合各個水利樞紐的自身特點進行設計，以滿足感知數據分類存儲及數據分析需求。通過元數據與分類表、主題詞表的結合，組織信息資源分類目錄、主題目錄和其他目錄，實現對感知資源的導航、檢索、定位和交換服務。
2.3 數據服務節點
數據服務節點是基于廣東省重點水利樞紐數據的標準對接規范，采用數據接口方式，實現數據的安全傳輸，主要功能如下：
?。?）標準接口規范接入
構建省重點水利樞紐統一的數據的標準接口服務，具備推廣至全省水利工程的擴展性。采用改造已建工程信息系統數據接口，在建、新建水利工程信息化系統按要求建設數據接口的方式，實現數據匯集上傳。
?。?）數據交換流程
數據服務節點前置機根據數據交換流程，支持部署不同協議的接口模塊，完成數據感知過程，并轉送到只能感知數據管理中心，實現數據交換過程。
?。?）安全傳輸
數據服務節點通過消息加密和IP地址認證等技術手段，形成數據訪問安全體系，實現水利工程感知數據向數據服務平臺的安全傳輸。
3 智能感知數據管理中心
智能感知數據管理中心負責實現省重點水利樞紐感知數據的匯集，同時按防洪、發電、工程安全三大板塊實現對集約化感知數據的標準化處理和分類分目錄存儲管理，并提供開放性的數據接口給上層業務應用進行調用。
3.1 數據服務設計
按照資源共享目錄預設的數據模型，以微服務架構劃分防洪調度、發電運行和水工安全三大服務中心，并實現分類別分目錄進行存儲、管理。
智能感知數據服務中心需提供多種數據源接口及數據共享接口，將相關業務領域的業務功能和數據進行集約化管理，將“煙囪”改變為“池”，把所有計算資源整合成云計算資源池，所有存儲資源整合成存儲資源池，再基于共享服務的核心能力去提供應用服務，最終實現以服務的方式去交付資源。
3.2 數據處理
?。?）數據清洗：數據清洗是把采集回來的數據由零散狀態轉變成統一狀態，在業務需要的時候從任意來源檢索數據，編排格式后再提供給允許的對象使用。通過數據標準化，集成進而提供一致、及時、完整的信息，并且在數據的整個生命周期內控制數據質量。平臺從數據源抽取出所需的數據并對數據進行清洗，涉及到數據的矢量化處理，并基于時空多維度進行記錄管理，數據層次豐富、量級大，通過科學合理的數據規劃、數據預處理、數據并行分治，實現數據有效融合展示。在疊加分析、緩沖區分析、拓撲分析等各種矢量數據分析過程中，通過矢量數據拓撲一致性處理。
?。?）數據轉換：按照數據源與目標數據的定義，將數據單位傳輸到目標數據。從數據源中抽取的數據不一定完全滿足目的庫的要求，例如數據格式的不一致、數據輸入錯誤、數據不完整等等，因此需要對抽取出的數據進行數據轉換和加工。數據的轉換和加工可以在數據抽取過程中利用關系數據庫的特性同時進行。
（3）數據加載：將已完成傳輸的數據加入數據倉庫，采用增量數據加載，即僅加載有變化的數據，將轉換和加工后的數據裝載到目的庫中是數據治理過程的最后步驟。
3.3 分布式數據存儲
利用主流的分布式數據存儲技術，協調管理所有資源節點中的數據文件，實現數據分類存放，可按業務劃分為三大服務中心，分別為防洪調度服務中心、發電運行服務中心、水工安全服務中心。其中包括各種基礎數據、監控數據、文件數據、空間數據等類別。經過以上的抽取、轉換和清洗基礎數據，對數據進行存儲和管理，完善大數據存儲結構標準，綜合應用分布式關系型數據庫、分布式對象存儲和分布式文件系統等存儲技術，針對應用按需設計多副本存儲，同時對各類數據進行分析和展示，為用戶提供數據中所需的服務。
4 結束語
水利樞紐監測數據匯集項目運用物聯網、大數據、云計算等技術手段，對存在于不同水利工程的信息系統監測數據進行采集，經過梳理分析，設計出新的、可擴展的統一的編碼進行存儲管理，有效打破數據壁壘，整合各個信息孤島。項目的建設模式可復制，理論上可快速推廣至省內的各類水利工程。基于本項目的成果，可通過大數據和數據可視化的技術實現對全省水利水利工程的實時監控。未來亦可訓練適用的人工智能模型，實現對全省水利工程智能安全評估、態勢分析等功能，為調度決策提供參考。
參考文獻：
[1]國務院.國務院關于積極推進“互聯網+”行動的指導意見[A].北京：國務院，2015.
[2]薛麗.“互聯網+旅游”背景下旅游業新型監管模式研究[J].中國行政管理，2018（5）：59-62.
[3]許歡，張詩亞，羅江華.國內高校在線課程建設理念演化——兼論“互聯網+教育”生態體系構建[J].學術時空，2018（3）：59-65.
[4]龐靖鵬.關于推進“互聯網+水利”的思考[J].中國水利，2016（5）：6-8.
[5]劉懷利，馬浩，劉超，等.“互聯網+安徽水利”體系建設探討[J].江淮水利科技，2017（6）：40-41.
[6]趙彤，邱春.互聯網思維及“互聯網+水利”淺析[J].東北水利水電，2015（33）：59-62.
[7]王戰友，李觀義.廣東省“互聯網+現代水利”總體框架與關鍵內容[J].水利信息化，2018（2）：53-58.
[8]呂保強，李晝陽.淺談“互聯網+現代水利”總體設計思路[J].科技與創新，2017（12）：39-39
[9]董昭.NGBOSS互聯技術研究[J].電信工程技術與標準化，2012，25（3）：53-58.
[10]張麗麗，宋陽，劉勇，等.數據資源規劃在宏觀環境督察業務領域應用研究[J].中國環境管理，2013，5（1）：52-60.
轉載注明來源:http://www.hailuomaifang.com/1/view-14852642.htm
