鄭州衡量科技股份有限公司 孫小祥
摘要：近年來，信息呈現爆炸性增長趨勢，實時數據監測系統逐漸成為一體化、綜合性應用平臺，其功能主要有數據管理與資產管理、數據庫管理、可用性監控等。開發并運用實時數據監測系統，能夠提高企業運營效率，增強企業服務質量，降低運營成本。
關鍵詞：大數據；平臺構建；實時數據監測；措施
1大數據概念
海量數據集合被稱為大數據，其規模超出了常規數據處理工具的處理和管理能力，需要采用先 進的技術手段進行解析和組織。這些數據主要源自兩大部分：一是源于各種傳統業務操作系統的數據；二是由互聯網活動生成的數據流。大數據的引入引 領了社會運作模式的革新，尤其在數據探索和分析領域展現出巨大的實用價值。
從技術層面探討，大數據涵蓋了數據獲取、存儲、處理和探查等多個環節，使得從海量信息中提煉出有價值或關鍵內容成為可能。以公共服務為例，傳統的服務體系存在效率低下的問題，可能導致公眾滿意度下降，影響公共服務的整體質量和效能。因此，大數據技術的應用被視為解決此類問題的有效策略，它能夠提升政府部門在數據分析和挖掘方面的技能，從而提高行政服務的運行效率。以房產登記為例，通過線上平臺，居民可以自行辦理相關手續，避免了來回奔波，既減輕了民眾的困擾，也提升了政府的服務形象。
2大數據平臺實時數據監測面臨的挑戰
大數據平臺實時數據監控業務在發展過程中面臨著眾多挑戰，主要為采集類問題監控與存儲類問題監控兩大類。采集類問題監控指的是如何精細化管理大數據，如何高 效監測和處理大數據加工過程中各類問題的過程；存儲類問題監控主要是由于大數據信息量巨大，數據的更新速度較快，導致在大數據處理過程中一旦存儲及轉換過程中出現問題，會極速將問題放大，進而影響上層業務應用系統的連續性和穩定性。主要表現在以下方面：
(1）監督信息化系統規范程度不高、功能簡單重復，存在數據資源浪費現象。
(2）大數據平臺實時數據監測應用缺乏深入研究，沒有形成統一的行業標準和模式，更多的是結合自身實際、當前所需，進行探索性的建設，距離專 業化、規范化目標還有很大差距。
(3）數據共享與信息安全平衡把握不到位，用戶應用大數據平臺成功打通各行業數據壁壘后，對平臺數據量不斷增加、數據安全挑戰加劇的風險預判和技術儲備不足，態勢感知、監測預警、風險評估、應急處置的數據安全全程閉環管控鏈條有待加強。
研究符合行業或企業自身實際的標準、統一、通用的大數據平臺，是實時數據監測體系迫切解決的問題。
3大數據平臺實時數據監測平臺架構
3.1網絡數據信息安全監控與管理系統架構設計
構建于Hadoop的大數據架構之上，該系統利用MapReduce計算模型、HDFS分布式文件系統、Flume數據收集器、MySQL數據庫、Web服務器及存儲設備，打造了一個涵蓋基礎設施層、數據層、分析層和展示層的多層級網絡數據安全監控體系。它能實時捕獲和深度分析安全警報日志，有效監控和管理網絡安全隱患。在Flume、MySQL、Web服務器和存儲硬件的支持下，Flume負責從各種來源收集網絡安全日志。運用MapReduce的Map和Reduce函數，將安全相關的日志數據切割成相同大小的塊，每個塊默認為2MB，切割后的日志數據塊分散存儲在網絡的不同節點，并加載到HDFS中。zui后，通過優化的K-means聚類算法對日志進行分類分析，能夠識別出DoS攻擊、DDoS攻擊、XSS攻擊和惡意掃描等安全威脅，形成追蹤責任的證據鏈，從而為網絡安全防御提供決策支持。
3.2自動化實時數據監測功能設計
采用自動化實時數據監控系統，其核心在于整合并展示三類關鍵信息：既有的統計數據、即時發生的動態數據以及基于預測的前瞻性數據。設計時，應明確各功能模塊的職責，精細劃分處理流程，以適應不同類型的數據特性和目標。這一系統主要由幾個關鍵部分構成：包括詳盡的巡查與實時監控模塊，設備管理和知識庫管理系統，以及第三方平臺的無縫對接。巡查管理模塊聚焦于提升運維效率，值班人員通過記錄在大數據平臺上的實時維護情況，形成標準化報告，交接給下一班次，確保信息傳遞的連續性。可視化技術的應用，使得復雜的數據以直觀的圖表形式呈現，便于系統管理員即時、精準地查詢服務器狀態。所有操作都建立在流程精細化和平臺集成化的基礎之上，便于快速檢索和問題解決。數據管理方面，簡化平臺建設，降低接入門檻，采取加密措施保護文件安全，存儲在中心存儲庫中，常規格式即可。同時，借助云計算的強大能力，我們構建了大數據中心，對敏感和普通文件分別進行加密存儲，確保數據處理的高 效與數據安全。這樣的設計旨在優化數據管理流程，提升整體工作效率。
3.3HDFS數據預處理與存儲技術
HDFS作為分布式文件系統，處理著各個數據塊文件的存儲任務。它基于Hadoop的HDFS分布式框架，以Block為基本的存儲單元，對包含安全日志數據和ID編碼信息等的每個文件進行分割。在操作中，客戶端向DataNode節點發起數據讀寫請求，隨后NameNode控制節點會指定多個數據塊副本的位置。該節點會核查請求的數據塊文件名、ID和位置信息，如果找不到相關信息，它會返回一個文件I/O異常通知。反之，如果信息正確并通過驗證，它會提供后臺服務器的數據文件。當所有的網絡數據文件被讀取并驗證后，NameNode節點會把編號的數據塊文件放入文件查詢映射隊列，并將此信息反饋給客戶端。
3.4體系架構
利用大云物移智鏈等前沿科技，打造數據資源化能力，實現全類型數據融合、全過程數據管控、全產業數據協同。體系架構方面主要包括數據采集，指數據從源端系統，經數據采集匯入數據庫或其他數據庫中。其中，采集也包含手工填報的數據。數據庫提供統一的數據匯聚與存儲的容器和數據訪問能力，包括各類原始數據的匯聚，數據標準化的存儲以及統一的數據訪問能力。數據中臺提供統一的數據加工、處理、管理與運營，主要提供數據分析、數據服務、數據管理等。實施數據監測系統實現數據采集、存儲、管理的實時有效監測。
3.5網格計算
在大數據監控技術的復雜運算和算法應用中，有些環節難以直接轉化為數據庫內的操作或者內置函數，因此，我們傾向于采取一種分離的方法。我們將數據從復雜的函數結構中剝離出來，轉而利用傳統且獨立的分析工具和軟件進行深度剖析。然而，隨著分析師群體的日益壯大和分析需求的增長，服務器的擴展或增設成為必要。為應對高昂的服務器成本，我們引入了網格計算策略。網格計算巧妙地將眾多任務分散到多臺 獨立的計算機上，讓每臺機器負責特定的職責，這種策略顯著提升了系統的運行效率和承載能力，同時又有效地控制了整體的運營開支。這樣，即使在資源有限的情況下，也能保證數據分析的高 效進行。
結論
利用自動化實時數據監測系統，企業可確保日常運營的穩定性和安全性的基礎設施管理。該系統通過實施連續監控并結合預警機制，提升了業務運行的安全性和效率。將大數據平臺整合到集團的數據管理監督中，能強化對海量信息的處理能力，通過優化和智能化的視頻處理技術，進一步提升了監控效能。
參考文獻：
[1]付春林，陳學.智慧燃氣安全監控平臺大數據采集和存儲技術應用[J].科技風，2020(13):116.
[2]張啟春，梅瑩.基本公共服務質量監測：理論邏輯、體系構建與實現機制[J].江海學刊，2020(4):242-247.
[3]高重暉，吳希，王玉坤，等.吉林電網調控大數據動態預警平臺架構及關鍵技術[J].吉林電力，2021,49(3):1-3.
