基於大數據審計的信息安全日誌分析法

噪聲數據隨着經濟和信息技術的不斷髮展，許多企業開始引入了ＥＲＰ等系統，這些系統使得企業的衆多活動數據可以實時記錄，形成了大量有關企業經營管理的數據倉庫。從這些海量數據中獲取有用的審計數據是目前計算機審計的一個應用。接下來小編爲你帶來基於大數據審計的信息安全日誌分析法，希望對你有幫助。

大數據信息安全日誌審計分析方法

1．海量數據採集。

大數據採集過程的主要特點和挑戰是併發數高，因此採集數據量較大時，分析平臺的接收性能也將面臨較大挑戰。大數據審計平臺可採用大數據收集技術對各種類型的數據進行統一採集，使用一定的壓縮及加密算法，在保證用戶數據隱私性及完整性的前提下，可以進行帶寬控制。

2．數據預處理。

在大數據環境下對採集到的海量數據進行有效分析，需要對各種數據進行分類，並按照一定的標準進行歸一化，且對數據進行一些簡單的'清洗和預處理工作。對於海量數據的預處理，大數據審計平臺採用新的技術架構，使用基於大數據集羣的分佈式計算框架，同時結合基於大數據集羣的複雜事件處理流程作爲實時規則分析引擎，從而能夠高效並行地運行多種規則，並能夠實時檢測異常事件。

3．統計及分析。

按照數據分析的實時性，分爲實時數據分析和離線數據分析。大數據平臺在數據預處理時使用的分佈式計算框架Storm就非常適合對海量數據進行實時的統計計算，並能夠快速反饋統計結果。Storm框架利用嚴格且高效的事件處理流程保證運算時數據的準確性，並提供多種實時統計接口以使用。

4．數據挖掘。

數據挖掘是在沒有明確假設的前提下去挖掘信息、發現知識，所以它所得到的信息具有未知、有效、實用三個特徵。與傳統統計及分析過程不同的是，大數據環境下的數據挖掘一般沒有預先設定好的主題，主要是在現有數據上面進行基於各種算法的計算，從而起到預測的效果，並進一步實現一些高級別數據分析的需求。

大數據分析信息安全日誌的解決方案

統一日誌審計與安全大數據分析平臺能夠實時不間斷地將用戶網絡中來自不同廠商的安全設備、網絡設備、主機、操作系統、數據庫系統、用戶業務系統的日誌和警報等信息彙集到管理中心，實現全網綜合安全審計；同時藉助大數據分析和挖掘技術，通過各種模型場景發現各種網絡行爲、用戶異常訪問和操作行爲。

1．系統平臺架構。

以國內某大數據安全分析系統爲例，其架構包括大數據採集平臺、未知威脅感知系統、分佈式實時計算系統(Storm)、複雜事件處理引擎(Esper)、Hadoop平臺、分佈式文件系統(HDFS)、分佈式列數據庫(Hbase)、分佈式並行計算框架(Map／Reduce、Spark)、數據倉庫(Hive)、分佈式全文搜索引擎(ElasticSearch)、科學計算系統(Euler)。這些技術能夠解決用戶對海量事件的採集、處理、分析、挖掘和存儲的需求。

如圖1所示，系統能夠實時地對採集到的不同類型的信息進行歸一化和實時關聯分析，通過統一的控制檯界面進行實時、可視化的呈現，協助安全管理人員迅速準確地識別安全事件，提高工作效率。

2．實現功能。

系統能夠實現的功能包括：審計範圍覆蓋網絡環境中的全部網絡設備、安全設備、服務器、數據庫、中間件、應用系統，覆蓋200多種設備和應用中的上萬類日誌，快速支持用戶業務系統日誌審計；系統收集企業和組織中的所有安全日誌和告警信息，通過歸一化和智能日誌關聯分析引擎，協助用戶準確、快速地識別安全事故；通過系統的安全事件並及時做出安全響應操作，爲用戶的網絡環境安全提供保障；通過已經審計到的各種審計對象日誌，重建一段時間內可疑的事件序列，分析路徑，幫助安全分析人員快速發現源；整個Hadoop的體系結構主要通過分佈式文件系統(HDFS)來實現對分佈式存儲的底層支持。

3．應用場景。

上述系統可解決傳統日誌審計無法實現的日誌關聯分析和智能定位功能。如在企業的網絡系統中，大範圍分佈的網絡設備、安全設備、服務器等實時產生的日誌量非常大，要從其中提取想要的信息非常困難，而要從設備之間的關聯來判斷設備故障也將是一大難點。例如，某企業定位某設備與周圍直連設備的日誌消息相關聯起來判斷該設備是否存在異常或故障，如對於其中一臺核心交換機SW1，與之直連的所有設備如果相繼報接口down的日誌，則可定位該設備SWl爲故障設備，此時應及時做出響應。而傳統數據難以通過周圍設備的關聯告警來定位該故障，大數據審計平臺則是最好的解決方法。

大數據分析方法可以利用實體關聯分析、地理空間分析和數據統計分析等技術來分析實體之間的關係，並利用相關的結構化和非結構化的信息來檢測非法活動。對於集中存儲起來的海量信息，可以讓審計人員藉助歷史分析工具對日誌進行深度挖掘、調查取證、證據保全。