應(yīng)用安全日志分析系統(tǒng)
應(yīng)用安全日志分析系統(tǒng)是一種用于分析和監(jiān)控應(yīng)用安全日志的工具。它可以幫助企業(yè)收集、整合、分析和可視化應(yīng)用系統(tǒng)的安全日志數(shù)據(jù)，以便及時發(fā)現(xiàn)和解決潛在的安全威脅。
隨著網(wǎng)絡(luò)安全法的正式實施，舉國上下對網(wǎng)絡(luò)安全越來越重視，已經(jīng)上升到了國家戰(zhàn)略層面。網(wǎng)絡(luò)攻擊的動機由以前的炫耀技術(shù)轉(zhuǎn)變?yōu)楝F(xiàn)在追逐經(jīng)濟利益和為了政治目的，各類網(wǎng)絡(luò)攻擊越來越多，攻擊手段高度自動化，且越來越隱蔽。根據(jù)歷年信息安全等級保護測評的結(jié)果來看，應(yīng)用系統(tǒng)一直是信息安全體系中最薄弱的一環(huán)，信息安全事件時有發(fā)生。由于網(wǎng)絡(luò)攻擊行為的隱蔽性，需要收集安全方面的各類數(shù)據(jù)并進行深入分析才能發(fā)現(xiàn)或識別各類入侵和數(shù)據(jù)竊取行為，從而提高發(fā)現(xiàn)入侵行為的能力，及時采取應(yīng)對措施。
為了增強應(yīng)用系統(tǒng)安全狀況的感知能力，迫切需要建立大數(shù)據(jù)安全分析平臺，通過收集應(yīng)用系統(tǒng)日志、中間件日志、應(yīng)用服務(wù)器日志和網(wǎng)絡(luò)流量等數(shù)據(jù)，對應(yīng)用后門、網(wǎng)頁掛馬、數(shù)據(jù)泄露、安全設(shè)備繞過等安全場景建立安全模型，利用大數(shù)據(jù)分析手段進行深度分析，發(fā)現(xiàn)潛在的安全隱患。
本項目主要涉及以下幾方面數(shù)據(jù)：
（一）網(wǎng)絡(luò)和安全設(shè)備日志。
（二）應(yīng)用系統(tǒng)審計日志,如應(yīng)用系統(tǒng)操作審計等。
（三）中間件和應(yīng)用服務(wù)器日志，如WebLogic、Tomcat、郵件、FTP等的訪問日志。
（四）主機安全日志，如Windows、Linux等。
（五） 解析后的網(wǎng)絡(luò)流量等。
建立大數(shù)據(jù)安全分析平臺，完成對內(nèi)外網(wǎng)各類安全日志收集、打標簽和分類等工作，除了基本功能外，還要實現(xiàn)三個定制化的安全場景分析。
根據(jù)安全分析需要，將相關(guān)的日志收集入庫，符合《網(wǎng)絡(luò)安全法》、《網(wǎng)絡(luò)安全等級保護條例》等法律法規(guī)的要求。
提供基本的日志查詢和統(tǒng)計分析功能，符合等保三級應(yīng)用系統(tǒng)審計日志要求。
提供常見的安全分析功能，如認證、網(wǎng)絡(luò)、應(yīng)用、終端等的威脅分析，Web訪問、主機OS、VPN、病毒、網(wǎng)絡(luò)掃描、Web掃描等的關(guān)聯(lián)分析。
能與外部威脅情報集成，關(guān)聯(lián)分析規(guī)則庫用戶可以定制。
提供如下三個安全場景的定制化大數(shù)據(jù)分析：
1. 通過應(yīng)用系統(tǒng)進行的數(shù)據(jù)竊取行為分析
2. 安全設(shè)備繞過分析
應(yīng)用系統(tǒng)后門和掛馬分析
數(shù)據(jù)采集支持主動采集、被動收集，需要支持的數(shù)據(jù)采集方式如下：
主動采集：支持采集節(jié)點通過Ftp/Sftp、webservice、SNMP、file、JDBC/ODBC等協(xié)議主動采集數(shù)據(jù)；
支持多采集節(jié)點存活、健康狀態(tài)監(jiān)控，發(fā)現(xiàn)節(jié)點異常后，及時告警；
支持對采集節(jié)點性能監(jiān)控，保證采集性能與數(shù)據(jù)量匹配，防止數(shù)據(jù)丟失。
數(shù)據(jù)處理（ETL）對采集到的數(shù)據(jù)實施清洗/過濾、標準化、關(guān)聯(lián)補齊、添加標簽等處理，并將標準數(shù)據(jù)加載到數(shù)據(jù)存儲中，對于被標準化的數(shù)據(jù)應(yīng)保存原始日志。
至少能收集和解析如下類型的日志數(shù)據(jù)：
主機：Windows、Linux、AIX等主機的各類安全審計日志等
a) 中間件：WebLogic、Tomcat，DNS,FTP,郵件等訪問日志
b) 應(yīng)用系統(tǒng)：用戶操作審計日志等
c) 網(wǎng)絡(luò)設(shè)備：安全審計日志
d) 安全設(shè)備：安全審計日志、WAF的入侵檢測日志等
e) 網(wǎng)絡(luò)流量：全流量解析設(shè)備解析后的流量日志。
日志的時間戳字段是事件發(fā)生時間，沒有時間戳的日志自動加上時間戳。
采集后自動對日志進行解析并打上必要的標簽，可以根據(jù)標簽和時間戳檢索。
按照一定的形式和要求將采集的日志進行分類標準化以便于集中存儲管理和用戶權(quán)限訪問控制，比如：
系統(tǒng)資源登錄操作日志：主機操作日志、數(shù)據(jù)庫操作日志、網(wǎng)絡(luò)設(shè)備操作日志、安全設(shè)備操作日志以及防繞行設(shè)備日志。
安全類數(shù)據(jù)是安全威脅分析與預(yù)警采集的主要數(shù)據(jù)，包含了各類網(wǎng)絡(luò)設(shè)備、安全設(shè)備的日志。
系統(tǒng)各類登錄、操作日志。
威脅情報。
數(shù)據(jù)的清洗過濾包括三個方面：
清洗：針對數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯誤、數(shù)據(jù)不完整等問題，支持對數(shù)據(jù)進行轉(zhuǎn)換和加工。常用的數(shù)據(jù)轉(zhuǎn)換組件有字段映射、數(shù)據(jù)過濾、數(shù)據(jù)清洗、數(shù)據(jù)替換、數(shù)據(jù)計算、數(shù)據(jù)驗證、數(shù)據(jù)加解密、數(shù)據(jù)合并、數(shù)據(jù)拆分等；
修改：錯誤數(shù)據(jù)，產(chǎn)生原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒有進行判斷直接寫入后臺數(shù)據(jù)庫造成的，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串數(shù)據(jù)后面有一個回車、日期格式不正確、日期越界等；
刪除：重復(fù)性數(shù)據(jù)。
數(shù)據(jù)匯聚存儲用于對采集上來的不同類型的數(shù)據(jù)進行分類存儲，以滿足數(shù)據(jù)分析的要求。支持多種數(shù)據(jù)格式的存儲，提供多種存儲方式。數(shù)據(jù)存儲中支持的數(shù)據(jù)類型、存儲方式、存儲要求、存儲周期等。
提供自定義正則表達式從全部安全事件中進行搜索的功能。支持普通、高級兩種搜索模式，支持數(shù)據(jù)主題的選擇、搜索條件的保存，支持快捷選擇時間段。
檢索結(jié)果可以導(dǎo)出為Excel等文件格式。
報表基本使用功能包括：報表查看、新增、修改、刪除、導(dǎo)出、運行、自定義時間段。
報表權(quán)限：報表可設(shè)置權(quán)限功能，權(quán)限屬性分為：查看、修改、刪除。根據(jù)用戶、用戶組維度對報表進行賦權(quán)。
計劃任務(wù)：報表可按照任務(wù)計劃進行設(shè)計。支持按時、天、周、月的方式進行定時發(fā)送到管理員郵箱或歸檔。
報表展示可視化參數(shù)包括：圖表名稱、選擇圖表類型、圖表數(shù)據(jù)維度選擇。
圖表類型支持大數(shù)據(jù)方式，如：散點圖、折線圖、柱狀圖、地圖、餅圖、儀表盤、象形柱圖、日歷圖等。
收集應(yīng)用系統(tǒng)訪問日志，利用技術(shù)手段進行分析回答如下幾個問題：
a) 是否有人在用自動化工具爬數(shù)據(jù)？
b) 如果有的話，哪些人或組織在爬？系統(tǒng)內(nèi)部用戶還是外部人員？
c) 采用什么技術(shù)手段爬的？爬了多少數(shù)據(jù)？
d) 應(yīng)用系統(tǒng)是否存在導(dǎo)致數(shù)據(jù)被爬的漏洞？
用戶可以選擇分析的應(yīng)用系統(tǒng)和時間段。
通過對應(yīng)用日志等進行分析，回答如下幾個問題：
a) 應(yīng)用系統(tǒng)是否被軟件開發(fā)公司預(yù)留了用于維護或者其它目的的后門？
b) 是否被黑客攻陷并植入后門或木馬？
c) 如果有把他們找出來，并提供相關(guān)證據(jù)。
用戶可以選擇分析的應(yīng)用系統(tǒng)和時間段。