需求場(chǎng)景
作為公有云計(jì)算平臺(tái)，SAE長(zhǎng)期以來(lái)一直飽受各種攻擊，這里面涉及各種類型，包括Syn-flood、UDP-floold、DNS/NTP反射、TCP flag攻擊等，當(dāng)然這里面最常見(jiàn)還是基于HTTP協(xié)議的CC攻擊，因?yàn)槠邢�，所以今天先不介紹TCP/IP防火墻，集中在HTTP層面。
我們可以把正常的HTTP訪問(wèn)分為：
HTTP訪問(wèn)=正常訪問(wèn)+抓站+攻擊
這三類行為有明顯的區(qū)分特征，主要體現(xiàn)在頻率和特征上，比如抓站的目的是抓取信息，而不是讓你網(wǎng)站502，而攻擊往往是要把網(wǎng)站Rank打下來(lái)，直接打到用戶訪問(wèn)不了。而這三類行為又沒(méi)有特別清晰的界限，比如何種訪問(wèn)叫正常抓站?抓到什么程度叫惡意抓站?這些定義往往是跟用戶業(yè)務(wù)行為相關(guān)，從云計(jì)算平臺(tái)的角度界定起來(lái)有難度。舉個(gè)例子，內(nèi)推網(wǎng)是SAE上的一個(gè)HR招聘網(wǎng)站，每天有上千萬(wàn)的訪問(wèn)，從內(nèi)推的角度肯定希望各大搜索引擎能夠合理的抓取/索引，擴(kuò)大信息出口，但又不希望同行抓取，保護(hù)有價(jià)值的內(nèi)容，但這個(gè)度是跟業(yè)務(wù)相關(guān)的，可能在業(yè)務(wù)初期可以松點(diǎn)，業(yè)務(wù)起來(lái)后可以嚴(yán)一點(diǎn)。
兩層HTTP防火墻
從云計(jì)算平臺(tái)，無(wú)法幫用戶設(shè)定這些跟業(yè)務(wù)緊密相關(guān)的參數(shù)，只能把這個(gè)關(guān)交給用戶自身，這也就形成了“應(yīng)用防火墻”。但從云計(jì)算平臺(tái)角度，又有義務(wù)幫用戶擋住惡意的CC攻擊，于是，SAE把這兩類需求組成了兩個(gè)產(chǎn)品：“應(yīng)用防火墻”，用戶可以從SAE操作面板看到，應(yīng)用防火墻的難點(diǎn)在于充分自定義，包括觸發(fā)閾值后的行為，這部分SAE近期將進(jìn)行版本升級(jí)，功能將會(huì)更強(qiáng)大，今天先重點(diǎn)說(shuō)“CC防火墻”。
策略中心
策略分成下面兩個(gè)維度：
1）首先確定哪些應(yīng)用可能被攻擊(當(dāng)前PV/IP、歷史PV/IP)，這里面需要降噪處理，否則有些業(yè)務(wù)突然正常的流量突增(秒殺)可能收到影響
2）針對(duì)A篩選出來(lái)的可能被攻擊的應(yīng)用，分析其IP行為，這里分為兩步：
·將IP按行為進(jìn)行分組，行為類似的IP為一組，組規(guī)模越大的可疑性越大(動(dòng)用的資源更多)
·針對(duì)群組IP分析，主要依靠 Feq(Request)/Num(URI)，可疑性與頻率成正比，而與訪問(wèn)地址的離散度成反比
自學(xué)習(xí)：
任何規(guī)則都會(huì)存在誤殺，所以必要的自學(xué)習(xí)是必要的，系統(tǒng)會(huì)跟實(shí)際情況通過(guò)梯度下降算法調(diào)整策略參數(shù)的最優(yōu)點(diǎn)。另外，對(duì)于機(jī)器學(xué)習(xí)，準(zhǔn)確率和召回率是一對(duì)矛盾體，針對(duì)我們遇到的場(chǎng)景，我們的所有參數(shù)學(xué)習(xí)都偏向準(zhǔn)確率，因?yàn)檎倩芈士梢杂蓱?yīng)用防火墻做補(bǔ)充，從我們線上運(yùn)行的實(shí)際情況看，準(zhǔn)確率為100%，目前沒(méi)有誤報(bào)。
SAE利用CC防火墻結(jié)合應(yīng)用防火墻，有效的保護(hù)了用戶的HTTP請(qǐng)求，當(dāng)然目前這套系統(tǒng)還存在著不足，包括Storm計(jì)算能力、應(yīng)用防火墻的自定義性不足、應(yīng)用防火墻重定向等方面，這也是我們后面的工作方向。
擴(kuò)展閱讀：OA辦公系統(tǒng)_協(xié)同辦公系統(tǒng)；免費(fèi)OA協(xié)同辦公系統(tǒng)專題；在線OA協(xié)同辦公系統(tǒng)專題；..集中在HTTP層面。
我們可以把正常的HTTP訪問(wèn)分為：
HTTP訪問(wèn)=正常訪問(wèn)+抓站+攻擊
這三類行為有明顯的區(qū)分特征，主要體現(xiàn)在頻率和特征上，比如抓站的目的是抓取信息，而不是讓..
|
