如今，隨著每個(gè)人都生活在網(wǎng)上，在線渠道的網(wǎng)絡(luò)流量正在激增。但是，如果您深入研究流量，您會(huì)發(fā)現(xiàn)大部分流量并非來(lái)自合法用戶。只有不到一半的流量是真正的人類，其余的是機(jī)器人，包括好機(jī)器人和壞機(jī)器人。

在早期，機(jī)器人僅用于垃圾郵件或小型抓取嘗試。如今，機(jī)器人操作員正在大規(guī)模利用自動(dòng)化來(lái)執(zhí)行惡意活動(dòng)。此類活動(dòng)包括接管用戶帳戶、濫用 API、執(zhí)行 DDoS 攻擊、抓取獨(dú)特的定價(jià)信息、競(jìng)爭(zhēng)性數(shù)據(jù)挖掘、網(wǎng)絡(luò)抓取、數(shù)字欺詐、金融數(shù)據(jù)收集、交易欺詐、暴力登錄等等。

盡管影響嚴(yán)重，但組織是否采用了有效的機(jī)器人管理方法？答案是不。許多企業(yè)仍在嘗試使用傳統(tǒng)解決方案來(lái)阻止機(jī)器人程序，從而將安全置于風(fēng)險(xiǎn)之中。那么，為什么傳統(tǒng)的 WAF緩解爬蟲(chóng)程序會(huì)失敗呢？讓我們來(lái)看看 WAF 在 bot 管理中失敗的原因以及高級(jí) WAF 保護(hù)的好處。

為什么傳統(tǒng)的WAF保護(hù)不足？

要了解高級(jí) WAF 對(duì)機(jī)器人檢測(cè)和緩解的重要性，讓我們探討企業(yè)為阻止機(jī)器人攻擊而采取的常見(jiàn)安全措施以及它們?yōu)楹螣o(wú)效。

• 代碼級(jí)安全性——這種做法在開(kāi)發(fā)的初始階段實(shí)施安全性，而不是在生命周期結(jié)束時(shí)后悔。但是，這種基本的安全級(jí)別不足以阻止當(dāng)今不斷發(fā)展的機(jī)器人，因?yàn)樗鼈兺昝赖啬７铝巳祟愑脩?。這種做法也缺乏針對(duì)機(jī)器人模式的欺詐情報(bào)的能力。
• 傳統(tǒng)的 IP 封鎖——如果一家公司想要封鎖其網(wǎng)站的一部分流量，IP 封鎖是最有效的方法之一。隨著欺詐模式的不斷演變，這種方法并不適用于所有場(chǎng)景。阻止 IP 有時(shí)最終可能會(huì)阻止使用該 IP 的合法用戶。
• 傳統(tǒng) Web 應(yīng)用程序防火墻– WAF 主要用于保護(hù)網(wǎng)站和 Web 應(yīng)用程序免受 SQL 注入、XSS（跨站點(diǎn)腳本）、會(huì)話劫持、跨站點(diǎn)請(qǐng)求偽造和其他 Web 攻擊等攻擊。大部分Web應(yīng)用防火墻無(wú)法適應(yīng)用戶配置文件和應(yīng)用程序的變化，不斷變化。

盡管下一代防火墻 (NGFW) 聲稱可以感知應(yīng)用程序，但它們?nèi)匀灰蕾囉诨镜?bot 緩解功能，例如阻止 IP、用戶生成重復(fù)請(qǐng)求或?qū)g覽器進(jìn)行指紋識(shí)別。他們檢查了有效載荷的前幾個(gè)字節(jié)，因此，使用現(xiàn)代技術(shù)的下一代機(jī)器人仍未被發(fā)現(xiàn)。

WAF 技術(shù)經(jīng)歷了幾項(xiàng)改進(jìn)，但它依賴于基于過(guò)濾器的方法來(lái)檢測(cè)已證明不足以阻止機(jī)器人和其他自動(dòng)威脅的惡意負(fù)載。

此外，管理具有操作復(fù)雜性的 WAF 策略已導(dǎo)致一些公司使 Web 應(yīng)用程序不受保護(hù)。在某些情況下，由于目標(biāo)企業(yè)無(wú)法足夠快地修補(bǔ)漏洞，因此利用了一個(gè)已知漏洞。

結(jié)合這些挑戰(zhàn)，機(jī)器人的輕松可用性和自動(dòng)化技術(shù)的創(chuàng)新使得機(jī)器人檢測(cè)和緩解變得更加困難。

為了部署有效的爬蟲(chóng)程序管理和保護(hù)，組織需要 Web 應(yīng)用程序防火墻技術(shù)，該技術(shù)可以自動(dòng)發(fā)展和微調(diào)自身以檢測(cè)最復(fù)雜的爬蟲(chóng)程序并提供持續(xù)的安全性。好消息是，像 AppTrana 這樣的高級(jí) WAF 采用了有效的措施來(lái)檢測(cè)和阻止不斷發(fā)展的僵尸網(wǎng)絡(luò)。

爬蟲(chóng)程序管理中高級(jí) WAF 保護(hù)的優(yōu)勢(shì)

在高級(jí) WAF 保護(hù)的情況下，WAF 技術(shù)與行為分析相結(jié)合，可檢測(cè)惡意機(jī)器人活動(dòng)，無(wú)需人工干預(yù)即可更輕松地發(fā)現(xiàn)機(jī)器人流量。

Advanced WAF 的 Bot 檢測(cè)包括以下組件：

• 機(jī)器人緩解的自定義規(guī)則
• 根據(jù)過(guò)去流量的行為發(fā)現(xiàn)機(jī)器人并阻止它們
• 接近零誤報(bào)，從而確保合法流量不被阻塞

通過(guò)主動(dòng)機(jī)器人防御，高級(jí) WAF 可以跟蹤 IP 地址以外的攻擊者，檢測(cè)用戶的性質(zhì)并將合法機(jī)器人與惡意機(jī)器人區(qū)分開(kāi)來(lái)。它還消除了與 CAPTCHA 挑戰(zhàn)相關(guān)的 UX（用戶體驗(yàn)）的影響。

除了阻止攻擊的開(kāi)箱即用的完全托管的 WAF 功能外，公司還可以創(chuàng)建自己的自定義策略和規(guī)則來(lái)阻止他們正在接收或擔(dān)心可能會(huì)收到的機(jī)器人攻擊。

例如，如果在短時(shí)間內(nèi)從同一 IP 發(fā)出重復(fù)請(qǐng)求，則可以制定規(guī)則來(lái)阻止訪問(wèn)網(wǎng)站上的密碼重置請(qǐng)求。

使用威脅情報(bào)數(shù)據(jù)庫(kù)，其中包含所有近期攻擊的詳細(xì)信息、相關(guān)的 IP 地址、位置，無(wú)論這些攻擊是機(jī)器還是人為產(chǎn)生的。這個(gè)數(shù)據(jù)庫(kù)一直在更新。如果從任何可疑 IP 地址發(fā)出任何請(qǐng)求，該地址將被自動(dòng)阻止。

傳統(tǒng)WAF與高級(jí)WAF比較

與 Indusface 合作進(jìn)行機(jī)器人管理

Web 應(yīng)用程序全天候成為目標(biāo)，黑客正在尋找新的方法來(lái)破壞網(wǎng)站并造成混亂。加入 Indusface 完全托管的基于云的 WAF、AppTrana，您不僅可以降低僵尸網(wǎng)絡(luò)的風(fēng)險(xiǎn)，還可以通過(guò)阻止惡意機(jī)器人流量來(lái)最大限度地減少基礎(chǔ)設(shè)施的處理負(fù)載。

AppTrana采用 WAF 技術(shù)、爬蟲(chóng)程序緩解和 CDN 編譯，可通過(guò)提供準(zhǔn)確且完全托管的基于云的保護(hù)來(lái)進(jìn)一步保護(hù)您的應(yīng)用程序完整性，確保為客戶提供安全的在線體驗(yàn)，而不會(huì)影響速度。