傀儡程式流量指的是非人為的網站流量。儘管部份傀儡程式流量是有 好處,但濫用此作業可能會帶來極大破壞。
閱讀本文後,您將能夠:
複製文章連結
機器人流量是指任何非人類使用者造訪網站或應用程式的流量。「機器人流量」一詞通常帶有負面意義,但實際上,機器人流量無所謂好壞,這完全取決於機器人的目的和網站營運商的偏好。
有些傀儡程式對有用服務是不可或缺的,例如:搜尋引擎和數位助理 (例如:Siri、Alexa)。大部份公司歡迎此類傀儡程式造訪其網站。
其他傀儡程式也許是惡意的,例如:用以達成憑證填充、資料剽竊,以及發起 DDoS 攻擊。即使部份較良性的「不良」傀儡程式,例如:未經授權網路爬蟲都可能會是個困擾,因為它們可以破壞網站分析,以及建立點擊欺詐。
業界認為在所有網際網路流量中,超過 40% 內含傀儡程式流量,當中有顯著部份屬於惡意傀儡程式。因此許多組織尋求不同方法,管理進入其網站的傀儡程式流量。
網路工程師可直接檢視對其網站的網路查詢,並辨識可能的傀儡程式流量。類似 Google Analytics 或 Heap 的整合式網路分析工具,也有助偵測傀儡程式流量。
以下分析異常可說是傀儡程式流量的表徵:
如前述,未經授權的傀儡程式流量可能會影響分析指標,例如:頁面檢視、跳出率、工作階段持續時間、使用者地理位置,以及轉換率。這些指標偏差可能會為網站所有人帶來許多困擾,因為如果湧入傀儡程式活動,就非常難以評量網站效能。傀儡程式造成的統計噪音,也會阻礙意圖改善網站的作業,例如:A/B 測試,以及轉換率最佳化作業。
Google Analytics 提供「排除所有已知機器人和蜘蛛的命中率」(蜘蛛指的是爬行網頁的搜尋引擎機器人) 選項。若可辨識機器人流量的來源,Google Analytics 也會向使用者提供具體的應忽視 IP 清單。
雖然這些措施可以阻止部分機器人干擾分析,但並不能阻止所有機器人。此外,大多數惡意機器人除了干擾流量分析之外,還有其他目的。而這些措施除了保護分析資料之外,對緩解有害機器人活動毫無作用。
傳送大量傀儡程式流量是攻擊者發起 DDoS 攻擊時非常常見的手法。某些類型 DDoS 攻擊大量攻擊網站流量,以致來源伺服器的流量過載,網站速度變得緩慢,甚至完全無法供合法使用者存取。
即使效能未受影響,部份網站可能會因為惡意傀儡程式流量而導致財務損失。依賴廣告,以及庫存量有限的販售網站,特別容易受到攻擊。
針對廣告網站,機器人登錄網站,並點擊頁面的不同元素,以觸發偽造的廣告點擊率。此行為名為點擊欺詐。儘管這樣做一開始可能會提供廣告收入,線上廣告網路很擅於偵測機器人點擊。若他們懷疑特定網站涉及點擊欺詐,將採取行動,通常是禁止網站和其持有人加入其網路。因此,代管廣告的網站持有人需要對機器人點擊欺詐特別提高警覺。
庫存有限的網站可能是庫存囤積機器人的攻擊目標。如其名稱意義,這些機器人進入電子商務網站,並將數噸商品丟進其購物籃內,以致於合法購物者無法購買商品。在部分情況下,此舉可能會觸發供應商或製造商不必要的再供貨。庫存囤積機器人不會下單購買,它們僅旨在干擾庫存的供應。
許多網站依靠製作原創內容來吸引使用者流量,並從中獲取收入,有時收入來自廣告。21 世紀 20 年代 AI 工具使用量的激增對此類商業模式產生了負面影響。AI 工具使用來自網路的原創內容來訓練其底層大型語言模型 (LLM),建立與這些模型搭配使用的搜尋索引,並根據使用者提示即時擷取相關內容。收到 LLM 回覆的使用者可能永遠不會造訪該回覆的原始內容所在網站。獲取原創內容的 AI 爬蟲機器人也會為網站營運商帶來直接成本,因為它們會傳送大量網頁請求。
阻止或管理網站機器人流量的第一步是網站管理員在 robots.txt 檔案中聲明其偏好。robots.txt 檔案為機器人提供頁面爬取指令,並可進行設定,指示機器人不應存取或與某些網頁互動。但要注意的是,只有部分機器人會遵守 robots.txt 檔案中的規則;這些檔案實際上並不能阻止機器人爬取網站。Cloudflare 提供完善的受管理 robots.txt 服務,幫助網站管理員向爬蟲程式營運商表達他們的偏好。
為了監管 AI 爬蟲機器人的流量,網站營運商應該使用 Cloudflare 的 AI Audit 等服務。這項服務讓網站營運商能夠允許或封鎖 AI 爬蟲(封鎖意味著 AI 爬蟲無法出於任何目的存取內容)。AI Audit 的依爬行次數付費功能還允許網站營運商向 AI 機器人營運商收取爬行費用(如果他們願意的話)。
許多其他工具也可以緩解機器人流量濫用。像 Cloudflare 的 WAF 產品這樣的限速解決方案可以偵測並阻止來自單一 IP 位址的大量機器人濫用流量。
網路工程師也可以審查流量,手動識別來自特定 IP 位址範圍的可疑網路請求以及來自這些 IP 位址的所有請求。然而,這是一個非常耗費人力的過程,而且不太可能阻止網站可能面臨的大多數惡意機器人流量。
除了限速和工程師直接干預,阻止惡意機器人流量的輕鬆且最有效方法是採用機器人管理解決方案。機器人到達網站前,機器人管理解決方案就能藉助智慧,和使用行為分析來阻擋惡意機器人。例如:Cloudflare 機器人管理採用來自 1,300 萬網際網路內容的智慧,並以機器學習主動辨識和阻擋機器人濫用。Super Bot Fight 模式在 Pro 和商業方案中可用,為較小的組織提供類似的可見性和對其機器人流量的控制。
機器人流量指的是網站或應用程式上的任何非人類活動。機器人流量本身並無好壞之分;這取決於機器人的用途,有些機器人對於搜尋引擎等服務至關重要,而有些則可能具有惡意。
您可以透過查看網站分析資料中的異常情況來識別機器人流量。關鍵跡象包括頁面瀏覽量或跳出率異常高、工作階段時長突然變化、無效轉換激增,或來自意外地理位置的流量突然激增。
有些機器人程式是有益的,甚至是必不可少的。例如,搜尋引擎機器人(也稱為蜘蛛程式或爬蟲)對於網站被索引並出現在搜尋結果中至關重要。然而,惡意機器人可以執行諸如剽竊資料、認證填充和發動 DDoS 攻擊等有害操作。
惡意機器人流量會從多個方面損害您的網站。它會扭曲您的分析資料,使您難以衡量網站效能。惡意機器人也會透過使伺服器過載來損害網站效能。對於企業而言,機器人可能會在廣告中進行點擊詐騙,或在電子商務網站上囤積庫存,從而擾亂銷售。
一種方法是使用 robots.txt 檔案向機器人提供指令,但這並非萬無一失,因為惡意機器人會無視該檔案。更有效的工具是使用限速來封鎖高流量存取,而最有效的方式是使用專用機器人管理解決方案,該方案利用機器學習和行為分析來區分良性機器人和惡意機器人。
robots.txt 檔案是一組提供給造訪網站之機器人的指令。您可以在此文件中指定規則,例如禁止機器人爬取哪些頁面。良性機器人會遵循這些規則,但許多惡意機器人則不會理會。