Bing 的搜索蜘蛛造成系統 CPU 負載大增


cpu load
CPU負載達到 50%多

CPU 負載飆高

最近由於系統不穩,所以特別隨時關注系統資源的使用情況,卻發現不定時的 CPU 使用率飆高,如上圖,在大約 12:40 ~ 12:45 CPU 的使用率達到將近 60%。進一步分析 access log 看看到底是甚麼樣的網站訪問所造成。

access log
網站 access log

結果從 access log 發現,這段時間內,Bing 的搜索蜘蛛 (bingbot) 大量爬取網站的內容,或許在一小段時間內過於頻繁,造成 CPU 使用率瞬間飆高。 這個情況並不是偶然發生,我往前去追蹤前幾天的 access log ,發現有幾次的 CPU 負載飆高都是因為 Bingbot 的來訪所造成。

   

cpu load
另一次CPU負載超高

access log

也是大量的 Bingbot 訪問。

Bing 的搜索蜘蛛造成系統 CPU 負載大增延伸閱讀

(*) 網頁載入速度分析 | SEO 筆記: SEOer 也應該更新到 2.0了 | 網站載入速度至關重要 | SEO 筆記:有別人給你網站留言別高興的太早 | SEO 筆記: 防止搜索引擎訪問不必要的檔案及路徑 | SEO筆記:Google 來的搜索流量大幅減少 | 避免搜尋引擎蜘蛛爬取不必要的內容

本文地址:Bing 的搜索蜘蛛造成系統 CPU 負載大增
內容對你有幫助嗎? 臉書分享:
分享到:

發表迴響

您的電子郵件位址並不會被公開。 必要欄位標記為 *

*

您可以使用這些 HTML 標籤與屬性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

交換連結: Liang's Blog |