[SEO筆記] 防止搜索引擎訪問不必要的檔案及路徑


SEO

搜索引擎也是用戶

對網站來說,一般會歡迎搜索引擎來訪問,因為這樣才能增加在搜尋引擎的搜索結果曝光度,增加網站被搜索引擎的收錄數量。搜索引擎到網站來訪問也等於是一個用戶,通常我們會在 robots.txt 中去限制搜索引擎哪些頁面及路徑可以訪問,那些不可以訪問。

觀察搜索引擎的訪問內容

觀察搜索引擎的訪問頁面對於 SEO 也是一件重要的事情,因為你可以根據這些資訊去改善搜索引擎對網站的訪問,降低無效的頁面訪問,一方面對系統效能可以有效提升,另一方面對於搜索引擎來說,可以更有效的訪問你的網站,這對 SEO 是一項重要指標,有助於增加網站權重。/p>

以下列出一段從 access log 截取的 log 內容

81.89.56.76 – - [10/Nov/2012:19:20:59 +0000] "POST /wp-login.php HTTP/1.1″ 200 2987 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

81.89.56.76 – - [10/Nov/2012:19:21:01 +0000] "GET /wp-admin/ HTTP/1.1″ 302 – "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

81.89.56.76 – - [10/Nov/2012:19:21:01 +0000] "GET /wp-login.php?redirect_to=http%3A%2F%2F.COM%2Fwp-admin%2F&reauth=1 HTTP/1.1″ 200 2093 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

從這個內容可以觀察到,這是搜索引擎蜘蛛 bingbot 來訪的爬取內容,我發現這一段內容總共從 17:36 ~ 20:13 兩個小時多一點的時間內,總共在 log 出現過 1542 次。

再來看一下這個內容,一個是 /wp-login.php 這個檔案,另一個是 /wp-login.php?redire_to 這一個,還有 /wp-admin/ 這個路徑,看起來這些東西都沒必要讓搜索引擎蜘蛛去爬取。

65.55.24.215 – - [10/Nov/2012:12:17:22 +0000] "GET /252/trackback/ HTTP/1.1″ 302 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.113 – - [10/Nov/2012:12:17:22 +0000] "GET /268/trackback/ HTTP/1.1″ 302 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:17:26 +0000] "GET /272/%E7%84%A1%E7%97%9B%E8%8B%A6%E4%BD%BF%E7%94%A8-htc-android-%E5%9B%9B-%E5%AE%89%E8%A3%9D%E5%B0%8E%E8%88%AA%E8%BB%9F%E9%AB%94%E5%A4%A7%E9%99%B8%E7%89%88/ HTTP/1.1″ 301 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

65.55.24.215 – - [10/Nov/2012:12:17:32 +0000] "GET /26/comment-page-1/?replytocom=911 HTTP/1.1″ 200 41636 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:17:41 +0000] "GET /272/%E7%84%A1%E7%97%9B%E8%8B%A6%E4%BD%BF%E7%94%A8-htc-android-%E5%9B%9B-%E5%AE%89%E8%A3%9D%E5%B0%8E%E8%88%AA%E8%BB%9F%E9%AB%94%E5%A4%A7%E9%99%B8%E7%89%88 HTTP/1.1″ 301 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:17:47 +0000] "GET /280/trackback/ HTTP/1.1″ 302 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:17:50 +0000] "GET /283/trackback/ HTTP/1.1″ 302 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

65.55.24.215 – - [10/Nov/2012:12:17:52 +0000] "GET /260/trackback/ HTTP/1.1″ 302 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:17:52 +0000] "GET /305/trackback/ HTTP/1.1″ 302 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:17:53 +0000] "GET /325/%E9%81%8A-%E9%99%BD%E6%9C%94%E8%88%88%E5%9D%AA-%E9%9D%9E%E5%8E%BB%E4%B8%8D%E5%8F%AF%E7%9A%84%E6%BC%93%E6%B1%9F%E7%B2%BE%E8%8F%AF%E9%81%8A/ HTTP/1.1″ 301 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

66.249.74.64 – - [10/Nov/2012:12:18:16 +0000] "GET /tag/htc/ HTTP/1.1″ 200 31666 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

157.55.33.113 – - [10/Nov/2012:12:18:27 +0000] "GET /272/?replytocom=813 HTTP/1.1″ 200 37094 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:18:27 +0000] "GET /337/trackback/ HTTP/1.1″ 302 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:18:30 +0000] "GET /34/trackback/ HTTP/1.1″ 302 2 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:18:33 +0000] "GET /350/?replytocom=761 HTTP/1.1″ 200 39126 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

157.55.33.88 – - [10/Nov/2012:12:18:34 +0000] "GET /354/comment-page-1/?replytocom=29 HTTP/1.1″ 200 35762 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

上面這一段也是一樣,bingbot 一直在 log 內重複出現,造成的系統負載不言可喻。再仔細看一下細節,發現有很多是 /trackback/ 以及 /?replytocom= 這樣的內容

這些內容及頁面是可以透過設定讓搜索引擎不要訪問

更改 robots.txt

知道問題以後,便開始進行設定的修正,原本我的 robots.txt 設定如下

   

User-agent: *

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /?s=

修正後的 robots.txt 如下

User-agent: *

Disallow: /wp-admin

Disallow: /wp-*

Allow: /wp-content/uploads/

Disallow: /wp-content

Disallow: /wp-login.php

Disallow: /comments

Disallow: /wp-includes

Disallow: /*/trackback

Disallow: /*?replytocom*

Disallow: /?p=*&preview=true

Disallow: /?s=

增加了 Disallow: /wp-content ,把這個路徑設定程不可訪問,但因為其中有圖片的部份,所以加上下面這行

Allow: /wp-content/uploads/ 單獨把圖片的存放路徑打開

此外還有 Disallow: /wp-login.php 和 Disallow: /*/trackback 以及 Disallow: /*?replytocom* 和 Disallow: /?p=*&preview=true

這樣就能排除掉這些對搜索引擎無用的頁面被搜索引擎訪問,從而達到 SEO 的目的 。 要限制網路蜘蛛的訪問,也可以參考 避免不必要的網路蜘蛛訪問,降低系統負載

SEO 筆記延伸閱讀

(*) SEO 筆記: Goolge PageRank 多久更新一次?

(*) SEO 筆記: SEOer 也應該更新到 2.0了

(*) SEO 筆記:為什麼百度的統計後台以及站長工具後台看到的收錄量與在百度搜索條打site的結果不一致?

(*) SEO 筆記:有別人給你網站留言別高興的太早

(*) SEO 筆記:網站優化-網頁載入速度分析

本文地址:[SEO筆記] 防止搜索引擎訪問不必要的檔案及路徑
內容對你有幫助嗎? 臉書分享:
分享到:

11 Responses to [SEO筆記] 防止搜索引擎訪問不必要的檔案及路徑

  1. シュプリームスーパーコピー 専門店
    シュプリームスーパーコピー N級バッグ、 専門サイト問屋
    弊社は販売シュプリームバッグ、キャップ、 小物 、Tシャツなどでご
    ざいます。
    弊社は「信用第一」をモットーにお客様にご満足頂けるよう、
    発送前には厳しい検査を通じて製品の品質を保証してあげますとともに、
    配送の費用も無料とし、品質による返送、交換、さらに返金までも実際 にさせていただ
    きます。
    また、従業員一同、親切、丁寧、迅速に対応 させて頂き、ご安心になってお買い物を楽
    しんでくださるよう精一杯力 を尽くしていくつもりです。
    送料は無料です(日本全国)! ご注文を期待しています!
    下記の連絡先までお問い合わせください。
    是非ご覧ください!

  2. 重量を載せて欲しかったです。それ以外は満足しています。
    売り切れることもあるので事前にお問い合わせ下さい と書いてあったので、
    連絡をさせて頂きスムーズに購入出来ました。
    ありがとうございました。大切に使います。
    コーチ ショルダーバッグ ポピー シークイン タータン グルーヴィー 2WAY ショルダーバッグ 16048 スパンコール パテントレザー パープル系 マルチカラー 新品 ハンドバッグ 斜め掛け レザー 革 ベリーマルチカラー
    重いかな
    同じシリーズのSサイズのバッグを愛用しています。
    もうちょっと大きかったらな、と思うこともあるので注文しました。
    S200g→これ400g
    デザインが違うので仕方ないですが、重いかな。
    とても新品とは思えない綺麗な品で、状態も良く、満足しています。

  3. 商品も美品で安いので大変満足です。配送も翌日には届き梱包もきちんとされていました。スタッフさんからの手書きメッセージも気持ちよいです。また頼みます!
    ★Cartier カルティエ★小銭入れ/コインケース★カーフ★ボルドー×ゴールド金具★
    新品同様の品質で他店よりも安く買えました。

  4. 商品も美品で安いので大変満足です。配送も翌日には届き梱包もきちんとされていました。スタッフさんからの手書きメッセージも気持ちよいです。また頼みます!
    ★Cartier カルティエ★小銭入れ/コインケース★カーフ★ボルドー×ゴールド金具★
    新品同様の品質で他店よりも安く買えました。

  5. Sランクほぼ未使用という事で購入しましたが画像にない汚れがありランクとして悪い物だと思いました。
    返品の送料や手数料、手間を考えて今回返品しませんでしたが残念で仕方ありません。
    やはり現物を見ないと信用できないのでもう買いません。

  6. コーチのバッグ購入しました。
    思った以上の質で、アウトレットで買うよりも、お得だと思いました。
    梱包もとても丁寧で、遠方でも まさかの送料無料!!
    本当に感激です。
    また 利用させていただきます。
    ありがとうございました。

  7. 業界No.1のChrome Hearts クロムハーツ スーパーコピー レプリカ専門店
    クロムハーツ(Chrome Hearts)
    人気のクロムハーツのコピー商品通販!新作クロムハーツバッグ・財布などの商品や情報満載!人気、実力ともに日本N0_1の本格的なブランドシルバーアクセサリレプリカ専門店です。-純銀屋
    当店ブラックシンフォニーでは、直接全米のクロムハーツより定期的にアイテムを取寄せて販売しております。
    入荷の情報に関しましては、その都度当店の入荷ブログにて写真つきで更新しております。
    ChromeHearts クロムハーツ スーパーコピー S級 レプリカ通販。
    クロムハーツ財布
    クロムハーツバッグ

    クロムハーツサングラス
    クロムハーツアクセサリー 等、

  8. ★弊社は「信用第一」をモットーにお客様にご満足頂けるよう
    ★全物品運賃無料(日本全国)
    ★不良品物情況、無償で交換します.
    ★税関没収する商品は再度無料で発送します

  9. パネ-ライ PANERAl時計スーパーコピー代引きN級品専門店,電話注文可能,是非電話注文お願いします。代金引換,クレジットカードお支払い,初回注文、一律1000円クーポンを無料進呈。代金引換。送料無料。

  10. ウブロスーパーコピー激安通販優良店StayTokei.Com、様々なNランクウブロコピー時計の参考と買取。高品質ウブローパーコピーは本物と同じ材料を採用しています、本物と見分けられない。最高品質Nランクスーパーコピー時計必ずお見逃しなく!

  11. 日本未入荷ウブロビッグバン サンモリッツref 激安_ファッショナブルなデザインウブロコピー時計 クラシック フュージョン ジルコニウム 511 偽物,流行ウブロ cartier ビッグバン アエロバン gucci ブラックマジック スーパーコピー。

發表迴響

您的電子郵件位址並不會被公開。 必要欄位標記為 *

*

您可以使用這些 HTML 標籤與屬性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

交換連結: Liang's Blog |