WEB:負荷対策:robots.txt編集

ボットのクロールでの負荷も馬鹿にできないらしいので

User-agent: *
Disallow: /*.txt$
Disallow: /?plugin=*
Disallow: /?cmd=*
Disallow: /?:*
Disallow: /?InterWiki*
Disallow: /?Help
Disallow: /?FormattingRules
Disallow: /?PukiWiki*

# WebArchiver
User-agent: ia_archiver
Disallow: /

# --- Picsearch
User-agent: psbot
Disallow: /

# Baidu
User-agent: baiduspider
Disallow: /

# --- CN Crawler
User-agent: YodaoBot
Disallow: /

User-agent: Googlebot
Disallow: /*.txt$
Disallow: /?plugin=*
Disallow: /?cmd=*
Disallow: /?:*
Disallow: /?InterWiki*
Disallow: /?Help
Disallow: /?FormattingRules
Disallow: /?PukiWiki*

(Comments are closed)
  • アーカイブ

  • カテゴリー

  • 最近の投稿

  • 最近のコメント

  • メタ情報

  • スポンサーリンク