最新消息:

WordPress官方robots.txt书写规则

WordPress 观测者 2348浏览

robots.txt是放在网站根目录给搜索引擎看的一个文件,告诉搜索引擎什么链接能收录什么链接不能收录以及什么搜索引擎能够收录,在SEO中有着举足轻重的作用。对于自己网站情况还不太清楚的博主,我推荐用下面这种WordPress官方给出的书写规则,没有风险,安全,有利于seo。具体内容请参考:WordPress Codex。

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.example.com/sitemap.xml

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。在你修改robots.txt文件时,可以用Google网站管理员工具检测一下robots.txt是否符合规范。

附注:
robots.txt文件写法说明:
User-agent: *
这里的*代表的所有的搜索引擎种类,*是一个通配符。

Disallow: /admin/
这里定义是禁止爬寻admin目录下面的目录。

Disallow: /trackback
禁止收录/trackback开头的任何地址。例如/trackback.html,/trackbackXXX.html,/trackback/xxx.xxx都会被禁止。

Disallow: */trackback
禁止收录任意值开头,中间带有/trackback的地址。例如/xxx/trackback,/xxx/trackback.html,/xxx/trackback/xxx.xxx都会被禁止。

Disallow: */trackback$
禁止收录任意值开头,末尾带有/trackback的地址($是结束符)。例如/xxx/trackback会被禁止,但/xxx/trackback.html不会被禁止。

转载请注明:观测者 » WordPress官方robots.txt书写规则