当前位置: > SEO教程 > WordPress博客网站robots.txt文件写法

WordPress博客网站robots.txt文件写法

前言:

也许很多站长并不知道什么是robots.txt,其实在小谢的SEO博客里面就发表过一篇关于如何书写robots.txt的文章,围观地址“robots.txt协议的写法,对其SEO的作用”今天小谢给大家带来一篇关于“WordPress博客网站robots.txt文件写法”废话不多说直接进入主题。

一,为什么要写robots.txt文件,我们通过一张图片来说明:

WordPress博客网站robots.txt文件写法

有效的保护了用户的隐私,保护了网站的部分内容;而只呈现给搜索引擎应该抓取的页面。

呈现网站地图给搜索引擎。

避免了重复网页的抓取。

二,WordPress博客网站robots.txt的书写:

由于博客之前有一篇文章专门介绍robots.txt文件的书写,所以这里不做介绍;我们直接进入主题:

一份完整的robots.txt的书写规则应该是:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/languages/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /wp-includes/
Disallow: /comments/
Disallow: /category/
Disallow: /tag/
Disallow: /page/
Disallow: /feed/
Disallow: /author/
Disallow: /trackback/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*?
Disallow: /*/*?
Disallow: /*/*/*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Alexa archiver
User-agent: ia_archiver
Disallow: /

Sitemap:http://www.momseo/sitemap.xml
Sitemap:http://www.momseo/sitemap_baidu.xml

一份完整的robots.txt文件兼顾了WordPress博客网站的方方面面。如果你并不想深入研究WordPress与robots.txt文件,那么你可以直接复制上面的书写规则,只要替换以上规则中Sitemap部分的网址为你的网站的网址,把robots.txt文件上传到你的网站根目录下即可。

Robots.txt文件针对的是整个网站提出访问的限制,如果你要针对个别页面作搜索引擎访问的限制的话,就需要在HTML文件中使用Robots Meta标签,一个Robots Meta标签形式如下。

<meta name="robots" content="noindex,follow"/>

content通常有四个选项:index, noindex, follow, nofollow,分别告诉搜索引擎索引、不索引、继续爬行、不继续爬行这个网页。

最后说两句:

robots.txt的书写还是有必要的,对于新手来说robots的书写规范有难度,需要不断的学习操作。

 

 

支付宝赞助
微信赞助

网友评论2

发表评论

您必须 [ 登录 ] 才能发表留言!