现在的位置: 首页 > 网络常识 > 正文

新人建站不得不做的一个设置:Robots.txt

2014年04月26日 网络常识 ⁄ 共 901字 ⁄ 字号 暂无评论 ⁄ 阅读 629 views 次

Robots.txt 是存放在站点根目录下的一个纯文本文件。它的设置非常简单,但作用却很强大。它可以指定搜索引擎(如百度)蜘蛛只抓取指定的内容,或者禁止搜索引擎蜘蛛抓取网站的部分内容。搜索引擎爬取的路径中如果出现大量相同类型的内容时可能会判定为重复内容,重复内容太多是对搜索引擎一个很不好的信号,严重情况下可能会导致网站被降权。

由于wordpress存在各种形式的订阅、回评、存档、分类、标签等机制,一篇文章的内容会多次出现在不同的链接中,为了使网站对搜索引擎友好,应当合理的设置robots文件以禁止搜索引擎爬取我们不希望收录的路径。

使用方法:
Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。比如,85网赚的robots.txt文件格式为: http://www.85wz.com/robots.txt 可以打开并看到里面的内容。

User-agent: *
Disallow: /index.php
Disallow: /page/
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /trackback
Disallow: /*/*/trackback
Disallow: /feed
Disallow: /*/*/feed
Disallow: /comments/feed
Disallow: /page/
Disallow: /*/*/page/
Disallow: /tag/
Disallow: /?s=*
Disallow: /*/comment-page-*
Disallow: /date/
Disallow: /author/
Disallow: /category/
Disallow: /wp-login.php
Sitemap: http://www.85wz.com/sitemap.xml

详细的编写规则,85网赚在这里不赘述了。网上有非常多的教程,这里推荐用站长工具自动生成robots.txt文件,点击这里,该网页有详细的robots文件编写规则介绍。



给我留言

留言无头像?


无觅相关文章插件,快速提升流量