如何设置wordpress robots.txt

前言

wordpress设置好robots.txt十分地重要，会很大程度地影响搜索引擎对网站的爬取，因此，设置一个好的wordpress得robots.txt成为必须的要求。

wordpress设置robots.txt

其实设置robots.txt也不需要那么麻烦了，只要重要的后台不要被抓取就够了

wordpress的后台是/wp-admin，所以，理论上只要不要抓取这个目录就好了

本站的robots.txt因为还有其他东西，所以多加了一点，具体可以参考下面的代码：

6User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /feedDisallow: /go/*Sitemap: http://www.fenxiangwu.net/sitemap.xml

禁止wp-admin是最基础的，保护网站安全

而wp-includes含一些wordpress关键运行文件，但一般不含有资源文件，因此可以放心禁用

禁止/feed是因为这个页面会导致生成大量的无内容页面，从而导致搜索引擎抛弃小站QAQ

/go/是小站设置的跳转文件，链接到的是外站，如果google抓取的话，会导致权重降低等多种负面影响，所以也要禁止

最后一行sitemap是本站的网站目录，写出来能帮助搜索引擎更好地抓取网站

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。