如何制作网站robots.txt文件?当蜘蛛进入一个网站，首先看的就是robots.txt文件了，如果你不懂这个，就会很麻烦，如果由于不懂robots文件，是很容易导致网站不被搜索引擎爬行，那么做网站就没有任何的意义了。因此我们真的有必要来了解下，怎么制作网站robots文件了。SEO基本技巧有哪些?

那么，网站robots.txt文件该怎么编写呢?请大家看下面的编写方法：

User-agent：制定规则适用于哪个蜘蛛。

“*”代表所有搜索引擎。针对某个搜索引擎，则写该搜索引擎蜘蛛名称。在国内，99%的企业网站和个人，都非常的重视百度搜索引擎了，因此都是不会选择屏蔽百度搜索引起了。

这是我写得robots.txt文件

User-agent：Baiduspider 百度蜘蛛

User-agent：Googlebot-Mobile 谷歌蜘蛛

User-agent：360Spider 360蜘蛛

User-agent：Sosospider SOSO蜘蛛

User-agent：Sogou News Spider 搜狗蜘蛛

Robots文件中的特殊符号的作用和意思：

*表示所有搜索引擎，用于指定蜘蛛使用;菜鸟怎么学好SEO优化?

~表示以某字符串开头;

$表示以某字符串结尾;

/表示当前目录下的所有内容。

参数说明：

User-agent 指定搜索引擎蜘蛛名称;

Disallow要禁止抓取的内容;

Allow允许抓取的内容。

不同的网站，写法也是不一样的，希望可以帮到那些对robots.txt文件还不太了解的SEO新手朋友们。喜欢此文章，你就在下面回复下，毛毛万分感谢你。