360搜索蜘蛛启动：360Spider正式开爬

湖南站长站

8月27日，360综合搜索正式推出360搜索蜘蛛——360Spider，如果您希望自己的网站被360综合搜索收录，请检查一下您的网站robots.txt 文件是否允许360搜索蜘蛛抓取您的网站内容。如果您的网站还没有允许360搜索蜘蛛抓取，只要在robots.txt 文件中添加下面的代码就可以啦：

User-Agent：360Spider

Allow：/

这段代码的意思是容许360蜘蛛访问，是官方提供的代码。考虑到其他搜索引，建议robots.txt容许所有蜘蛛访问，建议这样写，如果你的网站之前是这样设置的可以不管。如果网站设置了robots协议，同时又希望360搜索收录，需要添加；如果网站没有设置robots协议，就不需要添加了。

User-Agent: *

转载自 卢松松博客 http://lusongsong.com/blog/post/458.html