robots是什么意思?robots.txt写作方法禁止搜索引擎收录的robots用法诠释

《robots是什么意思?robots.txt写作方法禁止搜索引擎收录的robots用法诠释》有 10 条评论

1. sakhnd 说：

   2016年3月26日17:30

   robots 原来这么重要！！！！

   回复
   • SEO学堂 说：

     2016年4月20日09:35

     这都是SEO优化基础细节的东西，做好了感觉就不重要了，但是如果你一旦禁止了robots蜘蛛爬行协议，那么你的网站很可能就禁止搜索引擎访问了，所以也就不会被百度收录排名了。

     回复
2. 421902418 说：

   2016年3月16日14:02

   真的长见识了

   回复
   • SEO学堂 说：

     2016年3月22日10:21

     学习SEO,一定要先把SEO优化基础知识学扎实，才能进一步开展SEO实战优化，否则直接进入SEO实战，你会有一种手足无措的感觉。[圣诞树]

     回复
3. 逍遥男孩21 说：

   2016年3月14日12:59

   有些网站没设置好robots，把网站后台暴露在搜索引擎上，很不安全。

   回复
   • SEO学堂 说：

     2016年3月22日08:15

     一般网站都是简单设置一下，允许搜索引擎蜘蛛访问网站即可，但是有些网站却非常详细的设置了允许蜘蛛访问哪些目录，不允许蜘蛛访问哪些目录。

     回复
4. 佛山阿曦 说：

   2015年12月3日18:45

   哪个页面不想收录就在哪个页面加对吧

   回复
   • SEO学堂 说：

     2015年12月4日10:44

     是啊，就是这样操作的。对于不想百度蜘蛛访问并且收录的页面，利用robots.txt文件告诉百度蜘蛛这个是禁止访问的，这样可以缩短百度蜘蛛寻址查找的时间，提高蜘蛛索引收录的时间与效率。[钻石]

     回复
5. we, fg 说：

   2015年11月20日13:31

   robots太重要了，蜘蛛进网站第一件事情就是看他！

   回复
   • SEO学堂 说：

     2015年11月20日16:06

     嗯，只是一旦设置好了，就感觉它没多少用了。[哈哈]

     回复