熊海博客

今天发现一个奇怪的现象，我把以前的程序放在网站上开源下载，做了一个演示站，并用robots.txt设置了禁止搜索引擎收录，貌似其他搜索引擎都没有收录，唯独腾讯的soso收录了，难道soso不受Robots.txt的限制吗？估计是我链接到展示页的那几个网站权重太高。不过，即使再高，起码也得受Robots.txt的限制吧？

不知道应该理解为soso的强大还是霸道，反正这个我文件夹已经屏蔽了，它还是继续抓取，无奈！会不会因为soso刚推出自己的搜索引擎为了展示自己的技术迅速的把新页面收录？或者soso压根就不遵守robot协议，管你是允许还是禁止先爬回来再说。
Robots.txt的内容：User-agent： *　Disallow： /Demo/

没办法，我把文件夹改名了，可不到二十分钟，再次被收录。强大的腾讯，我无语了。