搜索机器人访问控制

关键词：搜索 机器人 Web Spider php

主页在载入速度对浏览者来说是一个比较关键的因素。一般来说，浏览者的容忍极限为5s左右，如果读取时间大于5s，浏览者往往会选择放弃。因此，我采用了现在的Live Archive方式，用 http://blog.znsun.com/archives.html 来代替我现在的主页，同时对该页面内的内容进行精简，将内容控制在80k以内，以提高那些新访问者的速度。

但是，相应的问题也来了。Live Archive的结构不利于搜索机器人(Web Spider)爬行，且它调用了不少的javascript内容，搜索机器人(Web Spider)无法跟踪；其次，正常主页上的诸多好友链接也被“精简”，影响了交互。虽然部分问题可以用设定robots.txt的方式来弥补，但是还是有些欠缺。

因此做了如下的处理：

1. 让用户可以自己设定浏览方式。
   用户可以通过点击左侧“我的网站”中的Live Archive/Normal Mode 来切换浏览主页的方式，同时结果保存在浏览器Cookies中，下次用同一台电脑访问时候，系统会自动根据用户喜好选择不同的浏览方式。比方说我自己就采用正常浏览方式，因为大量的内容已经被缓存在我的浏览器中，对我来说速度已经不是瓶颈问题。
2. 将搜索机器人(Web Spider)直接引导到正常的主页，使得他们能够收集更详细全面的信息，包括我的诸多好友链接。主要参考了该网页，精简为下面的一段代码：

   $UA=$_SERVER['HTTP_USER_AGENT'];
   if eregi("Googlebot|Yahoo|VoilaBot|Ask Jeeves|SpeedySpider|MSNbot|Yahoobot|Baiduspider|Sohubot|Lycos|Robozilla|Inktomi Slurp|larbin|spider|crawlGoogle AdSense|EchO!|Magpie|InternetSeer|Magpie|Alexa|The World Wide Web Worm|Voyager|robot|Speedy Spider|Motor|AskJeeves|GigaBot|The Python Robot|MSIECrawler|GetBot|SurveyBot|Fish search|Netcraft",$UA) //大小写没有影响
   {$file = "/home/znsunima/public_html/wordpress/index2.html";
   ob_start('ob_gzhandler');
   echo implode('', file($file));
   ob_end_flush();}
   else
   header("Location: http://blog.znsun.com/archives.html"); //见注¹

上面代码的原理是利用HTTP_USER_AGENT参数来判断是否为搜索机器人²，如果是，返回压缩过的正常主页；反之，返回Live Archive版本的主页。如果你用的是firefox，可以通过在地址栏输入“about:config”，新增general.useragent.override 字段后设定User_Agent来测试。

注¹. 其实其中的archives.html其实我也用php压缩过了，因为我的服务器不支持html格式的直接压缩
注². 网上的机器人很多，我只列了访问过我网站的和其他一些常见的Spider。