php判断搜索引擎蜘蛛爬虫的方法整理-PHP源码

先来看蜘蛛列表

再来看看例子

//php判断搜索引擎蜘蛛爬虫的方法

function checkrobot($useragent='') {
static $kw_spiders = array('bot', 'crawl', 'spider', 'slurp', 'sohu-search', 'lycos', 'robozilla');
static $kw_browsers = array('msie', 'netscape', 'opera', 'konqueror', 'mozilla');

$useragent = strtolower(empty($useragent) ? $_SERVER['HTTP_USER_AGENT'] : $useragent);
if (strpos($useragent, 'http://') === false && dstrpos($useragent, $kw_browsers))
return false;
if (dstrpos($useragent, $kw_spiders))
return true;
return false;
}

function dstrpos($string, $arr, $returnvalue = false) {
if (empty($string))
return false;
foreach ((array) $arr as $v) {
if (strpos($string, $v) !== false) {
$return = $returnvalue ? $v : true;
return $return;
}
}
return false;
}

if(checkrobot()){
echo '蜘蛛';
}else{
echo '人类';
}

?>

例子

PHP反解析IP方法
/**
*检查IP及蜘蛛真实性
* (check_spider('66.249.74.44',$_SERVER['HTTP_USER_AGENT']));
* @copyright http://blog.chacuo.net
* @author 8292669
* @param string $ip IP地址
* @param string $ua ua地址
* @return false|spidername false检测失败不在指定列表中
*/
function check_spider($ip,$ua)
{
static $spider_list=array(
'google'=>array('Googlebot','googlebot.com'),
'baidu'=>array('Baiduspider','.baidu.'),
'yahoo'=>array('Yahoo!','inktomisearch.com'),
'msn'=>array('MSNBot','live.com'),
'bing'=>array('bingbot','msn.com')
);

if(!preg_match('/^(\d{1,3}\.){3}\d{1,3}$/',$ip)) return false;
if(empty($ua)) return false;

foreach ($spider_list as $k=>$v)
{
///如果找到了
if(stripos($ua,$v[0])!==false)
{
$domain = gethostbyaddr($ip);

if($domain && stripos($domain,$v[1])!==false)
{
return $k;
}
}
}
return false;
}

目前只加入几个搜索引擎检测，这些是可以做反解析查询的。不能做反解析查询的，最好做速度限制，用户会使用它们来伪造搜索引擎来抓取你的资源