当前位置:  首页  >  PHP教程  >  PHP 应用  >  代码收藏

php生成百度站点地图sitemap类函数

百度站点地图是百度工具中一个非常实用的功能,可以实时的让我们的网站给百度定时抓取,下面我们一起来看看由php生成的一个xml文档了.公司网站是问答百科的网站、seo工程师提出需求说根据网站的问题...
百度站点地图是百度工具中一个非常实用的功能,可以实时的让我们的网站给百度定时抓取,下面我们一起来看看由php生成的一个xml文档了.

公司网站是问答百科的网站、seo工程师提出需求说根据网站的问题来生成xml文件,每个xml文件包含5000条setmap格式数据,现在线上网站大约有70w条问题,所以说基本生成140个xml文件,还有一个索引文件,比如文件的名称以数字开头的,索引文件包含的内容就是每个xml文件的路径还有名称.

为什么要每个文件存储5000条数据呢,因为这是mysql的一个界限值、如果每次取多了以后可能会对线上用户访问造成影响,或者速度变慢,每个文件存储5000条数据,但是mysql selsect的时候不能每次取5000条、现在写的是每次取1000条,那这样逻辑就有点复杂.

先说一下实现:

首先取出1000条数据,可以灵活些成活的,方便以后修改,然后循环生成xml格式文件,file_puts_contens写入文件,然后再把生成的xml文件名称、取出问题的最小id、取出问题的最大id、取出问题的条数写出一个索引查询的txt文件当中,格式大概是这个样子的.

0,3146886,3145887,1000

发现最后面的条数是1000了吗、第一次select取出1000条数据、然后写入0.xml文件当中,把取出的xml文件名称、最小id、最大id、条数写入到索引查询txt中,第一次写入了1000条数据到0.xml、生成条数为1000,第二次查询的时候select语句会成为,where id > 取出的最大id,当前mysql为正序查询、如果为倒序、改成小于,limit 1000 这样的话又取出1000、然后修改索引查询txt的最小id、最大id、生成条数加到2000。以此类推等生成条数到了5000的时候再另起一行写入索引文件、类似这样.

0,3146886,3145887,5000

1,3148886,3147887,1000

这样写的话就减轻了服务器的压力,下面贴出实现代码,风格有点乱,代码如下:

 $psize ? $psize : ($maxXml - $arr[3]);
                $bs = 0;
            } else {
                $filename = $arr[0] + 1;
                $bs = 1;
            }
        }
        $maxid = emptyempty($arr[1]) ? 0 : $arr[1];
        $minid = emptyempty($arr[2]) ? 0 : $arr[2];
        echo "文件名称:" . $filename . ".xml" . "
"; echo "最大id:" . $maxid . "
"; echo "最小id:" . $minid . "
"; echo "xml写入最大记录:" . $maxXml . "
"; echo "数据库每次读取数量:" . $psize . "
"; $list = self::$questionObj->getQuestionSetMap($where, $maxid, $psize); if (count($list) <= 0) { echo 1; exit; } $record = $arr[3] + count($list); //索引文件写入记录数 $indexArr = array( 'filename' => $filename, 'maxid' => $maxid, 'minid' => $minid, 'maxXml' => $record ); $start = '" . chr(10); $start.= ""; foreach ($list as $k => http: //pic4.phprm.com/2014/08/20/http://pic4.phprm.com/2014/08/20/$qinfo.jpg.jpg){ if ($k == 0) $indexArr['minid'] = $qinfo['id']; $qinfo['lastmod'] = substr($qinfo['lasttime'], 0, 10); $qinfo['mobielurl'] = self::$askMobileUrl . $qinfo['id'] . '.html'; //移动版链接 $qinfo['pcurl'] = self::$askPcUrl . $qinfo['id'] . '-p1.html'; //pc版链接 $xml.= $this->askMapMobileUrl($qinfo); //移动版 $xml.= $this->askMapPcUrl($qinfo); //pc版 } $maxid = end($list); $indexArr['maxid'] = $maxid['id']; //更新索引文件 if ($bs == 0) { //更新最后一行 $txt = file($index); $txt[count($txt) - 1] = $indexArr[filename] . ',' . $indexArr[maxid] . ',' . $indexArr['minid'] . ',' . $indexArr['maxXml'] . "\r\n"; $str = join($txt); if (is_writable($index)) { if (!$handle = fopen($index, 'w')) { echo "不能打开文件 $index"; exit; exit; } if (fwrite($handle, $str) === FALSE) { echo "不能写入到文件 $index"; exit; exit; } echo "成功地写入文件$index"; fclose($handle); } else { echo "文件 $index 不可写"; exit; } fclose($index); } elseif ($bs == 1) { //新加入一行 $fp = fopen($index, 'a'); $num = count($list); $string = $indexArr[filename] . ',' . $indexArr[maxid] . ',' . $indexArr['minid'] . ',' . $num . "\r\n"; if (fwrite($fp, $string) === false) { echo "追加新行失败。。。"; exit; } else { echo "追加成功
"; //更新sitemap索引文件 $xmlData = "" . chr(10); $xmlData.= ""; if (!file_exists($askXml)) file_put_contents($askXml, $xmlData); $fileList = file($askXml); $fileCount = count($fileList); $setmapxml = "http://www.xxx.cn/ask/setmapxml/{$filename}.xml"; //正常问题链接 $txt = $this->setMapIndex($setmapxml); $fileList[$fileCount - 1] = $txt . ""; $newContent = ''; foreach ($fileList as $v) { $newContent.= $v; } if (!file_put_contents($askXml, $newContent)) exit('无法写入数据'); echo '已经写入文档' . $askXml; } fclose($fp); } $filename = APP_PATH . 'setmapxml/' . $filename . '.xml'; //更新到xml文件中,增加结尾 if (!file_exists($filename)) file_put_contents($filename, $start); $xmlList = file($filename); $xmlCount = count($fileList); $xmlList[$xmlCount - 1] = $xml . ""; $newXml = ''; foreach ($xmlList as $v) { $newXml.= $v; } if (!file_put_contents($filename, $newXml)) exit("写入数据错误"); else echo "写入数据成功
"; } //问答移动版xml private function askMapMobileUrl($data) { $xml = ''; if (is_array($data) && !emptyempty($data)) { $xml.= "" . chr(10); if ($data['id']) $xml.= '' . $data['mobielurl'] . '' . chr(10); //移动版链接 $xml.= "" . chr(10); if ($data['lastmod']) $xml.= '' . $data['lastmod'] . '' . chr(10); $xml.= 'daily' . chr(10); $xml.= '0.8' . chr(10); $xml.= "" . chr(10); return $xml; } } //问答pc版xml private function askMapPcUrl($data) { $xml = ''; if (is_array($data) && !emptyempty($data)) { $xml.= '' . chr(10); if ($data['id']) $xml.= '' . $data['pcurl'] . '' . chr(10); //pc版链接 if ($data['lastmod']) $xml.= '' . $data['lastmod'] . '' . chr(10); $xml.= 'daily' . chr(10); $xml.= '0.8' . chr(10); $xml.= '' . chr(10); return $xml; } } //setmaps索引文件 private function setMapIndex($filename) { $xml = ''; $xml.= "" . chr(10); $xml.= "{$filename}" . chr(10); $xml.= "" . date("Y-m-d", time()) . "" . chr(10); $xml.= "" . chr(10); return $xml; } } ?>


xml索引文件格式,代码如下:

 
 
http://www.phprm.com/ask/setmapxml/0.xml 
2014-05-12 
 
 
http://www.phprm.com/ask/setmapxml/1.xml 
2014-05-12 
 

xml文件格式,每个文件需要存储5000条、现展示1条例子,实例代码如下:

 
 
http://m.xxx.cn/ask/7460.html 
 
2013-01-11 
daily 
0.8 
 
 


本文地址:

转载随意,但请附上文章地址:-)

吐了个 "CAO" !
扫码关注 PHP1 官方微信号
PHP1.CN | 中国最专业的PHP中文社区 | PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | PHP问答
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved PHP1.CN 第一PHP社区 版权所有