10分钟写的一个采集马蜂窝游记的小程序

随着物质的改善，旅游业逐渐成为人们关注的焦点。炎热的国庆节刚刚过去。利用这种余热，我想很多人都想知道你通常去哪里玩，所以我花了10分钟写了一个小程序来收集黄蜂巢游记。当然，速度可以如此之快，这完全取决于著名的PHP爬虫框架phpspider。在国际惯例中，让我们看看如何编写代码。它被认为是抛砖引玉。^_^黄蜂巢不同于传统网站。由于并发量高，一些数据需要实时，如观众数量和拇指数量，Ajax在许多地方使用，Ajax对普通收藏家来说是一个大问题。观察了黄蜂巢网站，最终确定了收集路线：获得热门城市->在城市下获取游记列表->获取游记内容->提取游记标题、城市、出发时间等。，然后我们用三个步骤来实现它。。。1、首先，我们应该收集这些受欢迎的城市。当我们点击页数时，我们发现他的数据是由Ajax加载的，最后一页是297，POST方法提交的参数如下：显然，这个page是页数。这里有一个问题。phpspider框架有URL重机制，POST只有一个URL，但query_string不影响POST数据。我们可以在后面添加page=1 |2|3.所以我们的代码可以这样写:设置列表页面规则:123‘list_url_regexes’=>array(“http://www.mafengwo.cn/mdd/base/list/pagedata_citylistpage=d ”,)入口回调函数入口所有城市名单12345678911214$spider->on_scan_page=function($page,$content,$phpspider)上面Ajax分页的末页是297页for($i=0;$i$url,‘method’=>‘post’,‘fields’=>array(‘mddid’=>21536,‘page’=>$i,));////热点城市列表页URL入队列$phpspider->add_url($url,$options);}};2、点击进入热门城市下的游记列表后，我们可以看到他下面的游记列表和上面一样，也是Ajax加载的。我们可以打开chrome的开发者工具，点击Network，然后点击分页获取Ajax的URL：POST和城市列表一样，参数如下：显然page是页数，当然，我们可以通过POST直接访问ajax地址：http://www.mafengwo.cn/gonglve/ajax.phpact=get_t..直接报错，他需要来路，综合以上，我们的代码可以这样写：首先，我们应该在on_start回调函数中添加来路URL1234$spider->on_start=function($phpspider){$phpspider->add_header(‘Referer’,’http://www.mafengwo.cn/mdd/citylist/21536.html’);};和上面获得的城市列表一样，设置列表匹配规则：123list_url_regexes’=>array(“http://www.mafengwo.cn/gonglve/ajax.phpact=get_travellist&mddid=d )，然后在on_，list_page回调判断，如果是第一页，就会获得总页数。然后循环进入队列，12345678101112111517181920212preg_match(‘#共(.*)页#’,$data_page,$out);for($i=0;$i<$out[1];$i ){$v=$page[‘request’][‘fields’][‘mddid’];$url=“http://www.mafengwo.cn/gonglve/ajax.phpact=get_travellist&mddid={$v}&page={$i}”;$options=array(‘url_type’=>$url,‘method’=>‘post’,‘fields’=>array(‘mddid’=>$v,‘pageid’=>’mdd_index’,‘sort’=>1,‘cost’=>0,‘days’=>0,‘month’=>0,‘tagid’=>0,‘page’=>$i,));/////游记列表页URL进入队列$phpspider->add_url($url,$options);}通过以上两个步骤，我们将所有热门城市下的游记列表放在队列中。接下来，我们将进行第三步，从这些列表中获取内容页面URL，然后提取内容。3、在on__获取热门城市下的游记列表list_page方法将获得列表页面的内容。从这些内容中，我们可以提取URL1234567891011///内容页面preg_match_all(###，$html,$out);if(!empty($out[1])){foreach($out[1]as$v){$url=“http://www.mafengwo.cn/i/{$v}.html”;////内容页URL进入队列$phpspider->add_url($url);}}接下来，我们将配置field提取内容页面字段123456781121131617192fields’=>array(///标题array(name’=>“name”,‘selector’=>“//h1[contains(@class,’headtext"""""""""""""required’=>true,),//分类array(name’=>“city”,‘selector’=>“//div[contains(@class,’relation_mdd’)]//a”,‘required’=>true,),///出发时间aray(name’=>“date”,‘selector’=>“//li[contains(@class,’time"""""""""""""required’=>true,),)设计数据表：当然，我们也可以获得浏览量、收集、共享、顶部、游戏金额等，太多，方法相似。这个程序已经设计好了，总共不到200行代码。由于phpspider具有多进程采集功能，数据很快收集完成，总共超过7W。这个程序已经设计好了，总共不到200行代码。由于phpspider具有多进程采集功能，数据很快收集完成，总共超过7W。我们得到这些数据后能做什么？！从Top10旅游城市可以看出，云南是博主日夜思念的好地方。。。从五一节和国庆节期间旅游城市的比例可以看出，人们喜欢在五一节去西藏，但国庆节更喜欢青岛。嗯，这两个地方的博主都没去过，说他们受伤了~_~！接下来，让我们来看看今年北京和杭州的旅游旺季。我们可以看到，7月和8月会有更多的人去北京。此时，北京是最酷的。它既不热也不冷。博主曾在一年八月去过北京。他很舒服。让我们来看看杭州。我们可以看到，3月底到4月中旬是杭州的合适季节。当时，春天盛开，天气也很好。我听说太子湾公园每年都有樱花和郁金花展，非常漂亮，艾玛旅游病又犯了~_~！嗯，这篇文章到此结束。事实上，我想分析更多，比如收集热门路线、热门景点、热门图集和旅游路线的价格。最后，形成一个旅游应用程序。如果你有好主意，你也可以告诉我，我会收集他供你参考。最后，对源代码感兴趣的学生可以在github上搜索phpspider^