Python爬取捞月狗数据分析

本文利用Python从捞月狗网站上获取国服各区和外服王者的数据信息，然后利用R软件对数据进行初步探索和分析。在数据背后找到有趣的东西！爱生活，爱数据！Python爬月狗数据要抓取的数据如下图所示:主要包括王者游戏ID、区服、胜点、胜点、负场、胜率、最近状态、擅长位置、本命英雄等。因为钓月狗的数据每天都在更新，所以在不同的时间爬行数据可能会有所不同。Python代码如下：导入所需模块：importrequestsimportportpandasaspd设置头部信息：head={'User-Agent':'你自己的头部信息'}设定正则获取国服王者信息：rem=re.compile(r'class="subStrTitle">(.*).*server">(.*).*class="icon-dan">(.*).*(.*)(.*)<.*\t/.*(.*)(.*).*"percentage">(.*).*/score/(.*).png.*color-zhongdan">(.*).*alt="(.*)"/>.*alt="(.*)"/>.*alt="(.*)"/>',re.S)外服正则用于获取外服王者信息：reh=re.compile(r'(.*).*player-server">(.*).*(.*).*(.*)(.*).*.*(.*)(.*).*"percentage">(.*).*score/(.*).png.*"color-zhongdan">(.*).*src="(.*)">.*src="(.*)">.*src="(.*)">',re.S)获取国服对应的战区，存储在zhanqu_list_cn中:url_cn='http://www.laoyuegou.com/x/zh-cn/lol/lol/godrank.htmlregion=cn&area=1'html_cn=requests.get(url_cn,headers=head)reg=re.compile(r'class="cn-li.*href="(.*)">',re.S)zhanqu_list_cn=re.findall(reg,html_cn.text)#国服战区获得外服对应的战区，存储在zhanqu_list_en中:url_en='http://www.laoyuegou.com/x/zh-cn/lol/lol/godrank.htmlregion=foreign&area=kr'html_en=requests.get(url_en,headers=head)ren=re.compile(r'class="foreign-li.*href="(.*)">',re.S)zhanqu_list_en=re.findall(ren,html_en.text)定义下载中国战区数据的函数：defupdown_cn(zhanqu_list_cn):  forzhanquinzhanqu_list_cn:    forminrange(1,11):      url=zhanqu '&page=' str(m)      im=requests.get(url,headers=head)      ifim.status_code==200:        data=re.findall(rem,im.text) #数据rem代表国服数据        data=pd.DataFrame(data)        data.to_csv('/home/wajuejiprince/文档/LOLDT/LOLDT.csv',header=False,index=False,mode='a ')#写csv文件，'a '是追加模式        data=[]定义下载外服战区数据的函数：defupdown_en(zhanqu_list_en):  forzhanquinzhanqu_list_en:    forminrange(1,11):      url=zhanqu '&page=' str(m)      im=requests.get(url,headers=head)      ifim.status_code==200:        data=re.findall(reh,im.text) #获取数据reh代表外服数据        data=pd.DataFrame(data)        data.to_csv('/home/wajuejiprince/文档/LOLDT/LOLDT.csv',header=False,index=False,mode='a ')#写csv文件，'a '是追加模式        data=[]下载数据：updown_cn(zhanqu_list_cn) #下载中国战区数据updown_en(zhanqu_list_en) #下载外服战区数据下载的数据保存格式为CSV格式，内容如下图所示:查看数据后，只发现几个格式异常数据(已手动删除)。R语言数据初步探索下面用R软件分析数据，看看能不能发现一些有趣的东西！R语言程序包用于导入分析：library(data.table)library(plotly)library(magrittr)library(wordcloud2)导入数据:dt=fread(file.choose()国服数据:dt_cn=dt[1:2500]#即前2500个外服数据：dt_en=dt[2501:4480]各战区王者数量(国服):>dt_cn[,.(.N),by=.(战区)   所在战区 N1: 艾欧尼亚 902:   祖安 803: 诺克萨斯 804: 班德尔城 905:皮尔特沃夫 90...25: 扭曲丛林 9926:教育网专区 2527: 巨龙之巢 9028: 男爵领域 9029: 峡谷之巅 80   所在战区 N概览数据(国服):>summary(dt_cn[,.(.N),by=.(战区)) 所在战区       N     Length:29     Min. :25.00 Class:character 1stQu.:80.00 Mode :character Median:90.00           Mean :86.21           3rdQu.:90.00           Max. :100.00 #王者最少的区>dt_cn[,.(.N),by=.(战区)[N==25]  所在战区 N1:教育网专区25#王者有100人(最多100人)>dt_cn[,.(.N),by=.(战区)[N==100] 所在战区 N1:均衡教派1002:守望之海100外服王者数量：plot_ly(dt_en[,.(.N),by=.(战区),x=~所在战区，y=~N,type="bar")外服王者数量较多(相对于国服一区)，可能是有些外服只是服务器，比如韩国，也和捞月狗的统计数据有关。国服各区平均胜点:dt_cn[,.(mean=mean(胜点)，by=.(战区)这里看不出艾欧尼亚是最强的战区。王者通常处于什么样的游戏状态？wordcloud2(dt_cn[,.(.N),by=.(最近状态))英雄联盟的评价等级是这样增加的D-，D，D ；C-，C，C ；B-，B，B ；A-，A，A ；S-，S，S ！国王通常处于什么样的游戏状态：wordcloud2(dt_cn[,.(.N),by=.(最近状态))英雄联盟的评价等级是这样增加的D-，D，D ；C-，C，C ；B-，B，B ；A-，A，A ；S-，S，S ！大多数王者最近的状态往往是S级状态。不幸的是，数据集中没有其他部分的数据。如果是这样，你也可以比较每个部分玩家的通常游戏状态。王者擅长的位置：各地的王者更喜欢打野和上单的位置。这两个位置也是英雄联盟中受伤较多的位置，也可以说他们可能更倾向于玩“肉”的英雄。职业联赛中常说这样的英雄容错率比较高。换句话说，有肉有输出英雄。王者本命英雄(2017.08.05)：#因为有些本命英雄在爬数据的时候并不是我们预期的，所以在这里删除(也就是3~4).dt_all=fread(file.choose())dt_cn<-dt_all[1:2497]dt_1<-dt_cn[,本命英雄1]dt_2<-dt_cn[，本命英雄2]dt_3<-dt_cn[，本命英雄3]all_hero�ta.frame()%>%wordcloud2(shape='star')#以星形的形式绘制云图。不愧为王者玩家，玩盲僧这样