数据分析三部曲，探究北京房租状况

那些昨天幻想着海边别墅的年轻人今天可能会对租金感到绝望。八月初，有网友在“水木论坛”上发帖指责长租公寓涨价抢房引起关注。据说一位业主打算租一间位于天通苑的三居室，预计租金为7500元/月。结果，二方中介互相提价，硬生生提高到10800元。在过去的一个月里，全国热点城市的租金就像一匹脱缰的野马。一线房租同比增长近20%。一夜醒来，无产青年甚至悬在立锥之地。从2018年下半年开始，租金海啸汹汹，资本狂欢，官方沉默，房东纠结，房客尖叫。这不是一方的过错，更像是整个社会的“集体谋杀”。最令人不安的是，过去房地产的玩法和上涨逻辑今天正在转移到租金上。北京不仅是房租飙升的地方。数据显示，7月份，北京、上海、广州、深圳、天津、武汉、重庆、南京、杭州和成都的租金环比上涨。其中，北京、上海、深圳租金涨幅最大，7月份北京租金同比涨幅3.1%，部分社区甚至涨幅超过30%。接下来，我们通过Python大法获取某网数万条北京租房数据，告诉大家真实的租房情况。还是老规矩，老套路(是否有熟悉的味道)，我们常用的三部曲:数据采集、数据清洗预览、数据分析可视化，和你一起探索最近的租金情况。1、今天，数据获取将以市场份额最高的住房中介公司为目标，在北京和上海获取租赁信息。目标链接：https://bj.lianjia.com/zufang/总体思路是:先爬取每个区域的url和名称，与主url拼接成一个完整的url，循环url列表，依次爬取每个区域的租赁信息。在爬每个区域的租赁信息时，找到最大的页码，遍历页码，依次爬取每个页面的二手房信息。post代码之前简单说一下这里用的几个爬虫Python包:requests:用于请求访问链家网的包lxml:分析网页，用xpath表达式和正则表达式获取网页信息，比bs4更快的详细代码如下：importrequestsimporttimeimportrefromlxmlimportetree#在某个城市区域获取所有链接defget_areas(url):print(‘startgrabingareas’)headers={‘User-Agent’:‘Mozilla/5.0(X11;Linuxx86_64AppleWebKit/537.36(KHTML,likeGecko)Chrome/63.0.Safari/537.36"339.108resposne=requests.get(url,headers=headers)content=etree.HTML(resposne.text)areas=content.xpath(“//dd[@data-index=‘0’]//div[@class=’option-list’]/a/text()”)areas_link=content.xpath(“//dd[@data-index=‘0’]//div[@class=’option-list’]/a/@href”)foriinrange(1,len(areas)):area=areas[i]area_link=areas_link[i]link=‘https://bj.lianjia.com’ area_linkprint(“开始抓取页面”)get_pages(area,link)#通过获取某一区域的页数，将某一页的链接defget拼接_pages(area,area_link):headers={‘User-Agent’:‘Mozilla/5.0(X11;Linuxx86_64AppleWebKit/537.36(KHTML,likeGecko)Chrome/63.0.3239.108Safari/537.36resposne=requests.get(area_link,headers=headers)pages=int(re.findall(“page-data='{“totalPage”:(d ),”curPage””,resposne.text)[0])print(“这个区域有” str(pages) “页”)forpageinrange(1,pages 1):url=‘https://bj.lianjia.com/zufang/dongcheng/pg’ str(page)print(“开始抓取” str(page) "信息")get_house_info(area,url)#获取某一区域某一页的详细租金信息defget_house_info(area,url):headers={‘User-Agent’:‘Mozilla/5.0(X11;Linuxx86_64AppleWebKit/537.36(KHTML,likeGecko)Chrome/63.0.3239.108Safari/537.′}time.sleep(2)try:resposne=requests.get(url,headers=headers)content=etree.HTML(resposne.text)info=[]foriinrange(30):title=content.xpath(“//div[@class=’where’]/a/span/text()”)[i]room_type=content.xpath(“//div[@class=’where’]/span[1]/span/text()”)[i]square=re.findall(“(d )”,content.xpath(“//div[@class=’where’]/span[2]/text()”)[i])[0]position=content.xpath(“//div[@class=’where’]/span[3]/text()”)[i].replace(”“,“”)try:detail_place=re.findall([u4E00-u9FA5] )租房”,content.xpath(“//div[@class=’other’]/div/a/text()”)[i])[0]exceptExceptionase:detail_place=“”floor=re.findall([u4E00-u9FA5] )(“,content.xpath(“//div[@class=’other’]/div/text()[1])[i])[0]total_floor=re.findall(“(d )”,content.xpath(“//div[@class=’other’]/div/text()[1])[i])[0]try:house_year=re.findall(“(d )”,content.xpath(“//div[@class=’other’]/div/text()[2])[i])[0]exceptExceptionase:house_year=“”price=content.xpath(“//div[@class=’col-3′]/div/span/text()”)[i]withopen(‘链家北京租房.txt’,’a’,encoding=’utf-8′)asf:f.write(area ‘,’ title ‘,’ room_type ‘,’ square ‘,’ position ‘,’ detail_place ’,’ floor ’,’ total_floor ’,’ price ’,’ house_year ’n’)print(‘writingworkhasdone!continuethenextpage’)exceptExceptionase:print(‘ooops!continuethenextpage’)exceptExceptionase:print(‘ooops!connectingerror,retrying…..’)time.sleep(20)returnget_house_info(area,url)defmain():print(‘start!’)url=‘https://bj.lianjia.com/zufang’get_areas(url)if__name__==___=main__’:main()二、数据清洗预览数据共14038条，10个维度，从上图可以看出，北京平均房价为9590元/月，中位数为7000元。一半的房价在7000以下，所有房价在[1000，25000]之间，价格差异太大。第三，数据分析可视化四维——北京租金均价。接下来，我们将北京各地区、各路段、各楼盘的房屋数量和均价分布在同一张图上，更直观地看待租金。从图中可以看出，近期北京各地区租金均在6000元/月以上，其中东城区最高，均价为12463元/月。但由于房屋信息过多，房屋位置、面积、楼层、朝向等对价格影响较大，需要进一步分析价格维度。从上图可以看出，每个路段的平均价格基本在6000以上，其中海淀北部新区的房屋数量最多，但平均价格最低，为3308元/月。这可能与海淀北部生态科技新区作为高新技术产业的承载区、原创创新政策来源的研发基地、科技园区集聚区有关，目前已入驻华为、联想、百度、腾讯IBM、国内外近2000家知名科技创新型企业，如Oracle。另一方面，海淀紫竹桥的房价一起飙升。以博物馆、体育场馆为特色，交通便利，配套设施完善，平均价格高是合理的。另一方面，海淀紫竹桥的房价一起飙升。以博物馆、体育场馆为特色，交通便利，配套设施完善，平均价格高是合理的。可以看出，不同房地产的平均价格波动很大，但都在6000/月以上。最高甚至达到17516/月。由于每栋楼的户型差别很大，地理位置也比较分散，所以平均价格波动很大。每栋楼的具体情况也需要具体分析。详情代码：#北京路段_房屋均价分布图detail_place=df.groupby([‘detail_place’])house_com=detail_place[‘price’].agg([‘mean’,’count’])house_com.reset_index(inplace=True)detail_place_main=house_com.sort_values(‘count’,ascending=False)[0:20]attr=detail_place_main[‘detail_place’]v1=detail_place_main[‘count’]v2=detail_place_main[‘mean’]line=Line(北京主要路段租金均价)line.add(“路段”，attr,v2,is_stack=True,xaxis_rotate=30,yaxix_min=4.2,mark_point=[‘min’,’max’],xaxis_interval=0,line_color=’lightblue’,line_width=4,mark_point_textcolor=’black’,mark_point_color=’lightblue’,is_splitline_show=False)bar=Bar(“北京主要路段房屋数量”)bar.add(“路段”，attr,v1,is_stack=True,xaxis_rotate=30,yaxix_min=4.2,xaxis_interval=0,is_splitline_show=False)overlap=Overlap()overlap.add(bar)overlap.add(line,yaxis_index=1,is_add_yaxis=True)overlap.render(北京路段_房屋均价分布图.html从上图可以看出，平均价格在8000-10000之间的房屋数量最多，而1500-2000之间的房屋数量较少。据北京市统计局统计，2017年全市居民月人均可支配收入4769元。根据北京市统计局的数据，2017年该市居民的月人均可支配收入为4769元。此外，根据58个城市和市场网络发布的报告，2017年北京人均月租金为2795元。北京租房者的租金收入比惊人地接近60%。很多人一半的收入都花在租房上，生活就这样锁定在贫困线上。统计数据还显示，北京租房者整体收入较低。47%的租房人年薪在10万以下。在北京，每月能负担得起5000元左右的房间