29个城市的数据信息，告诉你该岗位的薪资待遇

如果你想成为一名数据分析师，你自然需要首先了解这个职位。最直接、最真实的方法就是从企业那里获取需求信息，这样才能最好地指导自己的学习方向和简历准备。本文是利用爬虫爬行拉钩*数据分析该职位的信息，然后进行一些探索和分析，以数据分析来理解“数据分析”。本项目使用的数据源数据集全部来自拉钩网，通过网络爬虫工具集搜客爬行。之所以选择拉钩网作为本项目的数据源，主要是因为与其他招聘网站相比，拉钩网上的岗位信息非常完整整洁，信息缺失很少。而且几乎所有显示的信息都非常规范，大大降低了前期数据清理和数据整理的工作量。(毕竟作者是下班后完成的，时间有限，能省就省。)在这次爬行信息时，主要获取以下信息:主要希望通过实际数据回答对数据分析岗位的一些疑问。具体来说，主要针对以下问题:技术和工具。这个项目主要分为两部分，第一部分是数据爬行，采用收藏家网络爬虫工具。第二部分是基于python编程语言的数据分析。数据分析部分主要使用pandas作为数据分类和统计分析的工具，matplotlib用于图形可视化，seaborn库包用于图形美化。在分析技能需求时，使用jieba作为分词工具包，使用wordcloud包制作词云。从数据整理、加载和清理可以看出，初步清理后，数据集中有效变量为13个，数据记录为575个。除了投资者，其他字段的数据完整性非常好，几乎没有缺失值。这对以后的分析来说是个好消息。数据分析的区域分布在拉钩网络上。中国有29个城市的企业邮件数据分析师人才需求，其中近一半在北京产生，需求居全国第一。前五名是：北京、上海、深圳、杭州、广州。数据分析专业集中在北京、上海、广州、深圳四大一线城市，以及互联网和电子商务企业杭州的聚集地。我对北京巨大的需求比例感到有点惊讶。然而，考虑到拉钩网络是一个专注于互联网相关行业的招聘平台，中国大量的互联网企业聚集在北京，这一结果是合理的。以后有时间可以分析一下全国互联网行业的分布特点。总之，我们可以得出一个明确的结论：在数据分析岗位上，北京、上海、广州、深圳和杭州有大量的工作机会。期待朝着这个方向发展的学生仍然需要在这些城市尝试更多。当然，另一方面，这些城市也集中了大量各行各业的人才，竞争压力一定很大。和大多数其他工作一样，数据分析师的工资也是右偏分布。大多数人的收入集中在每月5k-20k，只有少数人能得到更高的薪水，但也有少数人薪水很高，充满期待。需要注意的是，拉钩网上的薪酬值是一个区间值，相互重叠。为了便于分析，我以区间的中值作为代表值进行分析。因此，实际的薪酬分配可能比图中的要好。总有人能拿到工资的上限。总的来说，数据分析师的整体工资收入还是相当可观的，从这方面来说，选择这个职业还是不错的。不同城市的薪酬分布忽略了人才需求相对较小的城市，我专注于前六名的城市。从图中可以看出，这六个城市的薪酬分布普遍集中，这与我们之前看到的全国薪酬分布一致。深圳薪酬分布中位数约15k，居全国第一。其次是北京，大约12.5k，然后是上海和杭州。深圳确实是一个创造奇迹的城市，这里也给了我一个小小的惊喜。在待遇方面，数据分析师留在深圳发展是个不错的选择。如果工作经验需求不出所料，工作经验的需求分布类似于正态分布。1-3年工作经验的熟手需求最大，其次是3-5年工作经验的资深分析师。对于工作经验不足一年的新人来说，市场需求相对较小。此外，5-10年的工作经验需求非常罕见，10年以上的工作经验非常罕见。从这一分布中，我们可以大致猜测数据分析是一个年轻的职业方向，大量的工作经验需求集中在1-3年；对于数据分析师来说，5年是一个瓶颈期。如果5年内没有转型或质量改进，未来的竞争压力可能会相对较大。毫无疑问，不同工作经验的薪酬分布，随着经验的提高，数据分析师的薪酬也在增加。此外，从现有数据来看，数据分析师似乎是常青的职业方向，10年内收入可能不会因年龄增长而下降。专业技能关键词云显示的情况，有点超出了我的预期。对于数据分析师来说，最常见的技能不是Python语言和R语言，而是传统的结构化查询语言SQL和表格神器Excel。SQL和Excel似乎是从事数据分析师职位所必需的技能。从词云上可以看出，数据分析师的技能需求频率排在前列:SQL，Excel,SAS，SPSS,Python,Hadop和MySQL等。另外，Java,PPT,BI软件属于第二梯队。掌握不同技能对薪酬收入的影响，统计前15项需求最频繁的技能，得出每项技能对应的平均薪酬水平，如上图所示。点的大小代表技能的需求。在前15项技能中，shell，Hive，Spark的平均工资水平最高，与其他技能相比差别很大。了解数据分析师工作的人应该知道，Hive和Spark都用于分布式数据处理，而Shell脚本是Linux系统下工作的必要技能。三者共同指向一个方向，即海量数据的分布式处理！因此，如果你想获得高薪，请注意，大量的数据处理和分布式处理框架是高薪的正确方向。此外，值得注意的是，Python语言在数据分析领域的平均工资水平高于Java语言。SQL语言和传统的SAS和SPSS数据分析软件可以让你在保证中等收入的同时适应更多企业的要求，这意味着更多的就业机会。通过以上分析，我们可以得出以下结论：数据分析在北京、上海、广州、深圳和杭州有大量的工作机会。大多数据分析师的月收入集中在5k-20k，只有少数人能得到更高的薪水，但少数人的薪水很高，充满期待。在待遇方面，数据分析师留在深圳发展是一个不错的选择，其次是北京和上海。数据分析是一个年轻的职业方向，大量的工作经验需求集中在1-3年。对于数据分析师来说，5年似乎是一个瓶颈期。如果5年内没有转型或质量改进，未来的竞争压力可能会相对较大。随着经验的提高，数据分析师的工资也在不断提高，有10多年工作经验的人可以获得相当丰厚的工资。前列数据分析师需求频率的技能包括：SQL，Excel,SAS，SPSS,Python,Hadop和MySQL，其中SQL和Excel可以说是必备技能。海量数据和分布式处理框架是高薪的正确方向。SQL语言和传统SAS，SPSS两个数据分析软件，可以让你在保证中等收入的条件下适应更多企业的要求，这意味着更多的工作机会。思考和总结对数据分析师技能的分析相对简单。在这个分析过程中，只分析了工具技能。但事实上，数据分析师需要的素质远不止这些。他们还需要有坚实的数学和统计基础、良好的数据敏感性、开拓但严谨的思维等。如果要深入挖掘这些内容，应该会更有意思。但要进行这一内容，就要掌握大量的中文分词、关键词提取等方面的知识和技能，难度也会更大。由于时间限制，这里不再进一步展开，希望以后有时间再做一个特别的分析。Python22让人不禁吐槽.X环境对中文编码的支持真的不够好，在处理数据时消耗了大量的时间和精力，犯了很多错误，走了很多弯路。以后这一块的内容要找时间专攻，也可以考虑换到python3平台。