数据分析涉及到哪些技术，有什么价值？

摘要：数据分析是一个大话题。借这个小笔记整理你的想法：什么是数据分析？涉及哪些技术？数据公司的玩家有哪些？如何定位数据分析的价值？前言数据的一面是银弹(SilverBullet)：无所不能，增加黑客(GrowthHacking)，决策分析(DecisionMaking)；数据的另一面是镜子(Reflection)：你可以清楚地看到许多细致而遥远的田野。数据分析的目标是如何找到使用数据的价值。数据分析的重要性可分为两点：一是帮助核心业务(Business)发现和验证业务增长点，二是有效促进业务发展（Marketing），提高推广效率(ROI)。我把营销(Marketing)作为一个独立的数据分析角度，数字营销非常依赖于数据分析，并且有一些通用的分析模型，它也是一个非常大的行业，它是每个软件巨头必须竞争的地方。在过去的十年里，数据的收集和处理能力有了很大的提高。越来越多的传感器和数据收集正在从TB级别向PB级别转变。互联网公司之间的模式竞争也转向了挖掘数据价值的能力，通常是速度和效率的竞争。不要迷信数据，更不要忽视数据。很多时候，数据是你业务的指南针和护城河。数据量的快速增长、数据分析人才的短缺、数据分析工具的依赖、对数据分析服务的强烈需求都反映了公司从广泛到精细的转型。1.数据分析是什么？（DataAnalysis）？要理解数据分析，首先要理解数据的概念。1989年管理学家罗素·艾可夫的《FromDatatoWisdom”，HumanSystemsManagement》提出了DIKW系统，这是一个关于数据、信息、知识和智慧的模型，完美地解释了四者之间的关系。Data(数据)->Information(信息）->Knowledge（知识)->Wisdom(智慧)。2.数据分析的技术是收集、处理、清晰、过滤数据，以发现有用的信息、知识和洞察力，以支持决策制定。有几个概念有些混淆，花点时间解释一下:a.数据挖掘(DataMining)：数据挖掘是一门以预测为目标的数据建模和知识探索的子学科。多年前，它一直是一个受欢迎的研究生专业，直到信息检索专业出现。b.商务智能(BusinessIntelligence):BI是使用数据的聚合物(Aggregation)和分片(Slice)业务监控和洞察探索的能力。数据分析也是一种艺术(Art)，所谓艺术，就是技术、想象、经验和意志的结合。数据分析也是经验和想象力的融合：它涉及数学算法、统计分析、工具和软件工程的结合，最终目的是解决业务问题，帮助人们从数据中获得智慧。以下是一些常用的分析技术范式：1。统计模型：统计模型处理数据的方法2。探索(exploratory):不设定假设目标，自由探索和探索3。稳定性(StabilityofResults)：对分析结果的稳定性进行评估，并进行交叉验证。4.假定验证(HypothesisTesting):提前设定结论。通过测试验证结论，以下是涉及算法、工程、统计等的相关技术。每一种细分技术都是一个大学问题。好的数据科学家可以游泳穿过它，在数据中找到有价值的洞察力。3.从事数据从业人员专业名称的工人，历史上见过很多名称，包括“数据分析师”、“数据经理”、“运营分析师”、“软件工程师”、“算法工程师”、“战略分析师”、“数据科学家”等。LinkedIn发明的“数据科学家”是最酷的名字之一(DataScientist)这个名字也被Forbes评为本世纪最“性感”的工作。我估计这是世界上最大的科学家群体。当我还是个孩子的时候，我总是认为科学家必须是白发。现在很多学生刚毕业就是“数据科学家”，这是非常令人羡慕的。数据分析实际上是数据、工程和业务三个方面的整合。数据是智能原矿石，工程是采矿机，业务是指北针，只有三个方面的整合，才能最有效地发现数据的价值。我相信一个好的数据分析师必须有工程背景，对数据敏感，并愿意主动解决业务问题。4.数据分析公司的生态系统数据分析公司很多，大大小小，总数很多。有小而美的硅谷创业公司，有老大公司的老树新花。许多初创公司的市值一路飙升到无法接管的状态。比如Palantir的估值已经达到了200亿美元，但最近可持续收入却在下降，造成了很多麻烦。我把数据分析公司分为三类:第一类是基础服务提供商，主要提供一些软件工具、Hadoop和Spark生态公司，帮助构建数据基础设施，包括一些数据可视化公司。第二类是提供通用分析服务的公司，包括Palantir和IBMWatsonAnalytics，SAS,这些公司提供数据分析服务或工具，利用专家背景、系统规模和数据资源，帮助解决客户的问题，特别是许多老公司通过收购传统的数据分析公司，快速重新包装成新的高产品。第三类是专注于生物信息、营销分析等行业的数据分析公司。5.三种常见的业务分析模型：GrowthHacker，AARRR，看完欣欣向荣的数据分析行业，LTV是不是觉得有点热血沸腾？但我们还是要回归现实，落地数据分析任务。大多数互联网公司希望通过数据分析来提高竞争力，因为他们面临着业务增长的压力。其中，有三种常见的业务运营增长模式。1.黑客文化GrowthHacker2.经典AARR漏斗模型3.游戏中的LTV模型1)增加黑客（GrowthHacker）GrowthHacking的数据和分析是指用户增长的一种方式，通常是数据驱动的方式，通过一些手段和策略帮助公司形成快速增长。对于初创公司，尤其是初创公司来说，GrowthHacking也可以在没有广告预算、营销活动和营销专家的情况下取得良好的效果。2)AARR模型AARRRAcquisition、Activation、Retention、Revenue、Refer，这五个单词的缩写对应于这个移动应用生命周期中的五个重要环节。每一个环节都有一些关键指标，可以进行数据分析，找到改进的机会。3)生命周期价值（LTV）模型：LTV是LifeTimeValue，它是游戏行业衡量用户价值的一种方式和模型。LTV是指客户在一定时间内可能给企业带来的利润。客户的终身价值是指每个客户在获得新客户后一段时间内的平均净利润。LTV会积累一段时间的数据，因为游戏有很强的时间相关性。6. 从公司类型来看，数据分析公司可以简单地分为两类：1传统的大型IT公司2互联网创新公司。许多传统的大公司涌入数据分析行业。他们中的大多数人希望利用客户、硬件和软件的优势，通过数据分析转变为SaaS服务提供商，如IBM、Oracle等。另一家是互联网创新公司。大量数据科学家形成了大大小小的数据分析初创公司，其中许多专注于一个细分行业，包括Qualtrics，Mulesoft，在美国加州，Medallia等，超过80%的数据分析公司。这里介绍了市场上的几种分析工具。对于广阔的数据分析市场来说，这只是一瞥，但它们确实代表了几种类型的数据分析公司：老软硬件公司、互联网公司和移动生态公司。1.GogleAnalyticssuite3602.IBMWatsonanalytics3.Appleappanalytics4.MixPanel1)GogleAnalyticssuite3602016年3月15日，谷歌发布了全新的数据服务GoogleAnalytics360套件，为广告商和互联网公司提供更好的数据服务。与之前的谷歌Analytics相比，整个产品线非常丰富，包括覆盖埋点、分析、可视化、定向化、转化、归因等六大产品，全方位贴近广告商的需求。与之前的谷歌相比，整个产品线非常丰富，包括6种产品，包括埋藏点、分析、可视化、定向、转换、归因等，全面接近广告商的需求。数据是广告商核心利益的护城河和运营效率指南针，数据必须可靠、全面。升级谷歌的数据服务套件，可以帮助广告商更有效地投放。特别是GoogleAudience360(DMP)谷歌似乎越来越重视“以人为本”的营销。Facebook为广告商提供了优秀的数据服务(社交数据、根据效果优化计费等)。)，谷歌也感受到了压力，数据服务的改进也是顺势而为。2)IBMWatsonAnalyticsIBM收购多家BI技术公司后，结合著名Watson，于2014年推出IBMWatsonAnalytics。有IBM朋友介绍，这是IBM最接地气的软件之一，可以自己注册，并且可以免费尝试大部分功能。它提供全方位的自助服务分析功能，包括数据细化和存储服务，使他们能够更快地获取和准备数据，从而进行分析和可视化处理。Watsonanalytics还实现了数据准备、预测分析、可视化分析等多个步骤的自动化，确保营销、销售、运营、财务、人力资源等众多数据密集型业务从业者能够快速、智能地获取洞察力。Watsonanalytics是一个基于Watson认知技术的创新云分析平台，具有自然语言认知查询、预测分析和视觉分析能力，可以让商业人士跨越IT专业知识的障碍，获得与数据分析师相同的预测和指导分析能力。3)2015年AppleAppanalytics苹果开发大会(2015年，WWDC)AppleAppAnalytics正式推出，提供以下功能：·查看用户访问AppStore应用页面的频率·应用数据：启动应用程序的数量，Crash，用户停留时间·用户ID系统：使用AppleID，而不是设备ID·营销分析：创建定制和可跟踪的营销链接，找到最多的介绍来源。许多操作指标不同于现有的统计分析数据，导致各种数据与其他统计服务提供商相比(Flurry,AppAnnie，GA等)，AppleAppAnalytics不需要开发者编写任何代码，也不需要在应用程序中集成特定的SDK。当然，这对支持的统计有一些限制。事实上，到目前为止，Appanalytics只能提供一些基本数据，如应用程序启动数据、日常生活、保留和使用时间。当然，这对支持的统计有一些限制。事实上，到目前为止，Appanalytics只能提供一些基本数据，如应用程序启动数据、日常生活、保留和使用时间。其最大的优势之一是整合应用程序Store的各种数据，创建访问应用程序Store的可跟踪链接。大多数时候，它只是App开发工具的参考，AppleAppanalytics的大量数据与其他统计平台的数据不一致，开发者需要花很多时间来理解不一致性。比如Apple的UV是根据AppleID统计的，大部分统计工具都使用苹果的设备ID，比如AAID。4)MixpanelMixpanel是美国领先的移动数据分析公司，主要用于移动和PC分析平台，通过点击客户端向服务器报告数据，保留、分组、漏斗，A/B测试等服务。此外，还支持可视化管理功能，帮助操作人员灵活配置。它还将管理服务/数据分析服务从免费转变为收费增值服务的领导者。其他类似的数据服务公司也包括Optimizely、KISSMetrics和Leanplum，专门从事A/B测试。总结数据分析一直是一个热门词汇。像人工智能一样，它总是吸引注意力；很多时候，数据被滥用成一把上面的剑。任何不同意的人都会用数据砸碎任何人。事实上，数据告诉你更多的眼前的苟且，而我们需要思考的更多的是诗意和距离。数据分析可以为我提供很多数字，但不可替代的人思考:如何简化问题，如何抽象复杂地分解？如何消除万难？数据分析只会使工作更有趣、更具挑战性！