管理者在公司数据应用上常犯的四个错误

有很多关于数据和数据分析的高谈阔论。不断有人警告各大公司规划适当的策略来收集和分析大数据，并警告不这样做可能带来的不良后果。《华尔街日报》近日提到，公司享有客户数据等大宝藏，但大多不知道如何使用。本文将讨论原因。一些公司试图从巨大的数据中获取实际可用的信息。通过与他们合作，我们总结了管理者在数据应用中的四个常规错误。错误1：阻碍大数据发挥价值的第一个挑战是兼容性和整合性。大数据的一个主要特点是来源多样。但是，如果数据形式不同或难以集成，其来源的多样性将使公司难以减少开支，也无法为客户创造价值。例如，在我们的合作项目中，公司拥有丰富的数据，记录客户的交易量和忠诚度，以及特殊的*浏览行为数据，但很少交叉检索这两种数据来判断某种浏览行为是交易实现的前兆。面对这一挑战，公司创建了一个“数据湖”来容纳大量的非结构性数据。然而，这些公司可以使用的数据目前是混乱的，只是一些文本，也就是说，当这些数据只是普通的二进制数字时，很难有序地存储它们。更难将不同来源的来源整合起来。错误2：没有意识到非结构化数据的局限性阻碍了大数据价值的第二大挑战是其非结构化特征。文本数据的挖掘取得了特殊进展，其语境和技术带来的理解与结构化数据相似，但视频等其他形式的数据仍不易分析。例如，尽管有最先进的人脸识别软件，但当局仍然无法从大量视频中识别波士顿马拉松爆炸案中的两名嫌疑人，因为该软件仍在处理从不同角度拍摄的嫌疑人的照片。虽然从非结构性数据获取信息面临挑战，但各公司在利用这些数据初步提高分析现有数据的速度和准确性方面取得了显著成就。例如，在石油和天然气勘探中，人们利用大数据优化正在进行的操作，并对地震钻井进行数据分析。尽管他们使用的数据可能会增加速度、类型和体积，但这些数据最终用于相同的目的。简而言之，希望通过使用非结构性数据形成新的研究假设是站不住脚的，除非公司通过“实践”有这种专业能力，否则他们可以使用非结构性数据来优化问题的答案。错误3：认为关联分析具有重要的第三个挑战——我们认为这是影响大数据价值的最重要因素——观测数据的大量重叠使其因果关系难以澄清。大规模数据集往往包含许多相似或完全一致的信息，直接导致错误的相关分析，误导管理者的决策。最近，经济学家指出，“在大数据时代，关系往往是他们自己的”。斯隆管理评论在博客中强调，尽管许多公司可以接触到大数据，但这些数据并不“客观”，因为问题是提取值得采取行动的信息。同样，用于数据分析的典型机器学习算法的相关分析也不一定提供原因分析，因此不会提供可执行的管理意见。也就是说，让大数据盈利的技巧是，它可以从观察到相互关系转变为正确识别因果关系的因果形式，这可以作为战略措施的基础。要做到这一点，必须超越大数据。谷歌的趋势是大数据的经典例子，它使用谷歌搜索条目来整合记录。然而，它还表明，仅用于相关分析的数据毫无意义。一开始，研究人员说，数据可以用来反映流感的传播。然而，研究人员后来发现，由于数据反映了过去，这些数据的使用只能在与过去模式相关的情况下稍微改善应对行为。假设鞋业卖家向曾经浏览过其网站的消费者投放广告，举个更具体的例子。最初的数据分析认为，当消费者看到这些广告时，他们更愿意购买鞋子。但是，在看到广告之前，这些消费者已经对这个卖家表现出了兴趣，所以他们比普通人更愿意交易。这个广告有效吗？很难说。事实上，这里的大数据并没有考虑营销传播有效性的因果推论。要知道广告是否有效，卖方需要进行随机测试或测试，并选择一些消费者不接触广告。公司可以通过比较看广告和不看广告的消费者之间的购买率来确定看广告是否能让消费者更愿意消费。在这种情况下，价值主要不是通过数据创造的，而是通过设计、执行和解释重要的实验创造的。这是一个实验，而不是分析和观察到的大数据集，以帮助公司了解一个联系是仅仅相关的还是因为潜在的因果关系的反应。虽然管理者很难提高效率，即使他们只使用记录消费者行为字节的数据，但参与营销活动的客户和未参与的客户可以根据实验结果推断该活动是否有利可图。进行实地试验，得出正确的结论，采取适当的应对措施，并不容易。然而，成功的公司有能力设计和进行重要的实地试验，并采取有针对性的措施来评估其结果。正是这种“实验与学习”的环境，以及在理解和理解之上采取行动的能力，使大数据具有价值。然而，由于越来越多的数据样本收入下降，这样的测试不一定需要大数据。例如，谷歌透露，它经常使用0.1%有效数据的随机样本进行数据分析。事实上，最近发表的一篇文章显示，大数据实际上是不利的，因为“数据库越大，就越容易支持你的假设。”换句话说，由于大数据提供重叠的信息，公司可以从整个数据集或千分之一的数据集中获得相同的信息。错误4：低估劳动力技术需求进行测试并不是公司从大数据中推测有价值信息的唯一途径。另一种可行的方法是，公司可以培养算法技能，更好地处理数据。推荐系统就是这种算法的一个例子。通过对相关数据的算法，推荐系统向客户推荐最相关的产品。然而，它并不依赖于背后的大量数据，而是依赖于识别关键信息碎片来预测客户偏好的能力。的确，计算机学习的算法往往不是数据的规模，而是确定结果的质量。虽然预测能力可能会增加可用数据的规模，但在大多数情况下，随着数据集的增加，预测的增加表明规模收入会下降。然而，建立一个好的算法需要一个好的数据分析师。一些公司认为，不同的员工可以通过分析数据中的因果关系来将大量数据转化为信息，他们可能会感到失望。数据本身毫无价值。只有结合管理、构建和分析技能，明确测试和算法，才能对公司有用。当你把价格信息看作是处理价格信息的技能时，就很清楚了。在许多情况下，留住数据处理人才的成本高于数据成本。这说明数据处理能力对于一个公司来说比数据本身更重要。