数据产品打造中最重要的失误和经验

“当你在深夜遇到系统挂断和数据损坏时，有什么方法可以避免疼痛和头痛？在最近的CTO峰会上，DJ·Patil提到了这一点。他是前RelateiQ产品副总裁，也是现任美国首席数据科学家，Patil总结了所有变化的经验教训和错误。目前，Salesforce工程副总裁与RuslanBelkin分享了创建数据产品中最重要、最突出的错误和经验。常见的错误是，所谓的“数据产品”只是指像Twitter或Linkedin这样的社交图谱。事实上，越来越多的产品包括硬件、可穿戴性和任何其他收集和对用户有意义的数据。Belkin和Patil提供的建议也适用于初创公司的生态系统。“当你想到更广泛的数据产品时，你开始意识到即使公司的报告是数据产品，你的视野也会被打开。你可以开始创建过程来理解、制造和规模，“那么为什么这么少的公司谈论或强调建立有用的数据产品呢？”回答这个问题，Patil引用了杜克大学著名经济学教授丹·艾瑞里的话:诚然，建立大规模数据产品真的很难。这个Belkin和Patil提供了一些有见地的策略，让每个人都能更容易、更大胆地创造新产品。这将改变我们看到的连接世界的方式。数据产品需要不同的构建，用原型做数据产品和其他一样容易开始。但在规模上，会遇到一堆独特的挑战。你必须计划每个地方。他们从来没有一次性或独立的产品。因此，你不能像以前那样只建造、测试、回滚和上线。一开始你必须有一个非常基本的想法：数据超级混乱，数据清理将永远承担80％的工作。换句话说，数据是个问题。“如果你在创业初期就像Linkedin一样，他们对IBM有4000种说法–IBM，IBM研究中心、软件工程师、所有缩写等。“我保证，如果你不考虑如何从一开始就清理数据，你就完了。由于未来需要几个月的时间来做，所以试图及时清理。“面对这种困难，你应该首先建立简单的产品–超简单的东西，计数练习，就像协同过滤器一样，只有零和一。大规模执行这些事情会更加困难。“如果你试图建立一个像机器学习一样雄心勃勃的东西，它就会在你面前失败。形成管道（pipe)在此基础上，一步一步地确保其他事情是正确的。“以强大的方式召回数据的最好例子也来自Linkedin。最近谁浏览你的个人资料？这是一种将流量导回到你的网站的信息。“这里常见的错误是，让数据导回是好的，你只是想”让我们给更多！然而，将数据添加到页面实际上与点击量成反比，你必须找到用户的正确平衡点。“当你添加更多数据时，你会瘫痪用户。他们不知道该怎么办。决定什么数据暴露给人们不仅仅是多少–这是关于它说了什么。Patil想到向人们推荐工作，比如“嘿，你应该申请这份工作，因为它符合你的技能！"很快就意识到这种做法是危险的。“我们可能会不小心推荐一个高级职位的人申请实习，或者加州居民应该搬到爱达荷州工作。当这样的事情发生时，人们会非常生气。它可以很快把你的品牌搞砸。你必须考虑当用户看到它时，具体的功能实际上是这样的。这就是你要聪明–当它涉及到数据产品时，它比傻瓜聪明得多。在这种情况下，聪明的解决方案是从另一个角度推荐工作。如果“Bill“这是他们想要推荐的用户。他们不会直接向Bill发送推荐工作机会，而是通过他的社会关系发送短信：推荐Bill。它使用了完全相同的算法，有点扭曲，但它处理了强硬相关性的问题。“如果Bill听到他的一个朋友认为他应该接受一份工作，他仍然可以说“这是垃圾”，但这是罕见的，网站永远不会被指责。此外，我们将收集所有允许使用的数据，找出该功能发生了什么，并使其更好。“我们没有时间做正确的事情，但我们有时间重做。这是Belkin最喜欢的名言。我们强调，当你有更多的知识来迭代时，先做事情，然后再尝试。就像Linkedin有人才匹配的产品一样。当时的想法是，一家公司发布了一个职位空缺，最适合工作描述的人被推荐。在他们试图规模化和各种复杂性出现之前，它已经开始变得很棒了。“最后，我们必须检查所有的系统，直到我们能够理解正确的功能组合和合理的评估框架。直到我们把一切都做对了，我们才知道如何大规模建立它。”大量的数据产品需要时间来成熟，并产生你需要的信息来让它们变得更好。“这可能很难，即使像苹果这样的公司有时不得不为客户处理有争议的劣质产品数据而道歉并推荐竞争对手的应用程序”，这也会影响公司的规模和技术水平。在Linkedin中，“你可能认识的人”的功能始于工程师电脑中的python脚本。该功能在2008年推出两年后，才开始在平台上促进流量的有效增长。Twitter的搜索也发生了同样的事情。这是Twitter用户首次推出的实用工具。但直到2013年中期，我们才发现这是流量增长的主要驱动力。不要按固定时间表推出复杂的数据产品。许多人从哪里开始选择通过建模。其中一些是从功能发现或工程开始的。其他人则通过建设基础设施来开始大规模服务。但Belkin认为，数据产品只有一个正确的答案和出发点：了解如何评估性能和构建评估工具。“到目前为止，每家公司最终都没有例外，数据质量差，尤其是监控数据，”他说，“要么是不完整的数据，缺乏监控数据，要么是重复监控数据”。为了解决这个问题，我们必须投入大量的时间和精力来监测数据的质量。您需要监控网站的响应时间。您需要优先考虑数据质量的bug。不要害怕因为发现数据质量问题而失败的部署。但有一件事你做不到:“如果你有数据质量问题，不要提交给苹果应用商店。”“你必须确保你有一个完全正确的工具，你所有正在跟踪的事件，并通过模式注册集成到开发过程中。“为了加强这些经验教训，Belkin快速报告开始了他的工作会议。他每天看20多次，发现它要积极、快速地讨论表面问题和潜在问题。在灾难发生之前，得到更快的解决。在您向用户推出数据产品之前，您应该通过此清单检查产品上线前的清单：一–早年Belkin曾经在网络上跑过产品，记住CEOJimBarksdale–“你看，如果你每天错误地运送包裹1％，大客户群在100天内就会不开心”，你需要考虑用户看到坏结果的可能性吗？把它放在高科技消费品上：“如果黄色信息显示在他们的新闻源上，每三个月能接受吗？半年？九个月？你必须弄清楚什么是可接受的水平。“如何处理尴尬的内容和建议？这是一个需要你注意的问题。不管他们做什么，总会有弄砸的时刻。你能做什么？是这个版本的回滚？你会改变在线数据库来尝试正确的东西吗？虚张声势地修改索引？在系统运行过程中提高一个等级？所有这些通常都是坏主意。你应该提前预料到这种可能性，并立即制定解决方案。“二–它必须为用户服务，你必须在他面前展示用户参考的东西。他们需要理解他们看到的是具体的信息–或者是因为他们*某些用户，或者采取某些行为，甚至是因为他们没有采取行动。重要的是，你不能展示以前与用户无关的品牌和产品。没有人愿意看到随机出现的东西。乱入会失去用户。比如谁*一个Twitter的个人资料，在你已经知道的情况下，会更容易*他们。这就是下一个。三–让用户感到安全“这就是我所说的泰迪熊原则，问问自己，用户会认为你的产品很糟糕或有害吗？这不是必须的，但这些糟糕的用户体验会对你的平台造成长期的损害。首先，你必须确保你不会泄露你的个人身份信息。这不好玩，总有一定的风险，这可能是由于产品设计或实现缺陷造成的。你可能会被黑客攻击，有些数据没有加密，这是非常严重的。不仅要防止这种情况发生，还要传达良好的设计，防止这种事情发生良好的用户体验。用户将使用最小的线索来确定他们是否应该信任一个产品。四–用户可以自己控制。这是您当前的用户设置–特别是当它们涉及到隐私时–很重要。你需要考虑最好的方法，让他们清楚地选择，这样用户就有权决定与谁以及何时分享。这通常决定了用户是否可以回来访问。五–许多在美国以外的用户没有意识到大多数用户生活在美国以外。“根据经验，多达35种语言与贵公司有关。通常，数据在不同语言中的选择更有限。很多用户都是多语种。如果你没有额外的努力和计划，你可能无法提供相同质量的服务。”即使你在一家小型初创公司缺乏资源来思考国际化，你也需要为解决这些问题奠定基础。你无法想象一个巨大的英语产品，然后突然决定推广到35 语言。假如你有全球的抱负，你必须考虑在成熟之前开始分层。怎样组织你的团队经常被问到这个问题：当你想要建立和迭代多个产品时，如何组织你的产品和工程团队？团队的合理结构是什么？“这带来了一个很老的争论:你应该垂直或水平扩张吗？哪一个是正确的？“没有一个通用的标准答案，但对于你在公司阶段的正确答案，矩阵的形式如下图所示。”在某些指标中，评估需要做什么？–执行、创新、代码质量、用户体验的重要性？跨团队工作需要什么来平衡构建和扩展的速度？一般来说，当涉及到执行或创新时，垂直整合的团队以速度取胜。由于团队与业务目标保持一致，人们与外界的关系更加和谐。水平团队通常有更高质量的产出。它们效率更高，内部动态控制更好。真正的核心是保持实验和迭代，不仅仅是产品，还有你如何创造它们。所有的问题都不会一下子解决，新的数据可以引导你以后的过程。不要指望指望在哪里玩–特别是不要指望你的用户和公司在同样轻松的水平上一起成长。“有一个建筑数据产品的比喻，就像爬山一样。很多人在你面前，很多人在你身后。还有一些路要走，但是如果你保持眼睛看着顶峰，采取小步，你一定会到达那里！“