为什么面试数据能进行对比分析？

为什么能对面试数据进行比较分析？当面试官和面试官通过我们的平台进行沟通时，他们面临着一个合作的编码环境，可以通过语音和文本聊天，并通过白板直接讨论技术问题。面试官通常来自不同的大公司，比如谷歌、Facebook或Yelp，还有专注于工程的新兴公司，比如Asana、Mattermark、KeepSafe等。每次面试结束后，面试官都会对面试官进行综合评分，包括他们的技术能力。技术能力的评分范围是1~4分，1分代表“一般资格”，4分代表“很棒！”。在我们的平台上，3分以上通常意味着面试官有很好的能力，可以进行下一轮面试。这时，你可能会说，这听起来不错，但也没什么特别的吧？许多公司在他们的渠道中收集这些数据。我们的数据不同之处在于，同一个面试官每次都可以进行不同的面试，并与不同的面试官或公司进行面试，这可以在一定程度上进行可控和有趣的比较分析。为什么你的面试表现波动不稳？我们的数据显示，令人惊讶的是，同一个人在面试中的表现波动很大。请先看一张图直观感受一下。在下图中，每个ICON代表一个参加了两次或两次以上面试的面试官的平均技术分数。Y轴表示标准差，值越大，面试官的表现越不稳定。鼠标悬停在图中的每一个ICON中，你可以深入研究面试官的每一个表现。(数据来自2016年1月的299次面试，分数小于2的面试记录被删除。）正如你所看到的，面试表现的标准差和平均值约为25%。面试官的表现非常稳定，但其余的都充满了整个图片（即非常不稳定）。我们很好奇波动性是否随人的平均分数而变化。换句话说，弱势参与者的波动是否比强势参与者更剧烈？答案是否定的——当运行标准差和平均值回归时，我们无法想出任何有意义的关系(R2~=0.03)，这意味着无论它们有多强大，人们都充满了整个图片(即非常不稳定)。很多人至少得4分一次，至少得2分一次。看看高分区域(3.3分或更高)的范围，变化在合理范围内。看看“平均”表现者(2.6~3.3分)，数据看起来很混乱。如果是我，我需要根据这些数据做出决定，雇佣哪个面试官就是窥视豹子。就像欣赏墙上的油画，或者选择酒窖里的好酒，甚至可能只是看到沙发的背面，太主观和随意了。正因为如此，你可能会说，无论出于什么原因，比较技术分数都是错误和幼稚的。至少有一种情况，一个面试官可能会得到4分，另一个面试官可能会得到2分。我们在本文的附录中讨论了这个问题。这个问题确实需要讨论。然而，我们的大多数面试官都来自非常强大的工程品牌公司。为了确保品牌实力，他们不会改变面试官的不稳定性，也不会修改面试官的评分。然后，在现实生活中，当你想决定是否招聘某人时，你可能需要尽量避免两件事——错误的肯定（错误地引入低水平的人）和错误的否定（拒绝你应该招聘的人才）。大多数顶级公司的面试例子都指出，错误肯定比错误否定更糟糕。这有道理吗？因为有足够的渠道和人才资源，即使有很高的错误否定率，你仍然会得到你想要的人才。然而，如果错误的肯定率很高，你就会招聘更低层次的人才。在某种程度上，你也会对你的产品、文化和未来的招聘标准造成不可逆转的损害。当然，公司为整个行业设定的招聘标准和方式似乎有很多渠道和稳定的人才资源流。然而，优化高错误否定率的缺点将给现有的工程招聘标准带来危机。典型的招聘案例给出了足够的信息吗？换句话说，基于对人才的巨大需求，我们是否错过了合格的人才，仅仅因为我们窥视豹子？那么，考虑到面试官表现的不稳定性，一个优秀的面试官在面试中可能失败的原因是什么呢？3面试失败的原因来自于你的表现。接下来，你可以看到面试官的整体平均表现分布图：面试官的平均技术表现分布图计算出一个给定平均分数的面试官面试失败的可能性。我们必须做一些统计工作。首先，基于面试官的平均分数(近似0.25)，我们将面试官分成几组。然后，对于每组，我们计算出他们失败的可能性，即得到2分或更少的分数。最后，我们重新采样了数据，以减少围绕起始数据集的工作量。在重新采样的过程中，我们将面试结果视为多个分布，或者换句话说，假设每个面试官都是一个加权的四面骰子，对应于组。然后，我们再扔几次骰子，为每组创建一个新的“模拟”数据集，然后用这些数据集计算出新的失败概率。接下来，您将看到重复这个过程1万次的结果。以平均分模拟的面试结果如图所示，上述分布相互重叠。这很重要，因为这些重叠告诉我们，这些分布组可能没有明显的区别(比如2.75和3)。当然，随着数据量的增加，每组之间的轮廓可能会更加清晰。另一方面，如果需要大量的数据来检测失败率的差异，这可能表明人类的行为本质上是高度可变的。完成这些工作后，我们可以非常肯定地说，低端光谱（2.25）和高端光谱（3.75）之间存在显著差异，但中间人的状态仍然混乱。然而，使用这些分布图只能计算出面试官失败的概率（见下面阴影区95%的信心范围）。而且整体素质较强的人(如平均值~=3)，可能会搞砸技术面试，高达22%。这一事实表明，面试过程必须有改进的空间，但也使频谱中间的模糊区域更大（也就是说，更多的人看不到状态）。平均分对应的面试失败概率4。面试结果真的是一锤定音吗？通常，当你想到面试时，你会想到可重复的结果，你可以得到足够的资格信息。然而，虽然我们收集的数据可能很弱，但它给出了完全不同的结果。此外，这一结果与我以前作为招聘人员的经验一致，这些观点也存在于技术社区。ZacholmanStartupInterviewingisFucked(注:《初创公司面试工程师不切实际的方法》一文认为，面试过程与急需人才的工作脱节。TripleByte(译注:也是美国的技术招聘平台)通过观察自己的数据，也得出了类似的结论。最近，rejected.us(注:一个分享用户面试失败经历的平台)也对面试结果的不稳定性有了更深刻的表达。我绝对相信很多被A公司拒绝的人会在另一次面试中表现得更好，最终以人格魅力结束面试，6个月后被A公司录取。尽管每个人都付出了最大的努力，但招聘过程却陷入了一个奇怪的圈子，混乱、随机和糟糕。是的，技术面试本身就是失败的，它不能为面试案例提供可靠的确定性信息，这当然是可能的。算法面试是一个热门话题，我们非常感兴趣。特别令我们兴奋的是，跟踪面试表现作为面试的函数类型，我们在平台上获得了越来越多不同的面试类型/方法。的确，我们的长期目标之一就是真正挖掘数据，看看不同的面试风格，写出重要的数据驱动句，哪种技术面试会给出最有力的信息。然而，与此同时，我认为使用整体表现更有意义，而这样一个重要的决定只是基于任何面试。一方面，整体表现有助于纠正异常糟糕的表现，另一方面，他们可能会不小心淘汰那些最终在面试中表现良好的人，或者随着时间的推移，淘汰那些只记得Crackingthecodingterview（中文版：程序员面试金典）的人。我知道，整体表现并不总是有效的，就像这样不严格地收集整体表现数据一样。但至少，在这种情况下，只要面试官的表现几乎不合格，或者他们的表现与你预期的非常不同，然后再做一次面试，可能会发现一些不同的特征，然后做出最终的决定。为什么面试的原始分数有说服力？你会充满问题，用原来的分数来评估面试官，肯定会有一些明显的问题。现在我们来讨论一下。问题是，即使面试官可能是高级工程师，并且有丰富的经验，原始分数仍然只是由反馈组成的，他们也不会纠正面试官的严格标准（例如，一个面试官给4分，另一个面试官给2分），也不会适应面试技能的变化。在内部，使用一个更复杂和全面的评级系统来确定面试技能。如果可以表明原始分数与计算的评级密切相关，那么我们就不会觉得相对使用原始分数不好。我们的评级系统的工作原理如下：基于每个反馈项的加权平均值，为每次面试创造一个分数。对于每一位面试官，我们用这个分数来比较每一位面试官。基于比较结果，使用贝叶斯排名系统（Glicko-2修改版本)，对每个面试官进行评级。因此，每个人只能与同一面试官面试的其他人进行比较，只能根据分数进行排名。这意味着一个面试官的分数从来没有直接和另一个面试官的分数进行比较，所以我们避免了面试官严格标准的不一致。话说回来，我为什么要提这个？你们都是聪明人，你们可以分辨谁已经完成了面试题，谁还在假装做数学题。在做所有这些分析之前，我们想确保我们相信自己的数据。我们做了很多工作来建立一个可信的评级系统，它与原始编码分数有关，看看它们在决定实际技能方面有多强大。这些结果对原始技术分数的可靠性非常有说服力。虽然不能完全依靠原始分数，但足以相信原始分数是有用的，可以近似地确定面试官的能力。