什么是过拟合，如何控制它？

特别问题：解释什么是过拟合，你如何控制它不是20个问题，但它可能是帮助你区分真假数据科学家的最关键的问题！回答者:GregoryPiatetsky过拟合是指(机器)学习了由于意外而无法复制的虚假结果。我们经常看到报纸上的报道推翻了以前的研究，发现鸡蛋不再对你的健康有害，或者饱和脂肪与心脏病无关。在我们看来，这个问题是许多研究人员经常犯的基本错误——过度拟合数据，特别是在社会科学或医学领域。研究人员在没有适当统计控制的情况下测试了太多的假设，所以他们碰巧发现了一些有趣的事情和报告。不足为奇的是，由于(至少有一部分是)偶然的原因，下一个效果将不再明显或不存在。约翰决定了这些研究实践缺陷·p·a·埃尼迪斯在他的里程碑论文《为什么大部分发表的研究成果都是错误的》(《公共科学图书馆·医学》杂志，2005年)中发表。埃尼迪斯发现结果往往被夸大或无法复制。在他的论文中，他提出了统计证据。事实上，他声称的大多数研究成果都是假的。埃尼迪斯指出，为了使研究结果可靠，应该有：大样本和大量结果测试关系，设计、定义、结果和分析模式的选择更灵活，根据资本预算和其他因素（包括科学普及），这些规则经常被违反，导致许多无法再现的结果。比如发现标准普尔500指数与孟加拉国的黄油生产密切相关(从1981年到1993年)(这里是PDF)。如果你想看到更多有趣的结果(包括完全虚假)，你可以使用一些工具，比如谷歌的corelate或者tylervigen的spuriorelations。可以使用几种方法来避免数据拟合试图找到最简单的假设标准化（添加复杂性惩罚）随机测试（使变量随机化，尝试您的方法——如果发现完全相同的结果，必须出错）嵌套交叉验证（在一定程度上做特征选择，然后交叉验证整个外部操作方法)调整错误发现率使用2015年提出的突破——可重复使用的数据科学是世界理解的前沿科学，数据科学家的责任是避免过度拟合数据，教育公众和媒体错误数据分析的风险。此外，请参考数据挖掘和数据科学的大缺陷：过度拟合一个避免过度拟合的超级想法：自适应数据分析中可重复使用的维护方法克服过度拟合：保护自适应数据分析的有效性。11种过度拟合的“聪明方法”以及如何避免它们的标签：过度拟合Q12。例如，解释如何使用实验设计来回答用户行为的问题。回答者：BhavyaGeethika.第一步：制定研究问题页面加载时间对用户满意度评级有什么影响？回答者：BhavyaGeethika.步骤1。研究页面加载时间对用户满意度评级的影响是什么？步骤2。确定变量，确定原因和结果。独立变量-页面加载时间，非独立变量-用户满意度评级步骤3。假设减少页面下载时间会影响用户对网页的满意度评级。在这里，我们分析页面加载时间的因素。图12.有缺陷的实验设计（漫画）步骤4。确定实验设计，我们考虑实验的复杂性，即改变一个或多个因素，在这种情况下，我们使用阶级设计（2^k设计）。选择设计也是基于目标类型(比较、筛选、响应面)和许多其他因素。这里我们还确定了参与者/参与者之间以及两者的混合模型。例如，有两个版本的页面，一个版本的购买按钮（行动呼吁）在左边，另一个版本在右边。包括参与者设计-所有用户组看到两个版本的参与者之间的设计-一组用户看到版本A，娶她的用户组看到版本B。第五步。开发实验任务和过程：详细描述实验步骤，用于测量用户行为的工具，并制定目标和成功标准。收集用户参与度的定性数据进行统计分析。步骤6。确定操作步骤和测量标准操作：控制一个因素的级别，其他因素将用于操作。我们还需要确定行为标准：提示和行为之间的持续时间（用户点击购买产品需要多长时间）。频率-行为发生次数(用户点击次数的给定页面在一个时间)持续-特定行为持续时间(添加所有产品的时间)程度-行为发生时的强烈冲动(用户购买商品有多快)步骤7：分析结果识别用户行为数据，假设成立，或根据观察结果反驳：用户满意度评级与页面加载时间的比例。Q13“长”数据和“宽”数据有什么区别？回答者:GregoryPiatetsky在大多数数据挖掘/数据科学应用记录(行)比特性(列)更多——这些数据有时被称为“高”(或“长”)数据。在一些应用程序中，如基因组学和生物信息学，你可能只有一个小数量的记录(患者)，如100或200000供每个患者观察。标准的“高”工作数据方法会导致过度拟合数据，因此需要特殊的方法。图13.简化高数据和宽数据的不同方法，表示稀疏筛选的确切数据，byJiepingYe。问题不仅仅是重塑数据(这里是有用的R包)，还要避免假阳性，通过减少特征找到最相关的数据。统计学习中采用Hastietibshirani等方法减少特性和稀疏覆盖：套索和总结，Wainwright。(您可以免费下载PDF书籍)套索等方法来降低特性，在“统计学习稀疏”中很好地包括:“套索与总结”byHastie,Tibshirani,andWainwright（您可以免费下载PDF书籍）Q14您如何确定文章（如报纸）中公布的统计数字是错误的或支持作者的观点，而不是关于一个主题正确全面的事实信息？ZackLipton提出了一个简单的规则：如果报纸上发布了一些统计数据，那么它们就错了。Zacklipton建议一个简单的规则:如果报纸上发表了一些统计数据，那就错了。这里有一个更严重的答案，来自Anmolrajpurohit：每个媒体组织都有目标受众。这一选择极大地影响了决策，如本文的发表、如何缩写本文、本文强调哪一部分、如何描述给定事件等。第一步是检查出版机构及其目标受众，以确定发表任何文章统计数据的有效性。在福克斯新闻、《华尔街日报》中，即使是同一条新闻所涉及的统计数据，你也会注意到它的出版非常不同。、ACM/IEEE期刊不同。因此，数据科学家很聪明地知道在哪里获取信息(以及从源头上判断事件的可信度！)。图14a：福克斯新闻上误导性条形图的例子图14b：如何客观地呈现来自5WaystoavoidBeingFoledBystatistics的同样数据，作者经常试图通过精明的故事讲述和省略重要细节，隐藏自己的研究不足，跳到提出有吸引力的错误观点。因此，使用拇指法则来确定文章包含误导性的统计推断，即检查本文是否包含了与统计方法相关的选择细节。找一些关键词，比如“样本”、“误差”等等。虽然没有完美的答案是什么样的样本大小或误差是合适的，但在阅读结果时必须记住这些属性。首先，一篇可靠的文章必须没有未经证实的主张。所有的观点都必须得到过去研究的支持。否则，必须明确区分为“意见”，而不是一种观点。其次，仅仅因为一篇文章是著名的研究论文，并不意味着它是一篇使用适当研究方向的论文。这可以通过阅读这些被称为研究论文“全部”和独立判断它们的相关文章来验证。最后，虽然最终的结果可能看起来是最有趣的部分，但它通常会致命地跳过细节研究方法（以及发现错误、偏差等）。理想情况下，我希望所有这些文章都能发表他们的基本研究数据方法。这样，文章就可以实现真正的可信度，每个人都可以自由分析数据和应用研究方法，自己得到结果。Q15解释了EdwardTufte“图表垃圾”的概念。回答者:GregoryPiatetsky图标垃圾是指所有图表和图形视觉元素对图表上表示的信息没有充分理解，或者没有引起观众的注意。1983年，EdwardTufte在他的书《定量信息的视觉显示》中提出了图标垃圾的术语。图15所示。Tufte写道：“一种无意的Necker错觉，两个平面翻转到前面。一些金字塔隐藏着其他的东西；变量(愚蠢的金字塔堆叠深度)没有标签或规模。“图标垃圾的一个例子是一个更现代的例子，很难理解excel用户画的柱状图，因为“工人”和“起重机”掩盖了它们。这种装饰的问题是，它们迫使读者更难找到数据的含义，而不是必要的。Q16您将如何筛选异常值？如果发现会怎么办？回答者：BhavyaGeethika.筛选异常值的方法有z-scores,modifiedz-score,boxplots,Grubb’stest，Tietjen-Moore测试指数平滑法、Kimber测试指数分布和移动窗口滤波算法。然而，有两种更详细的方法：InterQuartilerangerangerisapointofdatathatliesover1.5IQRsbelowtherstquartile(Q1)orabovethirdquartile(Q3)inagivendataset.High=(Q3) 1.5IQRLow=(Q1)–1.5IQRTukeyMethodItusesinterquartilerangetofilterverylargeorverysmallnumbers.Itispracticallythesamemethodasaboveexceptthatitusestheconceptof“fences”.Thetwovaluesoffencesare:Lowoutliers=Q1–1.5(Q3–Q1)=Q1–1.5(IQR)Highoutliers=Q3 1.5(Q3–Q1)=Q3 1.5(IQR)当你发现异常值时，这个区域外的任何值都是异常值，你不应该在没有定性评估的情况下删除它，因为你改变了数据，使它不再纯粹。在理解和分析的背景下，或者重要的是“为什么问题-为什么异常值与其他数据点不同”，这是非常重要的。在理解和分析的背景下或“为什么问题——为什么异常值不同于其他数据点”至关重要。如果是由于异常值错误，你可能会排除它，但如果它们意味着一个新的趋势、模式或显示一个有价值的深度数据，你应该保留它。Q17如何正确估计极值理论、蒙特卡洛模拟或其他数学统计(或其他)非常罕见事件的可能性？回答者：MatthewMayo.极值理论(EVT)注重罕见的事件和极端，而不是经典的统计方法和集中的平均行为。EVT州有三种极端数据点所需的分布模型，可以随机观察一些地理分布：Gumble,f,和威布尔分布，又称极值分布(EVD)1、2和3分别。EVT的状态，如果你从给定的生成N数据集分布，然后创建一个新的数据集，它只包含N的最大值，它只能准确地描述EVD分布之一：耿贝尔，f,或者威布尔。广义极值分布(GEV),然后，结合3EVT模型和EVD模型的模型。了解模型用于建模数据，我们可以使用模型来适应数据，然后进行评估。一旦发现最佳拟合模型，可以进行分析，包括计算的可能性。什么是Q18推荐引擎？它怎么工作？回答者:GregoryPiatetsky现在熟悉Netflix-“你可能感兴趣的电影”或亚马逊-购买X产品的客户也购买Y的推荐。您可能对电影感兴趣的系统被称为推荐引擎或广泛推荐系统。通常推荐以下两种方式之一：使用基于内容的合作或过滤。构建模型过去的行为(以前购买物品、看电影、评级等)。)基于用户的协同过滤方法，并使用当前和其他用户做出的决定。然后用这个模型来预测(或评级)用户可能感兴趣的项目。基于内容的过滤方法推荐具有类似属性的额外物品。这些方法通常与混合推荐系统相结合。当这两种方法用于两个流行音乐推荐系统时，这是一种比较——Last.fm和PandoraRadio。(以系统推荐条目为例)Last.fm通过观察乐队和个人，定期跟踪用户，比较听其他用户的行为，创建了一首“站”推荐的歌曲。最后一次。fm不会跟踪用户图书馆，但通常由其他有类似兴趣的用户跟踪。该方法充分利用了用户的行为，是一种协同过滤技术。Pandora利用歌曲的属性或艺术家(400年一个子集属性提供的音乐基因工程)设置具有类似属性的“站”，播放音乐。用户的反馈用于提炼结果，排除了用户“不喜欢”特定歌曲的某些属性，以及强调用户“喜欢”歌曲的其他属性。这是一种基于内容的方法。这里有一些很好的介绍IntroductiontorecomendationenginesbyDy