转数据挖掘需要掌握哪些基本技能？

无论是数据分析师还是数据挖掘工程师，我们的目标都是了解数据，从数据中找到所需的信息。做数据分析所需的技能，统计知识肯定是必要的，Excel、SPSS、R等是需要掌握的基本技能。我做数据挖掘，所以我专注于数据挖掘的技能。我主修数学，接触数学更多。数据挖掘需要一定的数学知识，如线性代数、高等代数、凸优化、概率论等。例如，简单的贝叶斯算法需要概率知识，SKM算法需要高代数或区间论知识。当然，您可以直接设置模型，R、Python有现成的算法包，可以直接应用。但是如果你想深入学习这些算法，最好是学习一些数学知识，也会让你以后的道路更加顺畅。我们经常使用的语言包括python、Java、C或者C ，我更多地使用Python或Java。有时用Mapreduce写程序，然后用Hadop或Hyp处理数据，如果使用Python，它将与Spark相结合。工作内容的数据分析更倾向于统计分析，绘制图片，做更多的报告，做一些显示。知乎上有一个回答者叫团支书，他更喜欢数据分析。数据挖掘更倾向于建模。例如，我们做百货公司的数据分析。万达电子商务的数据非常大，项目组需要决定具体要做什么。我们从这一点入手，思考百货数据能给我们什么样的业务推广。我们从中挑出一部分用户分组。消费者在商场购物时会有刷卡的数据记录，万达会员卡的卡号信息和购物记录也会出现在数据中，数据量很大。我们使用这些数据进行分类，并将其分为几个用户组，例如偏爱亲子、时尚女装和奢侈品、汽车配件等。分组后向他们推荐相对容易。我们将使用一些聚类模型作为用户分组，如K-means、K-means 等等，处理数据的维度特别大，是300w*142维。如果全部用于聚类，效果不是很好，因为有些毫无意义，所以我们会降低维度。主要成分分析通常用于降维，我们使用深度学习的算法——AutoEncoder。它有一个输入层、一个隐含层和一个输出层。当数据从输入层进入时，它将被编码，当它从输出层出来时，它将被解码。例如，我们灌输142维数据，将隐含层降低到50维数据，输出或142维数据。也就是说，将最初的142维数据投射到50维数据中，然后恢复到142维，这与之前的142维数据相同，所以我们可以使用中间的50维数据进行聚类分析。最后，我们得到了一个评估指标。您可以理解，该指标值越小越好。越小，每个值越接近中心。如果不需要深度学习算法，评价指标在20万左右，降维后得到600多个指标，效果非常显著。我也想告诉你，如果你没有数学知识，你只需要设置一个模型，但总是停留在入门阶段。如果你想成为一名数据挖掘工程师，我建议至少有一种编程语言，数学至少需要线性代数、概率论和突出优化知识，了解一些机器学习算法的推导和深度学习算法。这个学习起来并不特别困难，我从毕业到现在已经有一年的时间了，有些基本算法几乎已经知道了。每个人都有自己的发展偏好。有人会说数学太难了，我不想挖掘，只想做一些数据分析，做一些很酷的分析图，这当然是可以的。如果你想在你的职业生涯中取得长足的进步，不要贪多贪杂，深入某个领域。在那个领域，你可以结合自己的兴趣成为专家。提高自己的技术和业务能力。技术能力相对容易提高，学习R或Python等简单语言非常快，Java或Ca 会比较慢。当技术能力提高到一定程度时，很难与他人有技术差异。也许工作一年的时候，你只会R，两三年后你就会知道相关的工具和技术。这个时候，你和其他同事的区别在于你的专业能力。很多做技术的人一开始会觉得技术很厉害，但是光有技术并不能让你成为公司的核心成员，所以你必须提高自己的业务能力。如果你的技术结果与业务无关，对公司没有好处，除非你是研究人员，否则领导者不会想要这个结果。学校招聘渠道更注重学位，但随着工作经验的增加，你的技术已经达到了一定的水平，你是两三本书实际上和985毕业的人没有太大的不同。当然，对于应届毕业生来说，学历高的学校更有优势，这是大厂的敲门砖。还有人会问是否需要考研。研究生入学考试应该与你未来的工作道路相结合。如果你想进行数据挖掘，你可以选择参加数学专业的研究生考试，这可以提高你的竞争力。根据我的经验，我的本科生是湖北一所非常普通的学校，研究生申请武汉大学的计算数学专业。但由于两分之差，基础数学被调整。当时家里人劝我服从调剂，至少研究生是武大出来的。然而，我对基础数学不感兴趣，这个专业也不能给我想从事的数据挖掘加分。最好在工作中积累一些实践经验，所以我放弃了研究生学习。如果工作几年后需要提高能力，可以再考研，现在不用考了。现在这个行业越来越受欢迎，很多人都想转行做数据分析。转行学习数据分析师是可以的，但是最好先看看招聘单位的工作内容，如果招聘要求了解PPT、不要考虑Excel之类的，因为这通常招聘统计师，而不是分析师，这对你的职业道路没有太大帮助。如果要求Python，、R或者建模，你可以试试。也许别人不一定想要你，但如果你表现出足够的诚意和自学能力，你仍然有机会被录用。当我在大学学习数学时，我只学习了MATLAB。我学了不到一年。当时，我在学校参加了MATLAB建模比赛，并获得了一等奖。我觉得我很棒。但是在找工作的时候发现很多公司不需要MATLAB或者SAS，因为比较贵，很多都会使用开源R。在采访中，我说我不知道R是什么，领导说，给你两周，学习。后来，我在工作中读了一点书，然后开始了。跳到第四个问题，选择数据分析或数据挖掘很多人认为数据挖掘非常强大，但跳到数据挖掘是不可能的。数据挖掘需要较深的代码技能。起初，我不会写代码。毕业后，我去了一家公司。Title是一名中级数据分析师，但我做的是数据挖掘。在刚入职的一个月内，老板让我用Python得出结果。我以前没有学过Python，我边学边做，所以我也学会了Python。后来，我在这家公司做了一个垃圾文本分类项目。我以前从未接触过这方面。我一边查资料一边自己做。刚开始用公式套，准确率只有80%左右。我开始看公式的推导。了解公式原理后，我知道有些地方可以选择最好的，我可以改进算法。不仅要设置公式，还要了解公式推导，了解源代码，慢慢提高自己的代码能力。当然，如何选择大公司是最好的。大公司一般采取学校招聘，如果你通过学校招聘大公司，但非核心职位，如百度搜索挖掘，当然是最好的，如果不能进入这样的职位，最好去一些新开发的公司，如美团，滴滴，这样的公司有一定数据，会有一些强大的人。第三类公司是初创公司。如果刚毕业，最好不要选择创业公司，风险比较大。从表面上看，很难判断这家公司是否能生存，是否有牛人值得跟随。一些二线公司的业务骨干大多来自BAT，经验丰富。向他们学习可以让他们快速成长。如何面试一定要诚实。不要伪造工作经验和年限，没必要，对自己不好。毕业生在求职时可以表现得真诚一点，不能说一开始就能做很多工作，但能表现出自己的学习能力。我不是一开始就做数据挖掘的，而是在工作中慢慢转。假如你真的想做这个生意，就要有决心，不要着急。讲个小故事。当时想转数据挖掘的时候，不知道是选Java还是Cava。 。当时我投入了很多数据挖掘岗位。我知道通过面试的可能性不大，但我和面试官聊天，询问我的经验。我说我毕业于数学专业。如果我想成为一名数据挖掘工程师，我需要掌握哪些能力。面试官画了一张图，一个圆代表数学，一个圆代表计算机。我们需要的是两个圆的交叉部分。如果编程语言快，可以先学Java。;然后我问他需要看什么信息，等等。我们谈了将近一个小时。其实很多老人都很乐意和新人分享。多看看前人的经历，帮助自己成长，一定会在这个行业有所收获。