常见的错误是认为所谓 “数据产品” 仅指像 Twitter 或 LinkedIn，社交图谱是一切。其实越来越多的产品都归入此类，包括硬件，可穿戴和其他任何收集和对用户有意义的数据。Belkin 和 Patil 的所提供的建议也适用于创业公司的生态系统。 “当你想到数据产品更广泛，开始意识到即使公司的报表也算数据产品的话，你的视野就打开了。你可以开始创建流程，去了解，制造和规模化，“ 那么为什么这么少的公司谈论或强调搭建有用的数据产品？

站分析是SEO日常工作的一部分，做好网站分析报告，对网站策划、推广、SEO有很大的推动作用。网站应该从哪里开始分析呢报告中应该体现出哪些数据及指标呢如何让报告更具有说服力，体现出你的水平。张玉淦博客给大家整理了网站分析报告怎么写的几个注意点，希望对从事网站策划、推广、优化的朋友们有所帮助。

对产品用户和行为数据的研究可以大致划分为宏观层、微观层和中间层三个层次： 宏观层：由一系列的数据指标构成。如产品每日的「活跃用户数」、「新增用户数」、「订单数量」、「点赞的次数和人数」、「次日或7日留存率」等，这些指标能够帮您从整体上把握产品的运营状况; 微观层：由产品中每个用户及其行为的细节数据构成。如每一个用户的年龄性别……、他在什么时间打开应用、做了什么、他的购物车里都有哪些商品等，这些数据可以让您去深入的了解和理解每一个用户以及用户的行为 中间层：中间层由一系列相互关联的分析方法、模型以及相应的数据构成。如行为分析、漏斗、留存、细分、画像洞察等等。

基本上，DOTA2的玩家往往被LOL玩家嘲讽为“信仰粉”，而DOTA2玩家对这个名词并不太抗拒甚至引以为豪。但如果你对一个LOL玩家打“小学生”三个字的话，基本上这就等于是最高侮辱。这两款都脱胎于魔兽争霸自定义地图模式，在各方面相同点远多于不同点的MOBA类游戏，在用户自我定位上居然出现了如此巨大的差异，在产品营销上是一个很有研究价值的问题。

在《12怒汉》的开场，11个人都有从众心理。他们追随职业检察官和法庭的判断：既然所有的证据都指向这个孩子是凶手，那么只要相信就行了，要不是工程师fonda坚持“合理怀疑”，坚持要讨论那些证据本身的可靠性，那个涉嫌谋杀的男孩可能会因为陪审团的草率，在监牢中度过一生。

网站流量指标主要用从网站优化，网站易用性、网站流量质量以及顾客购买行为等方面进行考虑。目前，流量指标的数据来源通常有两种，一种是通过网站日志数据库处理，另一种则是通过网站页面插入JS代码的方法处理（二种收集日志的数据更有长、短处。大企业都会有日志数据仓库，以共分析、建模之用。大多数的企业还是使用GA来进行网站监控与分析。）。

在Webtrekk323之前的Pixel版本，单条信息默认最多只能发送不超过2K的数据。当页面含有过多变量或变量长度有超出限定的情况下，在保持数据收集的需求下，通常的解决方案是采用多个sendinfo方法分条发送;而在325之后的Pixel版本，单条信息默认最多可以发送7K数据量，非常方便的解决了代码部署中单条信息过载的问题。

了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题;同时，对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。

要分析一份数据，首先得先明确自己的目的：为什么要收集并分析这样一份数据只有你的目的明确了之后，才能对接下来你要收集哪些数据、如何收集有一个整体的把握。当然你的目的可以是多个小点，(如：用户在首页浏览了哪些内容登录框在页面上的重要程度)只要这些点是一个个切实待解决的问题点，将其罗列下来，一个一个的去收集数据。

为什么说是基本成型因为用户画像永远也无法100%地描述一个人，只能做到不断地去逼近一个人，因此，用户画像既应根据变化的基础数据不断修正，又要根据已知数据来抽象出新的标签使用户画像越来越立体。 关于“标签化”，一般采用多级标签、多级分类，比如第一级标签是基本信息(姓名、性别)，第二级是消费习惯、用户行为;第一级分类有人口属性，人口属性又有基本信息、地理位置等二级分类，地理位置又分工作地址和家庭地址的三级分类。

有人说APP推广就是一个苦力活，我们要跑市场，去地推，去贴吧发贴，还要去找渠道。不错，我们当然不否认，APP推广是一个苦力活；但还不全面，APP推广更是一个数据分析活。如果说苦力活是证明CP勤奋与否的话，那么数据分析就是证明CP职业高度的能力体现。所以，今天就为大家介绍十款可用于APP数据分析的工具，希望可以帮到大家!

开数据会经常打架，A业务线给出的数据说xx指标提升了，B业务给出的刚好是另外一种结论，指标在下降；等讨论完毕数据口径，会议结束，大家都感到无力。各人不禁感叹，这个会又白开了；脑袋一拍，目标就来，各种活动方案的目标基本是上拍脑袋，直接10-20倍，各自又忙活一阵子；数据快到我碗里来，昨天要的数据需求好了吗？明天老板开会，给几个数据吧；某某DLU指标掉了，看是不是数据有问题；今天push，明天Push，pushctr嗷嗷的高，同一拨用户群嗷嗷的高，用户投诉还不断； 既然业务上有这么多的问题，数据分析师是具体的解决什么样的问题呢？

男生和女生分别是来自不同星球的科学事实已经众所周知的了.男生们总是认为,女生们都是迷一样的生物,他们的情感状态浮动似乎是以秒单位在变化的,难以理解,更勿论预测了! 而女生们觉得男生都是没有感觉动物,完全不能理解什么叫感受-尽管已经告诉他们N次了!这种男女之间的根本差别,导致了他们之间的感情关系是受一种超级无敌复杂的系统所支配的.

我以为，“竞品” 不再纯粹是 “竞争产品” 的缩写，而是扩充为 “借鉴产品”。根据工作的需要，我可以对整体细分领域下的产品做分析、对某个功能做分析，对某个交互方式做分析、对某种 UI 风格做分析、甚至细节到对某几种字体做分析。 “三人行，必有我师焉”，这个道理，套用在产品上也是一样。但凡是比我好的，我都可以借鉴，至于用不用、什么时候用、怎么用，这个就涉及到产品管理（综合性的产品周期管理、需求管理等），不多说。（关键是我现在经验少，也说不清，sigh）

为什么要做竞品分析无非就是当你有了一个初步的产品想法之后，但是却不能够明确这个想法到底靠不靠谱，它是否真的解决了用户的某些需求，这些需求算不算痛点，也不知道市面上是否已经有了与你想法相似的产品，他们是怎么做的，是否做得足够好，还有哪些待挖掘的机会等等。 此时你脑中的想法一定只是个demo版，非常的初级，是一个朦朦胧胧的状态，甚至你都说不清它到底是来源于哪里，可以是从以往生活经历中随意调取到的一个记忆点，或者是某个月黑风高的夜晚做的一个不知所以然的梦。

国内云计算公司众多，有提供IaaS+PaaS+SaaS全部服务的(比如腾讯云)，也有专做细分市场的(比如网宿、环信)。按背景可以将主流的服务商分为以下五类： 国际数据公司(IDC)在2015年初发布的《中国公有云服务追踪研究：2014上半年度》表明阿里云以22.8%的市场份额登顶IaaS服务市场，中国电信和联通紧跟其后。阿里云毫无疑问暂居霸主地位。而腾讯云以46%手游云服务份额暂居游戏行业霸主。

当今市场，并不缺少给出从电子商务到手机游戏等各种类型应用程序平均留存时间、用户流失率以及应用程序内购买水平的行业报告。尽管这类报告都是很有用的参考资料，但却无法解决燃眉之急——如何优化用户体验以便增加用户数量并获取市场份额。本系列文章共有三篇，在这一系列文章中我要帮助您更好地理解为何应用程序数据可以成为关键性竞争优势，同时推荐一些框架和工具帮助您充分利用数据。

政策稳定：根据最近的政策风声，跨境电商的税率正准备调整，保税模式的优势不再明显。虽然政策的大幅度倾斜幅度变小，但是国家却在税率上肯定了跨境电商的模式，这标志着整个行业由乱而治，对市场的监管力度逐渐加强。 供应链变化：爆款仍占海淘很大比例，新政策调整对于爆款规模化运作的企业将会造成负面影响。税率调整为追求更低成本，会导致海外商品进口渠道发生变化，对于供应链的稳定性会造成影响。 格局化加速：由于税率会发生变化，过度依赖保税模式的电商会受到较大影响，短期可能会面临价格上涨的压力，这将会导致一些微小企业倒闭，中型企业可能会进入加大发力阶段，整体行业的格局化加速。

现在大家都在谈大数据，数据分析，机器学习，但是这些都是手段，决策才是我们的目的，要想发挥数据的价值，先看看你身边的工作中有哪些决策，再决定用什么样的数据，怎样用数据来改进他们，我们先看一个小例子： 有100人来找你借钱，每人借100块，他们都愿意一年后还你115块（因为跟隔壁老王家借，也要还这么多），现在问题来了，你借还是不借，借给谁？

如何进行竞品分析这个问题，是互联网产品/运营类从业人员的基本功，怎么看待竞品决定了你在自己的工作中会不会一味埋头造轮子还是被竞品牵着鼻子走，但凡陷入这两个极端的，都是没好好做竞品分析的。下面聊一下我做竞品分析的一些思路。

国内的从02年开始BI在传统企业疯涨开花的年代；06年项目数据分析师逐渐的被得到认可，相关的岗位出现在大家的视野，08年中国商业联合回数据分析专业委员会成立简称中商联数据分析委； 随着互联网的规模、数据量的快速膨胀与多样化到海量数据到大数据的逐渐膨胀，数据分析师这个岗位越来变的更加重要；各企业直接或间接开始配置相关数据岗位，但是内很多分析师擅长的是数据处理，对业务敏感性也比较弱，而且对公司里面核心产品使用的程度也比较浅，甚至不喜欢公司的产品。

量化公司日常运营健康状态的指标簇，相当于飞机的“仪盘表”(有时候也称为“晴雨表”)，通过这些指标就能判定公司是否运行在正常的轨迹上。所有的世界500强企业都有晴雨表体系，它有两方面作用：1)决策支持;2)考核业绩。

如果说就多数人的竞品分析报告来谈，并没有什么卵用，因为分析的都是一些流于表面的东西，连一些总结性的东西都没有，所以最后也就导致了这篇竞品分析是为了报告而报告的，并没有什么实际的价值。甚至有的人的竞品分析报告所列举的产品根本不能算得上是竞品，这样的竞品分析的价值又在哪里 写竞品分析报告之前，首先应该弄清楚写这篇报告的目的是什么，然后根据目的去有所侧重的分析，针对一些东西进行着重分析，而对另外的一些东西进行弱化处理。比如说我想分析某类App的竞争格局和产品想上线一个新功能，上线之前先参照一下竞品的功能，同样是竞品分析，这两种情况下产出的竞品分析报告能一样么

数据科学可以描述为业务假设实际运行情况之间的竞争。与 Countly 合作将获取完整的移动用户行为数据集以及数据可视化所需的整套工具。定量分析需要使用完整的移动用户行为数据集，而非抽样技术分析所采集的数据，后者可能会在分析中引入不确定性的偏差。只需单击几次，就能够以可视化方式查看关于用户的各种详细信息。例如，可以使用 Countly 在多种语言环境下快速可视化应用程序用户的原始数据和百分比数据(请参见下方屏幕截图)。此方法比 Excel 更加形象生动，无需额外导出原始数据进行日常数据分析，为团队节省时间。

常规性订阅带来的收入视为默认留存，相比较常规性到访的非默认留存。就其本身而言，订阅收入中的用户流失率很低，速动比率很高。 如果你觉得消费者订阅企业(比如Spotify和Netflix)本来用户流失率就不该高，而速动比率本就该高，那么我再举一些例子。相对地，纯消费者交易型零售生意(比如Nordstrom线上平台)月流失用户会比较多，因为用户连续每月消费的动力不足。如果你认为订阅业务依赖于登录及其扩展业务(比如Slack)，不免期望很高的增加收入，因为每个用户增加的消费。

竞品分析，可能会从以下几个维度进行对比分析：战略定位、盈利模式、用户群体、产品功能、产品界面（交互方式、视觉表现）、数据和技术等，对于不同目的的竞品分析，会有所侧重，这和第一步中确定分析目标相对应。 而着重UE角度分析，可以参考《The Elements of User Experience》的相关理论（将UE分为5个层面），实际写报告时候，将相应内容填充即可。

二八法则是一种不平衡法则，即20%的对象产生80%的效果，20%是对象，80%是效果，前后不是一个范畴。这些才是真正的二八法则实例。 20%的客户贡献了80%的利润，20%的客户即为利润指标的重点客户； 20%的企业员工拿了公司80%的薪水，所以大家要做奋斗，期待早日成为管理层； 对女孩子来说，80%的时间只穿衣柜中20%的衣服，所以女孩子总感觉衣柜里面永远“少”一件衣服； 办公室中，80%的时间我们只是在20%的区域活动，所以这20%区域的地毯会更容易脏，也更容易破裂，有经验的物业人员会给这些地方单独铺一块地毯； 培训讨论的时候，80%的发言是由20%的人阐述的，有些人说起来就没完，而有些人却惜字如金。所以对一个有经验的培训师来说，他知道什么样的问题该提给什么样的学员。

先说个小故事：二战时英国空军希望增加飞机的装甲厚度，但如果全部装甲加厚则会降低灵活性，所以最终决定只增加受攻击最多部位的装甲。后来工作人员经过对中弹飞机的统计，发现大部分飞机的机翼弹孔较多，所以决定增加机翼的装甲厚度。直到后来一个专家说：“可是机头中弹的那些飞机就没有飞回来。” 这个故事里本应是对全部飞机进行分析，但统计样本没有包含已经损毁的飞机，所以得出的结论只是根据部分数据，或者说是根据具有同样特征（受伤）的某一类数据推论出的，并不能代表全部类型的数据，所以得出的结果很可能是错误的。

对于什么面积性价比高，只需要下面这一张图就一目了然： 当面积达到8平米时，均价达到最高，北京邮电大学附近的一间9平米的单间，都能租到2600元!相比之下，60-100平这个区间平均租金比较便宜。100平以上，小区和装修都相对高端，所以均价高。如果租单间，15平米是性价比最高的。 所以，赶紧拉上你的基友，闺蜜，男女朋友去整租吧!不仅更安全方便，而且分摊后租金低很多!

Q1.解释什么是正则化，以及它为什么有用。 回答者：Matthew Mayo 正则化是添加一个调优参数的过程模型来引导平滑以防止过拟合。(参加KDnuggets文章《过拟合》) 这通常是通过添加一个常数到现有的权向量。这个常数通常要么是L1(Lasso)要么是L2(ridge)，但实际上可以是任何标准。该模型的测算结果的下一步应该是将正则化训练集计算的损失函数的均值最小化。 Xavier Amatriain在这里向那些感兴趣的人清楚的展示了L1和L2正则化之间的比较。

什么都要靠数据去支撑。比如我们把按钮从左边换到右边，从红色换成黄色。这个东西一定要有什么数据分析团队、数据分析师、产品经理在哪儿反复打磨。最后跟我们说一句，按钮从以前的100像素换到了105像素。这是很无聊的一件事情，但是这个要用数据去验证，你知道吗？

就像PM是由产品喂大的一样，数据分析师也是由一个一个成熟且完整的数据分析工作“滋养长大”的~~ 网上讨论数据分析师成长路径的文章很多，大致能够分为：数据分析、初级数据分析师、中级数据分析师和高级数据分析师，每个阶段的能力和工作内容网上资料很多，这里不做介绍。我在本文中想和大家讨论的内容，其实和“培养”二字有关，想和大家聊聊每个阶段的数据分析师需要怎样的成长沃土~

研究人员了测试太多假设而没有适当的统计控制，所以他们会碰巧发现一些有趣的事情和报告。不足为奇的是,下一次的效果,由于（至少一部分是）偶然原因,将不再明显或不存在。 这些研究实践缺陷被确定，由约翰·p·a·埃尼迪斯的在他的里程碑式的论文《为什么大多数发表的研究成果是错误的》(《公共科学图书馆·医学》杂志,2005年)中发表出来。埃尼迪斯发现,结果往往是被夸大的或不能被复制。在他的论文中，他提出了统计证据，事实上大多数声称的研究成果都是虚假的。

乙方一般指提供数据分析服务的企业，较早的时候，主要是以一个一个项目的形式，提供数据分析报告，建立数据模型，推荐策略方案。这决定了在乙方公司可以快速接触不同企业的项目，学习相对完整的分析流程，也可以快速结识行业内部不同的人，看看各个企业都有哪些需求，开拓眼界。因为服务的企业分布不同，可能需要经常出差，这对于年轻人来讲不是问题，对于有家庭的人可能是个需要考虑的问题。

日新登录用户在N日内（不含首次登陆当天）登陆的用户占新登录用户比例；（业内也有称为：N日内留存率、N日内回访率等，与上一指标容易混淆）其中：N=1代表次日区间留存，和N日留存率等同 N=3代表3日区间留存，日新登陆用户在3天内登陆过的用户占新登录用户的比例 N=7代表7日区间留存……

抛开计算速度的因素,传统神经网络的反向传播算法,捉虫时极为困难,一个根本的问题叫做所谓 vanishing gradient problem (梯度消失问题). 这个问题在1991年, 被德国学者 Sepp Hochreiter第一次清晰提出和阐明原因. 简单的说, 就是成本函数 (cost function)从输出层反向传播时, 每经过一层,梯度衰减速度极快, 学习速度变得极慢, 神经网络很容易停滞于局部最优解而无法自拔. 这就像原始部落的小混混,山中无老虎时,在本地称王称霸很舒服. 但任何关于”外面的世界很精彩”的信息, 在落后的层层传播机制中被噪音混淆淹没了.

数据分析是什么？ 字面拆解： 数据 + 分析 有骨有肉方成一个人 –分析是骨架（主） –数据是血肉（附） 常见错误 –只有数据：机器报表不行么？ –只有分析：你是瞎猜的吧？ 2）什么是做好数据分析的关键？ 数据分析的核心：思路 > 方法 –思路：业务调研+逻辑思考+创新灵感+可行建议 –方法：汇总统计，Make it Simple(切忌喧兵夺主) 数据分析的价值与定位 –百度的T序列不重视数据分析（数据分析的能力难以评价） –麦肯锡一个分析报告卖了上千万（仅有简单统计） –数据分析对一个企业有巨大价值，作用于业务发展的前（探索）期或阶段性改进期（颠覆创新），先有数据分析，才能定业务模型，再后是建模优化（机器学习）

电商数据的核心指标一般有：GMV，Transations（交易数量），ASP（均价），购物车大小，用户的复购率，购买频次，年度复购率。这样的指标很多。:我觉得有三类的指标需要*，第一：交易数据，第二：用户行为数据，第三：用户来源数据。 这里面，我觉得您可以根据自己的资源状况来设优先级。最直接的就是交易数据，然后最重要的是行为数据，因为所有的电商提供的是“互联网产品”而不仅仅是“所销售的产品”。第三就是流量的数据的分析，因为这里涉及到获取客户的成本。

以下内容仅供大家会心一笑，与现实无关，如有对号入座者，我也不认账…… 1.项目来了，发现找不到数据，卒。 2.找开发同学帮忙取数，一个月的项目排期要等三个星期，卒。 3.靠着不停的骚扰开发同学，一个星期拿到数据，发现重要的数据项不全，卒。 4.终于拿到完整数据，发现超过一百万行，Excel打不开，卒。 5.导到MySQL里处理，发现单机跑一个连接操作要老长时间，卒。

数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程，最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家。数据科学家有其独特的基本思路与常用工具，秦陇纪全面梳理数据分析师和数据科学家使用的工具包，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址，*积极传播！

功能介绍：Google Analytics（GA）是一款网站、移动应用流量统计工具，可以收集并分析流量、页面、用户等数据。国内使用百度统计、友盟较多，这些工具配置简单，包含基础的报表，整体功能远没有GA强大，GA的优势如下： 1）高级细分：细分是发现真相的必由路径，数据分析行业有句话“无细分，毋宁死”，足以看出细分的重要性。利用GA我们选取维度和指标对流量和用户进行细分，对比分析各组数据的差异，从而找到影响结果的主要因素。 2）自定义报表：默认报表展示最基础、最常用的数据，而产品经理更需要在特定场景下、具体的数据，需要多维度交叉、钻取等操作，自定义报表帮助我们充分利用GA收集到的数据，自定义指标、维度和过滤器，为我们呈现多样化的可视化报表。

本文讲的是“不知道该分析什么”的问题。第一篇文章更微观，站在个人分析师角度，本文更宏观，站在公司层面进行讲解。 与“不知道该怎么分析”一样，“不知道该分析什么”同样是很多人常问的问题之一。事实上，如果知道了方法，虽然不能做到没有一蹴而就，但是也能明晰如何一步步坚实地打造属于自己的数据体系路径。 与第一篇文章一样，本文会用最简单质朴的语言来讲清楚数据体系构建的路径。简单来讲，就是先梳理出数据指标体系，再将其落地到BI（商业智能，其实叫业务智能更对味）系统里。

大家平时会从很多渠道获得很多看似“完美”的解决方案，那些方案看似很美，是不是真的有用呢？很多时候，问题和答案是不可复制的；一个方案在这里适用，但是在别的地方不一定适用。所以，我们真正需要的得到完美解决方案的思路，不仅仅是解决某一个问题的方法，而是如何思考的过程。 今天我们将用“如何提升顾客转化率”这个问题来更好解释阐释这个方法。

这几年，几家电商的价格战打得不亦乐乎，继去年的 “双 11 大促” 和 “6·18 狂欢节” 之后，电商之间以价格为主要诉求的大规模促销层出不穷，几乎要把所有能够用来造势的节日都用上了。而消费者们作为这场游戏中的弱者，不断地被这些真假价格战挑逗着和引导着。然而，在当今的商场上，还有另外一类企业不是通过简单粗暴的价格战，而是通过对数据的充分使用和挖掘而在商战中获胜的。

阿里自身相应到考虑到还有千千万万的商户也需要有数据分析的能力，所以开发了一系列比较著名的数据产品，如量子恒道、淘宝指数、数据魔方。这应该也是马云讲的大数据的力量，服务更多的中小企业。但仅仅有这些工具还是不够的，毕竟数据分析不仅仅是一个工具的应用。像实际情况中遇到的需要应用到哪些指标，怎么去优化这些指标和理解，自己的店铺到底是处于一个什么状况，遇到这些具体的问题时不少卖家犯难了。 所以今天会花点时间来好好捋捋作为淘宝卖家该如何去做好数据分析运营工作。

数据科学家如何变得性感的故事，大致也就是作为成熟学科的统计学如何与新兴学科计算机科学发生关系的故事。“数据科学”这个术语的出现较晚近，用来指代一个需要解读大量数据的职业。但解读数据这件事的历史很长，它已经被科学家、统计学家、图书馆员、计算机科学家以及其他人士讨论多年。下文的时间线追溯“数据科学”一词的演化，以及它的应用、对它进行定义的尝试和一些相关的术语。

初级的数据埋点：在产品流程关键部位植相关统计代码，用来追踪每次用户的行为，统计关键流程的使用程度。 中级的数据埋点：在产品中植入多段代码追踪用户连续行为，建立用户模型来具体化用户在使用产品中的操作行为。 高级的数据埋点：与研发及数据分析师团队合作，通过数据埋点还原出用户画像及用户行为，建立数据分析后台，通过数据分析、优化产品。

我对数据挖掘和机器学习是新手，从去年7月份在Amazon才开始接触，而且还是因为工作需要被动接触的，以前都没有接触过，做的是需求预测机器学习相关的。后来，到了淘宝后，自己凭兴趣主动地做了几个月的和用户地址相关数据挖掘上的工作，有一些浅薄的心得。下面这篇文章主要是我做为一个新人仅从事数据方面技术不到10个月的一些心得，也许对你有用，也许很傻，不管怎么样，欢迎指教和讨论。

2002 年 4 月，数据科学期刊（Data Science Journal）创刊，旨在发表「科学与技术领域的数据与数据库管理」方面的论文。「此期刊涵盖对于数据系统的描述，及其在互联网上的发布、应用和法律问题。」此期刊由国际科学理事会（International Council for Science ）旗下的数据科学技术委员会（Data for Science and Technology）出版。

数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗，相关的书籍也不少。

为什么想到说把数据分析师和老炮儿联系到一起了呢？ 前段时间听了某XX资深数据分析专家（我们也称之为“六爷”）分享了他自己的职业发展历程，虽然没有听出什么新鲜的玩意儿，但是也算是人家对自己过往经验的总结，所以就想拿出来和大家说道说道。 六爷介绍了他当时进公司的背景，那时候他还是在一家比较大的咨询公司，做consulting方向。对这种行业数据还是特别敏感的，像易观国际、艾瑞咨询的这些数据都经常看，而六爷本人也对这方面的第三方数据持保留意见，有些数据不一定准确。

数据科学是近年来最热门的话题之一，其就业前景一片光明。但很多人对该领域的诸多职位和从事的工作仍然不是很了解。本篇文章可以很好的解答这个困惑。数据科学家 掌握语言：R、SAS、Python、Matlab、SQL、Hive、Pig、Spark 技术及才能： 分布式计算 预测建模 数据的故事设计与可视化 数学理论、统计基础与机器学习

在过去的十年，中国互联网领域有一个流量为王的思想，如果你能吸引到流量，拉来大量的客户，就可以迅速做大，迅速变现。典型比如O2O领域的竞争，各大公司通过烧钱补贴客户增长，如外卖、打车、家政等领域。但随着资本寒冬来袭，一大批靠烧钱为生的公司无以为继，增长停滞。 为什么流量为王的模式难以持续？

疏于总结自己走过的路做过的事就是我的“懒”体现之一，最近看到不少童靴在各种渠道问各种关于数据分析师的问题，比如“快要毕业了想做数据分析师要如何准备面试”，“现在是做XX工作，换工作时想转行做数据分析师应该补充些什么指示”等等，所以决定摆脱拖延症就从总结自己作为一个数据分析师走过的路开始，各位看官觉得有所收益，欢迎点赞，若想拍砖也请求大侠给小女子一些指点。

前本来接手外卖这块的业务场景推荐的，而如今要做线下智慧城市的个性化推荐，找到老同学一起聊了聊，像之前广告推荐的百分点公司做的算不错的，可是现在再这么搞还行吗？感觉有些low了。毕竟我们也算是数据比较全的公司了，怎么去捕捉用户的需求？ 你要是再搬上一套用户画像、会员营销、积分等级，那真的没办法再玩了。而且现在app里面的内容真的是太多太多了，一个用来聊天的工具，里面又有游戏、新闻、充值、消费等，作为用户真的有那么多的需求吗？

收集产品数据最基本的，是为了观察产品各个功能之间，以及产品功能中各个节点的运行状态。 产品人员除了提出产品相关的MRD(市场需求文档)、PRD(产品需求文档)之外，还应该有针对性的提出DRD，即数据需求文档(Data Requirement Document)。DRD与PRD之间的关系最为密切，因为DRD是随着产品业务逻辑展开的。 当然，中大型公司会有独立的数据分析部门，可以由他们来负责提出相应产品的DRD。如果是中小型企业，提出DRD的工作，由产品人员来承担，也是大有可能的。

利用数据分析，得到隐藏在数据背后的业务规律，利用这些规则来给运营提供方向、方案、策略，并收集数据结果，进行不断优化，从而提升运营的效率与效果。运营工作是一个很细，方向性，目标性强的工作。例如：这个月期望新增活跃用户达到100万【明确的运营目标】，运营就是用尽量少的资源达到期望的目标。

数据分析的关键一步，它包括陈述问题和对积极影响因素做出假设，这是观察数据的前期准备。当然，如果最后能获得数据的话，我们可以列表记下所有可能性分析。问题表述首要步骤就是理解问题表述。大数据科学家们收集了2013年十家不同地区商店的1559件商品的销售数据，每件产品的特性也已一一列明。目的就是建立预测模型，了解这些商店里每个产品的销售情况。

一般而言，数据分析的逻辑是：先梳理一件事的目的、流程和逻辑(实际上也就是梳理清楚业务逻辑)，界定出关键用户行为和数据，分析数据找到问题，思考解决方案。 比如某电商做了一个专题活动，但效果却并不理想，现在需要寻找原因，那么它的逻辑就大致是：首先梳理用户消费流程：专题活动页面——商品页面——下单购买，或者是通过搜索/导航——商品页面——下单购买;然后界定出关键的用户行为：打开专题页或通过搜索导航、进入商品页面、点击购买、下单等;再然后确认是用户的哪个行为数据是否有异常的地方，也就是找到问题所在;最后就是思考怎样去解决这个问题。

如果你刚刚开始塑造自己数据科学方面的资历，你可能听过这样的建议：去做个Kaggle项目吧。的确，这会是个不错的起点，能让你忙活起来，摆弄数据和各种技术工具。Kaggle也刚刚推出了新的数据集功能，允许公众获取并处理更多数据。然而，当你需要在简历里展示自己的项目经历时，不要指望Kaggle可以作为什么可靠的凭据。

经常有猎头打电话说，有某数据挖掘工程师职位，您是否考虑？有的说，某公司在找一位数据产品总监、数据分析师、数据架构师、业务分析师……有的干脆上来就问，我要找某某数据职位，应该找什么样的候选人呢。 其实有时候想想，别说猎头，即使是很多数据从业者，也未必说的清楚到底有多少种数据相关的工种。为什么呢？因为，数据相关工作往往是交叉学科，需要很多专业技能，而不同专业背景的人切入和成长的轨迹又不近相同。

不同产品的活跃度不一样，产品定位于天的用户活跃度越高越好；定位到周的，活跃度稍微低一下。DAU/WAU的比值是1/7到1。1/7的时候代表7天里面每天登陆的用户都不一样，这个活跃度最低；1代表7天里面每天登陆的用户都一样，活跃度最高。因为产品定位不一样，活跃度指标天然不一样，这个需要不断观察，在数据分析产品GrowingIO里，通过指标管理这一功能，可以轻松做到。

很多传统行业在摸索转型，主要思路是将线下和线上进行无缝结合（特别零售行业）；线上企业也在开始拓展线下业务点，未来用于收集各种线下数据的智能硬件设备会越来越多被使用（如智能试衣镜，智能衣架等），此处，关于场景中硬件收集数据的问题，因硬件设备的不稳定，导致业务数据的收集质量存在较大误差，对后期数据运营的负面影响该怎样解决？

在北京的互联网公司中，0-20人的小型公司占据了23.26%，在上海这个比例则是24.21%，所以如果小李留下上海，下次跳槽遇到小型公司的可能性会更大哦。另外20-99人的公司占据北京公司总数的比例要比占据上海的高出不少，如果小王和小李都想找到一家相对稳定又飞速发展的公司，去北京是个上佳选择；而大型公司*更好呢，小李又是女孩纸，从图表可以看出，上海1000-9999及10000以上的公司，相对于北京都占据更大比例，小李还是留在上海比较好。

最近接到一个职业访谈的邀请，要给对数据分析感兴趣的新人Y（目前在知名电商从事系统开发和维护）一些建议，才突然发现自己在这个领域打滚了一段时间，一阵感叹后，写下自己的一些体会，尽管不全面，但或许能够给新人一些借鉴。如有不妥地方，请各位数据大牛轻拍。

“点球成金” (MoneyBall)这部电影实际上就是讲的关于运动分析的真实故事：在美国职业棒球大联盟中，比利所属的奥克兰运动家队败给了财大气粗的纽约扬基队，这让他深受打击。雪上加霜的是三名主力纷纷被重金挖走，未来的赛季前途渺茫。一次偶然的机会，他认识了耶鲁大学经济学硕士彼得，两者对于球队运营的理念不谋而合。他聘请彼得作为自己的顾问，一起研究如何打造最高胜率的球队。

要实践真正的Growth Hacking，必须以有效的数据作为支撑，以数据驱动的方式去对产品的各个部分进行实验、调优，以达到真正的用户增长。所幸，McClure早在2007年就提出一个有效的数据模型，它在这些年彻底改变了众多企业看待数据的方式，并帮助大量的产品实现了用户增长。

从结果到原因，要有怎么样的因，才能产生这种结果。这有点寻根的味道。那么，我们可以知道，现在满足了多少因，还需要多少因。如果是多选的情况下，我们就可以通过这种方法来找到最佳路径（决策） 当然，【假说】的威力不仅仅如此。【假说】可是一匹天马（行空），除了结果可以假设，过程也是可以被假设的。 我们回到数据分析的目的，我们就会知道只有明确了问题和需求，我们才能选择分析的方法。

分析用户评价及其在应用中的行为数据对于开展业务至关重要。尤其值得一提的是，用户评价比市场营销材料更加可靠。社交媒体情报公司 Linkfluence 统计数据表明，73% 的中国消费者在购买前会查看在线评价，55% 以上的中国消费者信任网络上关于某一品牌或产品的评论意见。此外，评价数据可以帮助您更好地了解在应用内观察到的用户行为。

确定薪资的中位值（即Mid-point)，一般通行的做法是和市场50%分位数据（并非平均数。对两者差别不很清楚的盆友可以找度娘谷哥〉相关。根据公司的薪酬(竞争力策略，也可以参考60分位，75分位，极个别也有使用90分位的。确定时要根据企业的实际情况，不能简单化为越高越好

在数据分析中我们经常会使用各种类型的转化率分析，在游戏数据分析中，我们对于转化率的使用更为频繁，比如渠道分析，玩家购买流程转化率等等。在实际使用过程中，总结出来了四种转化率的形式，这里简单说说。

在互联网行业当中，因为拉新或推广的活动把客户引过来，用户开始访问公司的网站，但是经过一段时间可能就会有一部分客户逐渐流失了。那些留下来的人或者是经常回访我们公司网站的人就称为留存。 现在大家经常会用到所谓的“日活”(日活跃用户量，简称DAU)来监测我们的网站，有的时候会看到我们的“日活”在一段时期内都是逐渐增加的，这是一个非常好的现象。但是如果我们忽略了留存分析的话，这个结果很可能是一个错误。

你永远想不到用户会输入哪些值，所以别给用户太多发挥的空间，做好约束工作。该用户填写的，系统必须设置为“必填”；值有固定选项的，一定用列表让用户选，别再手工输入；系统在录入提交时就做好检查，格式不对，值不在正常范围内，直接报错的情况必须让用户重新输入；设计录入表单时尽量原子化字段，比如上面说的地址，设计时就分成国家、省、市、区、详细地址等多个字段，避免事后拆分；录入数据保存的数据表也尽量统一，不要产生有大量相同数据的表，造成数据重复隐患。

数据分析是企业的一种能力；数据分析本身是一个过程；数据分析的本质是一种思想。 数据分析是一个过程——企业利用这一过程将数据中的信息提取出来，进行处理、识别、加工、呈现，最后成为指导企业经营管理的知识和智慧。因而，企业利用这一过程的成熟程度，决定了企业使用数据的有效程度。

有些人的数据分析终止于图中的第三步（展示），数据展现形式大于内容，空有漂亮的图表而无实质内容。这里面分成两类，一类是追求漂亮型，每张图表都有漂亮的配色，高大上的自定义数据图，把数据打扮成一个个花枝招展的春姑娘。 第二类是朴素型，有些人做了一辈子的图表只用过三种图：曲线图，饼图，柱状图（我把它们叫三俗图）。其实excel中的图表有很多，条形图、雷达图，股价图，堆积图等，还有变异的漏斗图，双轴图等等。可供选择的太多了，这种人就是懒！

做淘宝就是做数据，运营其实就是把店铺的数据展示给淘宝看。 从这个角度讲，做运营其实很简单，不管你用什么手段，只要能让淘宝认为你是优秀的即可。 所以，数据就是运营的作业，也是运营的眼睛，没有数据，运营就是瞎子。 我们经常通过点击率来验证商品主图是否受买家喜欢，通过静默转化率来验证商品详情页是否能够打动买家。店铺所有的设置都需要用数据来说话。

以为学会了数据工具的基本操作，就等于搞定了数据问题，可以高枕无忧了。其实，有可能有的人仅仅是个「数据工具使用者」。比如，很多企业里可能有这样的场景：不同业务部门的人，纷纷向技术支持部门的某个数据工程师提出数据需求，该数据分析师处于长期响应数据需求的疲惫状态。这里之所以说是「数据需求」，是因为其中的业务成分不高，更多的偏重数据统计层面的工作，比如统计按固定年龄分档计数的需求，或者直接导出满足某些规则的名单的需求。

目前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的应该是简单的几条数据，然后搞个web页面，展示一下数据。早期可能数据量也不大，随便搞个数据库，然后SQL搞一下，数据报表就出来了。但是数据量大起来怎么分析呢？数据分析完了怎么做传输呢？这么大的数据量怎么做到实时呢？分析的结果数据如果不是很大还行，如果分析的结果数据还是很大改怎么办呢？这些问题在这篇文章中都能找到答案，下面各个击破。

一般来讲，我要求团队中每个产品经理的分析功能点不要多于5个，各个突破。竞品分析一定要突出重点，一定要达到分析的目的，一定要集中火力解决最紧要的问题。但是大家要注意，我们这样分析绝不是仅仅为了罗列出一个产品的功能分析表，关键是通过产品流程、用户体验来分析出产品的核心竞争力，这才是竞品分析的重点。竞品分析是一个重点突出小而美的分析报告，绝不要写成干涩的罗列比较功能报告。

一般在通信企业里面，我们叫他“精确营销”，并且结合5P营销理论，采用更通俗的解释就是将合适的产品，在合适的时机，通过合适的渠道，推荐给合适的用户，从而达到低成本销售产品的目的，本质上是一种个性化的服务营销手段。在这个体验为王的时代，精确营销是有极大的意义的，但很多企业在实施中，特别是大型传统企业，精确营销提得很多，成本投入不少，但效果往往差强人意，甚至质疑多于成绩，为什么呢？ 我这里提七个观点，也就是七剑，这是企业实施精确营销能否成功的关键因素，任何准备用精确营销手段提升营销能力或者纠结于精确营销效果的的企业或个人，建议先看看我这篇文章，但互联网公司也许不需要，因为他们已经做得很好。

作为一个产品人，最骄傲的事情大概就是从零开始设计打磨出一款精美且实用的产品。作为互联网圈最具活力和创造力的一个群体，几乎每一位PM心里都有一幅伟大的产品图景;然而悲催的是，夹在坑爹需求和要命研发之间的PM们，也都习惯了戏称自己为产品汪……许多产品人甚至会在画原型到凌晨之后茫然地问自己：越做越累越累越做，自己到底图什么呢说好的对产品的掌控力呢说好的话语权呢说好的极致体验呢说好的“伟大的产品经理”呢现实为何如此骨感……所幸是，近几年从硅谷刮来一阵“增长”风，在Dropbox、Facebook、Uber、Airbnb等大厂，PM带领着一众明星团队打造出了许多牛逼的数据增长案例。

关于SaaS云模式，图左边是Single Deal模式，传统销售IT产品的公司，会在前期收高额的费用，之后每年会获取数据库升级和维护费用，用户最初的投入非常高。右边是SaaS企业现金流，一开始y轴是负的，代表在前期会投入市场成本、教育客户成本，引导培训，让客户习惯SaaS服务，等客户通过培育成为平台付费客户后，可以看到负盈利变成正。 SaaS平台一般采用云模式，在这个模式下可以快速扩张，服务更多客户。如果客户的数量可以规模化增长，以及能控制CAC（获客成本），引导客户长期使用平台，那采取这种模式后盈利曲线会非常陡，能够快速迭代产品、修复系统问题、增长客户数量。

新年伊始，「某某商城」准备向其合作的推广渠道投入巨资以实现用户的快速增长。 但是，与其长期合作的两个渠道商（隐去真实名称，暂且称呼为「合作渠道1」和「合作渠道2」）都信誓旦旦说自己是行业里最好的。如何选择？让「某某商城」的运营负责人着实有些犯难。 为了降低风险、获得更高的投资回报率，这位聪明的「商城」的运营负责人决定进行一次推广试验：他在同一时间，向两个渠道各投入1万元的推广经费，让他们在一周内为商城努力获取新用户，并将根据试验的结果决定最终选择。

来自硅谷的新一代数据分析产品GrowingIO 创始人张溪梦非常推崇德鲁克的一句话：If you can’t measure it, you can’t improve it（如果你无法衡量，你就无法增长）. 这与 Growth Hack 核心理念—数据驱动增长，不谋而合。 增长让企业经营者的念念不忘，而实践的曲线，就潜藏在数据产品中。

“用户反馈”作为用户研究的手段，具有独特的优势。首先，“用户反馈”反映了用户在真实使用环境中正在发生的问题。焦点小组、用户访谈等方法，在预测用户行为习惯的方面能够发挥巨大作用，但缺乏用户实际操作的数据；可用性测试能够提供用户行为的数据，但是测试环境跟用户实际的使用环境很不一样，因此得出的结论仍然是预测性的。

数据科学是从数据中提取信息的能力。普遍认为三个主要技能将有助于提升数据科学能力。它们是：行业知识背景（商业上为商业头脑），技术/编程，数学/统计技能。 在这项数据科学研究中，我们测试数据科学家们对25项不同的数据科学技能的熟练程度（见图1）。我们把这25个技能划分到五个领域：行业、技术、编程、数学、统计及建模。

BI(Business Intelligence)即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。 广义的BI 是包括很多方面的内容，包括数据处理—》数据存储—》数据仓库—》(数据挖掘)—》BO展示层 BI是智能化的数据分析，说白了就是很多手工的工作我们让电脑帮我们做了，省去大量复杂繁琐的人工，这就是智能。比如日报，周报，月报这些报表我们统一用工具定时自己跑出来!

互联网的有诸多领域，每个领域*的点都不一样。我这边先从熟悉的社区和电子商务两个领域来说起。说到数据首先就是要去了解统计数据、分析数据的维度是有哪些。个人认为一般是有用户的维度，运营的维度，在社区来说还有内容的维度，在电子商务内部有运营的维度，我把推荐的单拎出来作为一个维度。

当前分析的目标：通过一些主成分来分析95种工具之间的关系。最终决定以PCA的特征值来决定主成分的数目，这里选用了两种规则：一种是以特征值大于1的特征值数量来选择主成分数量；一种是画陡坡图（scree plot），通过95个特征值你会发现一个拐点的特征值。

公司的规模很大程度已经告诉你他们的数据量，对数据分析的基本要求! 行业这个如果是服务咨询行业一般是乙方、可以忽略规模，数据挖掘最好选择金融(银保证)、电信&知名互联网公司，这样的公司数据挖掘岗位比较正式，小公司数据挖掘岗位几乎没有，如果有里面的水分应该可以想象。

异常访问是指网络行为偏离正常范围的访问情况。异常访问包含多种场景，如Web访问、数据库访问、操作系统访问、终端交互等。 异常访问一直是网络信息安全中备受困扰的。困扰主要体现在以下几个方面，通过某一个模型满足所有场景，模型缺少明确使用条件致使结果不明确，模型计算量大计算耗时长等方面。 基于以上的现状，本文仅针对系统登录异常访问进行分析，通过对系统登录事件与时间进行回归统计筛选出异常访问时间段。

根据《没有用户画像，别谈精准营销》一文中，表示就目前来看，精准营销的问题主要表现为两个方面，一是目标人群不够精准；二是轻视用户行为，仅凭基本的社会属性来定义用户。因此，精准营销成败的前提是，是否有足够精确的“用户画像”来做支撑。 这也导致几乎每个做精准营销，做广告技术的公司把用户画像作为公司对外宣传，对大boss邀功的利器。

推荐一些我经常使用的一些在线的效率工具汇总给大家，大部分是免费的，相当有用的：全国企业信用信息公示系统，输入企业名字后可以查到注册资金、地址、法人、经营范围、投资人信息、企业变更等情况；还可查询企业有无违法纪录行为，经营异常名录和”黑名单”等

你首先是一名数据科学家吗还是说你把自己定义成一名市场营销人员后者具有专业数据科学知识的运营管理人员对这个问题的答案五花八门，从中也能反映出每个人对自己在企业当中的自我定为不尽相同。如果你深信自己绝对是一名数据科学家的话，那么你完全可以再向前迈出一步，让自己在市场营销方面或者运营方面有所建树，你也可以成为其他的与你的专业技能相关的职业人士。

关于大数据价值，是不是大忽悠，是不是炒作，已经无需过多讨论。安全是不是最大问题，当然是，但安全问题的顾虑打消不是在会议室里面讨论出来的，不是叫上几个安全部门，法律部门，业务部门大家拍拍脑袋就能决策的，这种方式最后的结论基本上是还是观望一段时间再说吧，而传统企业所谓的观望往往是以年为单位，一年以后再讨论，也许黄花菜都凉了。大家想想，还没真正身体力行的接触过这个领域，连业务模式还没搞懂，边还没摸到，就否定一个巨大的潜在领域，是不是决策得有点唐突。

利用数据来驱动商业决策的制定，对于现在的企业来说，显得尤为重要，企业可以因此知道如何向自己的客户群做销售以及服务。然而IBM调查发现，有大约三分之一的企业领导不相信他们用来做决策制定的信息。当企业领导人不相信自己的数据的时候，他们极有可能不会支持公司花费精力收集更多数据，反而不去利用数据。那么你可以有什么样的办法让你的执行者对他们所使用的数据信息深信不疑呢？那么首先，你应该让他们清除的认识到数据本身所具备的真实性。

用户调研在产品的生命周期中不同的阶段有着不同的使命。产品初期我们可以根据调研结果获得不同的用户需求为系统建设提供依据，产品上线之后我们可以收集用户的反馈改进功能的业务流程或用户体验。 无论你是想获得用户的观点和行为、验证假设或者是量化结果，都必须在进行调研之前明确本次调研的目标是什么，任何无意义的漫谈或问卷调查都是低效且具有干扰性的。

产品对于数据分析能力方面的提升，有什么具体建议及好的学习资源（电商方面）？数据分析是一个大而杂，且非常非常重要的能力！第一，应该是要学会看数据，然后是归纳分析数据的能力，最后可能是从分析数据结果中，辨别产品的优化方向等等，但是第一步该怎么做呢？求指教！

BI(BusinessIntelligence)即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，本文将为您介绍数说立方、数据观、魔镜等11款BI-商业智能产品，排名不分先后!

有一个好的现象，近几年用户体验设计蓬勃发展，越来越多的产品设计开发同仁认识到一个产品的设计开发需求，不应该是由繁杂的功能特性堆积起来的，而是应该由核心价值用户场景作为思考基础，有效串联产品提供的功能特性而形成的。这是好事，我们做产品需求分析时，看到的不再仅仅是一张成百上千项功能的Spreadsheet，同时还有鲜明的Persona和真实的Scenario，让产品设计更有效更有针对性。