数据在企业经营和财务分析中如何应用？

大数据应用有几个方面，一是提高效率，帮助企业提高数据处理效率，降低数据存储成本。另一种是指导业务，如精准营销、反欺诈、风险管理和业务改进。过去，企业通过线下渠道联系客户，客户数据不完整。他们只能使用财务数据进行业务运营分析。他们缺乏围绕客户的个人数据。数据分析和应用领域集中在企业内部运营和财务分析上。数字时代到来后，可以记录企业运营的各个阶段，记录产品销售的各个环节，收集客户的消费行为和网上行为。企业拥有产品销售数据、客户消费数据、客户行为数据、企业运营数据等多维数据。拥有数据后，数据分析成为可能。企业成立了数据分析团队，整理数据，建立模型，找到商品与客户的关系，商品之间的关系，以及收入与客户之间的关系。沃尔玛啤酒、尿布、蛋挞、手电筒等典型数据分析案例，Target判断16岁女孩怀孕是这种关系的体现。关联分析是最早的统计应用领域。早在1846年伦敦第二次霍乱期间，约翰医生就利用霍乱地图找到了霍乱的传播途径，平息了伦敦霍乱，打败了空气污染精英，拯救了数万人的生命。在伦敦霍乱平息过程中，约翰医生利用频率分布分析，建立了霍乱地图，总结了患者与井的关系，推断污染水源是霍乱的主要传播途径，建议拆除井把手，降低霍乱的可能性。另一个典型案例是统计分析学家在第二次世界大战期间改造轰炸机。英美联盟从1943年开始轰炸德国的工业城市，但1943年底，轰炸机的损失率达到了英美联盟无法承受的水平。轰炸军司令部邀请统计学家利用数据分析来改造轰炸机的结构，降低阵亡率，提高士兵的生存率。统计学家使用大型飞机模型详细记录了返回轰炸机的损坏情况。统计学家用黑笔在飞机模型上标记了轰炸机的攻击部分。两个月后，这些标记被机身覆盖，有些地方比其他地方更明显，如机身和侧翼。有些地方的标记明显少于其他地方，如驾驶室和发动机。统计学家让军火商看看这个模型。军火商认为应该加固受到更多攻击的地方，但统计学家建议加固标记较少的地方。标记较少的原因不是这些地方不容易被击中，而是这些地方的许多飞机没有返回。飞机坠毁的主要原因之一是这些标记较少的地方被击中。根据统计学家的建议，军火商对飞机进行了加固，大大提高了轰炸机返航的比例。以二战著名的B-17轰炸机为例，其阵亡率从26%降至7%，帮助美军节省了数亿美元，大大提高了士兵的生存率。数据分析团队在数据分析中的角色和职责应该在科技部门和业务部门之间存在争议。在业务部门，对数据场景有更好的了解，很容易找到数据实现场景，数据分析对业务改进更有帮助，更容易取得成果。但缺点是只了解自己部门的业务数据，分析仅限于独立的业务单元。在数据获取效率、数据维度和数据视角方面缺乏整体视角，数据业务视野小，公司整体业务发展有限。业务部的数据分析团队缺乏数据技术能力，无法利用最新的大数据计算和分析技术来实现数据分析和建模。数据分析和计算依赖于技术部门，效率低下，无法通过各个环节，实现最佳效率和收入。数据分析和挖掘部位于科技部。其优点是可以直接了解所有数据，利用最新的大数据计算和分析技术进行数据分析和建模，具有良好的数据视野。建立数据采集和分析系统，系统重用程度高，减少重复投资，效率高。但团队人员商业敏感度低，过于注重技术和架构，注重技术领先和处理效率，数据商业敏感度低，不注重数据商业场景，对业务了解不够，支持不如前者。科技部门愿意搭建大数据平台，让业务部门自己寻找数据场景。业务部门在数据商业化过程中也会遇到环节不畅、效率低下的问题。数据分析团队应属于独立的部门，为所有业务部门提供服务，拥有独立的技术团队，可以建立独立的大数据计算和分析平台，利用最新的数据处理技术建立模型进行分析。此外，数据分析团队的人员应来自业务部门，具有高度的数据业务敏感性，可以将业务部门的需求分解为数据需求，并将业务场景与数据场景和数据分析相结合。数据分析是一项非常实用的工作，涉及到许多跨学科，需要不同的职位和角色来实现不同性质的工作。数据库（仓库）管理员DBADBA最了解企业内部数据和可用数据资源，包括数据存储细节和数据字典，在数据收集、清理和转换中发挥关键作用。DBA为数据科学家和数据分析师提供处理过的原始数据，这是数据分析和建模的基础。DBA做了数据分析中最重要的基础工作，完成了大量的脏活和累活。2.业务专家的优势在于数据的业务敏感性。了解业务需求可以将业务需求转化为数据需求，进一步找到数据应用场景。此外，业务专家还可以通过数据分析找到新的业务机会，与业务部门制定业务计划，利用数据分析促进业务增长。业务专家的经验对数据分析和建模至关重要，他们可能是风险管理人员、欺诈监测专家、投资专家等。数据建模来自业务经验和业务知识。正是业务专家的专业分析找到了业务规律，找到了建模的方向，并对建模工作提出了建议和解释。过去，数据科学家的统计分析依赖于统计分析工具。在大数据时代之后，数据量级的提高和数据类型的复杂性使得许多传统的统计分析工具无法完成分析和计算。此时，数据科学家出现了，他们可以利用自己的专业技能帮助业务专家和数据分析师进行建模和计算。SPSS是过去常用的数据统计分析建模，SAS，基于大数据平台的分析和建模，MATLAB等工具可以使用Spark Scala/Python/R/Java。了解模型和算法的数据科学家，可以直接承担建模和调优工作，懂得选择合适的算法进行计算，提高效率。4数据分析师数据分析师从数据和业务的角度解读数据，利用图标和曲线向管理层和业务人员展示分析结果，揭示数据分析带来的业务机会和挑战。数据分析师整理出混乱的数据后，以不同的形式向产品经理、运营商、营销人员、财务人员、业务人员等展示数据。提出基于数据的结果和分析建议，完成数据从原始到商业应用的关键步骤。数据分析师的数据敏感性、商业敏感性、分析角度和表达对商业决策非常重要。运营专家数据分析结果及业务决策出来后，运营专家负责实现业务决策。运营专家是实现数据实现最后一公里的关键人物，通过有计划的运营活动，将数据分析结果应用到实际的商业活动中。运营专家属于业务人员，实际上参与业务运营活动，利用数据分析结果，实现业务场景与数据场景的结合，实现数据的商业应用。第二，数据分析前的准备工作数据分析团队成员确定后，将进行下一项工作，即找到有价值的数据进行分析。数据是分析的基础，所以数据的质量、相关性和维度会影响数据分析的结果，其中GIGO(垃圾进出)对数据分析的结果影响最大。1数据源选择数据分析团队面临着大量的数据源、每个数据源之间的交叉连接、每个数据域之间的逻辑关系、不同的产品统计口径、不同的时间段值等。由于这一系列问题往往会影响数据分析的结果，因此选择数据源和整理数据非常重要。DBA可以根据数据分析的需要找到相关数据，建立数据宽度表，将数据仓库的数据引入宽度表，并根据一定的逻辑关系进行总结和计算。这个宽表作为数据分析的基础，然后根据数据分析需要衍生出一些不同的表单，为数据分析提供干净全面的数据源。一方面，宽表用于集中相关数据分析。另一方面，它是为了提高效率。每次分析时无需查询其他数据表，这会影响数据仓库的效率。数据抽样选择简单的数据分析可以调用所有数据进行分析，数据抽样主要用于建模分析，抽样需要考虑样本具有代表性，覆盖各种客户类型，抽样时间也非常重要，时间窗口越近，越有利于分析和预测。分层抽样时，需要保证分成的样本比例与原始数据基本一致。选择数据类型的数据类型分为连续型和离散型，在建模分析中需要确定数据类型。连续变量通常用于业务收入趋势分析、销售预测分析和RFM分析。离散变量通常用于信用评级和分类预测。在数据分析过程中，缺失值处理会面临许多缺失值，其原因是不同的，有些是由于隐私原因，故意隐藏。有的变量本身没有值，有的是数据合并时操作不当造成的数据缺失。可采用替代法(估值法)处理缺失值，用已知的经验值代替缺失值，保持缺失值不变，删除缺失值。具体方法取决于变量与自变量的关系以及样本量。5异常值的检测和处理对某些数据分析结果有很大的影响，如聚类分析、线性回归（逻辑回归）。但对决策树、神经网络、SVM支持向量机的影响较小。一般异常值是指明显偏离观测值的平均值，如年龄为200岁，平均收入为10万元，异常值为300万元。第一个异常值是无效的异常值，需要删除，但第二个异常值可能是有效的异常值，可以根据经验来决定是否保留或删除。6数据标准化数据标准化的目的是将不同性质、不同量级的数据进行指数化处理，并将其调整到可比范围。例如，在建立逻辑回归模型时，性别值为0或以上，但收入值可能为0-100万，跨度较大，需要标准化。最佳/最大标准化一般可以使用(Min-Max标准化法)将数值定在0和1之间，便于计算。也可采用Z分数法和小数定标准化法。7数据粗分类(Categorization)处理分类和分类的目的是减少样本的变量，常用的方法是等间距分类，等频分类。自变量可以根据经验分为几类，分类方法可以不同。建议使用卡方检查来决定使用哪种分类方法。WOE变化方法可以简化连续变量模型，但可以降低模型的可解释性。在数据分析过程中，8变量选择将面临数百个变量。一般来说，只有少数变量与目标变量有关，这有助于提高预测精度。通常在建模分析中，有意义的变量不超过10-15个，称为强相关变量(智能变量)。变量过滤器的方法可用于选择变量。变量过滤器的常见应用场景如下。连续目标变量（CLV，LGD） 离散目标变量／分类变量(欺诈否／响应否／信用评分／连续变量皮尔森系数费西尔数离散变量费希尔分数／ANOVA信息差分析／IV克雷姆值升值／熵一般IV值大于0.3，表示变量预测性强，可采用。三数据分析过程1到业务部门，了解业务需要解决的问题，将业务问题映射到数据分析工作和任务2研究企业内外数据，找到分析所需的数据，将数据汇集到特定区域、数据市场或数据仓库、探索性分析3数据清理，包括检查数据一致性、处理异常值和缺失值、删除重复数据等4数据转换，例如数据分箱(Binning)，将字符变量转换为数字变量，根据数据维度总结5建立模型，根据业务需求建立不同模型（如客户流失预警、欺诈检测、购物篮分析、营销响应等）6模型结果解释和评价，业务专家业务解释和结果评价四个数据分析场景和模型应用数据分析建模需要明确业务需求，然后选择描述分析或预测分析。如果分析的目的是描述客户的行为模式，则采用描述性数据分析，描述性分析考虑相关规则、序列规则、聚类等模型。如果分析的目的是描述客户的行为模式，则采用描述数据分析，描述分析考虑相关规则、序列规则、聚类等模型。预测数据分析是为了量化未来事件的可能性。分类预测和回归预测有两种预测分析模型。在常见的分类预测模型中，目标变量通常是二元分类变量，如欺诈、损失、信用等。回到预测模型中，目标变量通常是连续变量，包括股票价格预测和违约损失率预测(LGD)等。生存分析侧重于分析事件的结果和发生这一结果的时间，从医学领域研究患者治疗后的生存时间。生存分析也可用于预测客户流失时间、下次购买时间、违约时间、提前偿还贷款时间、下次访问网站时间等。常见的数据分析应用场景如下1：营销响应分析建模（逻辑回归、决策树）净提升分析建模（相关规则）客户保留分析建模（卡普兰梅尔分析、神经网络）购物蓝分析（相关分析Apriori）自动推荐系统（协同过滤推荐、基于内容推荐、基于人口统计推荐、基于知识推荐、组合推荐，相关规则:客户细分(聚类)损失预测(逻辑回归)2风险管理客户信用风险评分(SVM，市场风险评分建模(逻辑回归与决策树)决策树、神经网络运营风险评分建模(