大数据的文本分析及在商业场景中的应用

1.在我们的日常产品和运营中，我们经常接触的数据分析方法和形式大多是基于对数字（值）的描述性分析，如销售、用户增长、保留和转换。先进的数据分析方法包括因素分析、聚类分析和回归分析，见下图：常用的数据分析方法/形式。这些分析方法/形式有一个共同点：它们都处理数字。更专业的是基于结构数据（即行数据，存储在数据库中，可以通过二维表结构逻辑表达实现的数据）的分析，如姓名、性别、年龄等信息、以Excel等形式呈现的数据。只要简单地建立一个相应的表，这类数据就更容易处理。只要简单地建立一个相应的表，这类数据就更容易处理。典型的结构性数据表，但数据分析只有这种类型吗？答案当然是：答案当然是：NO！一个完整清晰的数据分析过程，除了在范围内，宏观和微观分析，但也需要在分析水平上进步和深入，以下是我们的数据分析经常考虑7个维度，见下图：数据分析7个维度（来源：谁说新手不会数据分析（工具））），数值数据分析可以覆盖绝大多数维度，但它更多的是描述事物的表面现象，主要是在事物的“量”上。也就是说，对数值数据的分析并不能回答最重要的维度之一——“Why然而，在产品和运营的实际工作中，探索用户偏好、购买/使用和损失的内在原因（即洞察用户的行为动机）对我们的工作至关重要，这将直接影响产品的功能设置和运营策略。也就是说，对数值数据的分析并不能回答最重要的维度之一——“Why“然而，在产品和运营的实际工作中，探索用户偏好、购买/使用和损失的内在原因（即洞察用户的行为动机）对我们的工作至关重要，这将直接影响产品的功能设置和运营策略。此时，需要分析非结构性数据。根据国际数据公司（IDC）根据2011年的一项调查，未来十年，非结构化数据将占所有互联网数据的90%。非结构化数据分析作为一种尚未完全开发的“信息金矿”，可以揭示许多商业驱动因素之间的重要关系，我们以前认为是极其复杂和不可预测的。因此，有必要高度重视非结构性数据！！！等等，什么是非结构性数据？2.文本分析是什么？与结构性数据相比，非结构性数据是一个概念，包括办公文件、文本、图片等所有格式XML、HTML、各种报告，图像和音频/视频信息等。本文提到的非结构性数据是指文本数据，包括但不限于社交网络(微博、微信、QQ、脉络等)。)、客户反馈（客户投诉邮件、社交媒体网站帖子、开放问卷调查、消费者评论）新闻媒体、销售人员访问记录等。文本分析的目的是从根本上整合所有非结构化数据，将其转化为结构化数据，从以前被认为难以量化的大量文本中提取大量有价值和有意义的数据或信息。因此，在分析文本数据时，我们能得到什么有价值的商业线索或洞察力？3.基于大数据文本分析的商业价值文本数据来源广泛多样，往往需要搜索大量网页。当然，只有基于恒河沙数量的大数据文本分析，才能得到更可靠、更有说服力的商业insight。因此，“文本分析”常被称为“大数据文本分析”的全名。通过对大量非结构性文本（信息）数据的分析，“文本分析”或“语义分析”不仅得到了对“是什么”的描述性分析，还回答了“为什么”，即目标用户购买和使用产品的潜在动机/真实需求。在商业实践中，基于大数据的文本分析广泛应用于各行各业，利用认知技术获得新的商业洞察力，解决关键的知识问题，被IBM称为“认知业务”。例如，企业可以从客户关系数据、社交网络、新闻网站、购物网站评论等渠道获取文本数据，然后通过计算机进行自然语言处理，揭示任何非结构化文本信息中的“4W”元素，即角色（Who）、事件（What）、时间（When）、地点（Where）等等，结合隐藏的“Why"进行关联分析，最终获得贯穿所有业务的全新商业洞察力。例如，从大数据文本分析中提取的主要维度，应用程序的用户满意度在一段时间内大幅提高。从评论数量和服务评估数量的增加可以看出，这只是一个描述性的分析。我们不知道用户为什么会给出好的或坏的评论，以及产品或服务的哪些方面会得到好的评论。然而，在大数据文本分析的帮助下，我们通过提取的“4W”元素对用户进行了“Why“理解:用户评论什么时候更积极，什么时候更消极？（When）用户给出的好评和差评分别集中在APP的哪些方面？（What）谁给差评，谁给好评，他们在用户中的言论影响如何？（Who）哪些地区的用户给予好评/差评，这些地区的用户分别关注APP的哪些方面？（Where、What）简而言之，基于大数据的文本分析可以揭示隐藏在文本信息中的趋势和相关性，并为商业决策、行业趋势研究和热点内容跟踪提供强有力的支持。接下来的问题是：我们在哪里可以找到这些非结构性的文本数据？接下来的问题是：我们在哪里可以找到这些非结构性的文本数据？这些有价值的海量文本数据“隐藏”在哪里？在社交媒体时代，用户通常在购买产品/服务之前或之后在互联网上表达对产品的怀疑或看法，通过互联网平台表达社会状况和舆论，反映自己的真实意愿和产品/服务的体验。一般来说，用户产生的有价值的“声音”主要集中在以下六个“地方”：同时，在互联网的产品和运营中，我们需要关注社交媒体、电子商务平台和应用市场三个用户的“言论聚集地”，以获得用户对产品/服务的“声音”。（1）社交媒体的发展越来越受到关注，论坛、博客、微博、微信等社交网络也在悄悄地改变我们的生活方式。在互动性强、易于沉淀价值信息的网络论坛上，网民可以获得各种信息服务，发布信息、讨论和聊天，并通过发帖和回复表达对事件、产品、品牌和企业的看法。在容易爆发热点话题的微博上，用户不仅会主动发布微博，还会主动跟踪热点事件、喜爱的兴趣频道和明星微博，转发评论。在关系属性强的微信上，用户会对自己关注的微信官方账号发布的内容进行评论和转发，以表达自己的观点和情绪...在这个社交媒体时代，用户已经成为企业最好的品牌推广大使。如何从这些可观的社交媒体数据中分析用户的潜在、准确的购物意愿和需求，将成为提升品牌价值和声誉、提升用户体验的新途径。例如，在新浪微博上拥有超过1万粉丝的零售商可以根据大量转发的微博进行沟通和分析，挖掘粉丝的性别、地区、关注的微主题、星座和兴趣标签，并为粉丝个性化推送折扣和新产品信息。由此可见，这些看似庞大而不规则的社交数据往往包含大量用户的基本信息和兴趣标签，是绘制用户肖像的绝佳材料。（2）电子商务平台电子商务网站上的大量用户评论数据隐含着巨大的信息，包括但不限于淘宝、京东商城、亚马逊、大众点评等主流购物和服务平台。例如，在亚马逊上，商家可以根据用户的评论和反馈为用户提供定制服务，甚至预测用户的需求，从而达到更准确的销售目的。（3）在移动互联网时代诞生的其他第三方应用程序市场上，这些应用程序除了“挂”在自己的官方网站上外，还分布在第三方应用程序市场（如苹果商店、91助手、豌豆荚、小米应用程序市场、百度移动助手等）。此时，收集大量用户吐槽对于改善应用程序的用户体验非常重要。通过对用户大量评论的文本分析，我们可以第一次了解用户喜欢哪些方面，用户不喜欢哪些方面，哪些是无关紧要的“伪需求”，并努力在短时间内改进产品的功能和设计。综上所述，相关文本数据来源多样，涵盖了非常广泛的话题。任何与产品/服务相关的陈述和评论本质上都是有用的信息，因为这些陈述可以让产品/品牌所有者了解用户最真实的想法。5.大数据文本分析的一些应用场景。以上是大数据文本分析的一些原理、数据来源及其商业价值。现在，作者将从以下五个方面讨论其实际应用场景：（1）在问卷调查中处理大量开放式问题。这些开放式问题以电子文档的形式存储，这使得计算机可以进行文本分析，有价值的分析维度可以在短时间内从成千上万的答案中提取，以获得对(潜在)用户需求的洞察。对于一些刚进入新媒体运营岗位的小伙伴来说，研究和模仿一些知名自媒体作者的写作风格是非常必要的，学习他们的写作技巧和套路可以使我们的文案写作快速进步。为了深入研究这些优秀作家的写作风格，我们不仅要熟悉他们的写作背景和篇章结构，还要熟悉他们的词语和句子选择程序（包括措辞特征、常用关键词和情感倾向），并在模仿中逐步形成自己的写作风格。如下图所示，对咪咪10多篇具有代表性的文章进行文本分析，从以下属性的关键词，结合对咪咪作品的一定理解，可以得出这样的结论：咪咪的文章经常发泄负面情绪，粉丝想说但不敢说，让成千上万的粉丝感同身受，*；另一方面，她周围的人经常被嘲笑和分析。收集、跟踪和预测米蒙10多篇具有代表性的文本分析新媒体热点。基于大数据的文本分析可以快速获取整个网络中具有趋势传播的关键词，实时监控传播趋势（包括全面研究阅读、评论、分享和传播趋势），通过分析内容属性和成功原因，预测内容在未来的传播潜力。能够熟练使用大数据的媒体人才能在未来的媒体行业站稳脚跟，正如热巢首席执行官穆青所强调的：在未来的媒体竞争中，媒体人需要转变为“内容” 一方面，技术复合型人才在内容创作的基础上发挥自己的独立判断和分析，另一方面，他们需要利用大数据分析技术来提高文章的沟通效果，并进行科学的人工沟通干预。（3）基于大数据的口碑管理文本分析，可以快速准确地识别企业/品牌/产品本身和竞争对手在互联网上的口碑变化，深入挖掘文本数据的价值，为消费者洞察力、产品研发、运营管理、营销和品牌战略的管理决策提供科学依据。基于大数据的文本分析，我们可以清楚地了解事件从发酵到发酵、发展、上升、下降和反馈的演变过程，分析舆论的沟通路径、沟通节点、发展趋势和观众反馈。通过基于大数据的文本分析，企业可以正确阅读用户分散在网络上的“声音”，企业可以直接阅读用户的想法，挖掘用户对产品/服务的情绪和态度。通过基于大数据的文本分析，企业可以正确阅读用户分散在网络上的“声音”，企业可以直接阅读用户的想法，挖掘用户对产品/服务的情绪和态度。例如，大数据文本分析可以回答以下问题：用户喜欢其产品的哪个方面？客户是否更喜欢他的产品而不是其他公司的产品？这些偏好会随着时间的推移而发展和变化吗？本文倾向于普及大数据文本分析的基本知识。下一篇文章将用一个生动的案例来解释大数据文本分析如何反映其在互联网商业实践中的巨大商业价值。