如何选择适合自己的数据技术与应用？

前一篇是小白学数据系列NoSQL数据库的第二篇:高级文章。数据分析方向的员工可以获得数据仓库软件市场的现状和分析，以增加他们的知识储备，为可能的技术转型奠定基础。工程师可以找到NoSQL主流产品的分析和介绍，以及选择数据库的一些标准。NoSQL不是万能药，最好不要跟风，最好选择适合自己数据和应用的。推荐阅读：小白学习数据：一篇理解NoSQL数据库的文章。小白问：上次我问NoSQL和SQL的区别，我似乎忘记了。我们能回顾过去，了解新事物吗？答：。。。嗯，上次我们说他们有两个主要区别：一是数据建模的方式不同。SQL采用表格模型。虽然它相对简单整洁，但早期建模所需的投资相对较大，以后很难更改模型；二是系统的可扩展性不同。NoSQL可以简单地添加新机器进行分布式操作，而SQL数据库则需要复杂的分片过程，以增加使用数据库的应用程序的复杂性。小白问:这几天听说了一个叫数据仓库的东西。这和数据库有什么关系吗？小白问:这几天听说了一个叫数据仓库的东西。这和数据库有什么关系吗？答:从技术上讲，数据仓库是一种数据库。在功能方面，数据库分为实时系统（也称为在线交易处理OLTP）和数据仓库（也称为在线分析处理OLAP）。实时系统的主要功能是日常操作处理。假设我们有一个电子商务网站销售煎饼，那么我们的电子商务应用连接系统是实时OLTP系统，数据库信息总是最新的，每次有人从我们的网站购买煎饼，交易立即记录在数据库可以交付客户服务，关心和操作这些数据主要是公司的一线员工，如快递兄弟和一线经理，如销售经理。一般来说，这个系统的单个要求比较简单，而且因为买我们煎饼的人很多，所以要保证这个系统的吞吐量。然而，该公司的首席执行官和高级管理人员对数据有不同的要求。他们希望通过分析数据来了解产品销售和财务健康状况，并进行分析和决策。通过分析可能表明，煎饼中的薄脆很快就会售罄，产品决策者可以增加薄脆原料的购买量。在这个时候，如果我们继续使用之前的实时OLTP系统，就会出现两个问题。首先，由于实时系统中的数据建模是根据日常操作的需要进行的，因此在需要大规模复杂的查询和计算时更加紧急。数据仓库OLAP中的建模是专门为这种数据分析的需要而产生的，可以快速计算聚集类(如平均日销量、年销量等)。).第二，由于实时系统对性能的要求很高，如果CEO需要的查询结果夺取了日常运营资源，得不偿失。数据仓库的解决方案是定期将实时系统中的新信息转移到数据仓库，即以不同的方式存储相同的信息两次。这两个地方的数据模型是不同的，所以首席执行官和外卖兄弟不会相互影响！小白问:你说数据仓库里的信息是定期增加的，也就是说信息不是最全面的吗？答：你是对的，数据仓库的信息会有点滞后，但我们煎饼公司的决策者想要的是销售趋势，而不是详细的信息。一般来说，有几天的延迟并不重要。数据科学家的战场也在数据仓库里！小白问:NoSQL数据库一般是实时还是数据仓库？答：目前，NoSQL更常见的应用是实时OLTP实时数据库，因为我们上次说NoSQL的优点主要是高度可扩展性和灵活的建模，这是实时系统非常需要的，需要提高收集查询所需的计算能力。Hadoop相关技术是新兴大数据技术中最适合OLAP数据仓库的技术，这里就不说了。下图来自高德纳咨询公司(Gartner，2015年2月，世界上最权威的IT研究公司发布了关于数据仓库OLAP的市场分析。我们可以看到，在领导者中(Leaders)在这个象限中，仍然只有传统的大公司，比如熟悉的甲骨文(Oracle)，微软(Microsoft)和IBM。只有少数新兴技术进入这个名单，包括：亚马逊云服务(AmazonWebServices)提供数据分析服务，Cloudera和Mapr公司提供Hadop相关软件，MarkLogic公司提供文档NoSQL数据库。以后我们会看到，在高德纳公司提供的实时数据库分析报告中，百花齐放，群雄争霸。在数据仓库方面，传统公司仍占据主要市场份额，新兴的大数据分析系统需要进一步成熟。图注：高德纳2015OLAP数据仓库系统市场分析深入谈谈小白问：NoSQL的数据建模方法有哪些？我还记得上次提到文档和图片吗？还有别的吗？答:记性好！主要有以下四种类型:1。键值型（Key-Value）2.列存储型（Wide-Column）3.文档型4。在图形下，我将简要介绍这四个数据库的建模方法。您可以参考以下高德纳实时系统OLTP报告。我会在这张照片中给出一些例子，将它们分为不同的类别：注：高德纳2015OLTP实时数据库系统市场分析1。键值数据库是NOSQL中最简单的数据模型之一，主要使用哈希表，通过键(Key)找到特定的数据。键值数据库最大的优点是它非常简单，很容易部署在应用程序中。键值数据库最大的优点是它非常简单，很容易部署在应用程序中。缺点是这个模型太简单了，对数据没有结构化的认知，只知道返回一块数据，没有概念。NoSQL数据库最典型的应用程序是作为缓存来提高查询性能。事实上，它不再被视为数据库。Redislab可以在上图中的领导象限中看到。本公司提供的产品Redis已成为流行的缓存产品，各大公司都使用！2.列存储数据库的数据模型实际上与SQL的数据模型非常相似。它们都存储在表格形状中，但有几个非常重要的区别。首先，在将数据放入NoSQL数据库之前，不需要知道列和列的具体信息，SQL必须使用这些信息。此外，每一行并非每一列都有数据，这是一个非常稀疏的表格。该产品具有良好的可扩展性，上表包括DataStax公司在领导象限中提供的产品Cassandra。3.以JSON为例的文档数据库是文档数据库。这些产品的优点是数据建模非常灵活，可以更准确地查询数据的结构。但目前，由于没有统一的查询语法，不同产品的查询语言非常不同。该类型的代表性产品有：MongoDB和MarkLogic，两家公司都成为了市场的领导者之一。4.图形数据库图形数据库可以是实用灵活的模型，非常适合社交网络方向的要求，只要图形结构的应用是图形数据库的优势。这类代表产品是Neo科技公司的Neo4j。小白问：这么多不同的NoSQL数据库我晕倒了，我有选择障碍啊，问怎么选择数据库？答：当然，这是各个方面。我们需要考虑与公司现有人才和技术资源的兼容性，以及拥有产品后的产品价格和支出。即使我们使用开源产品，我们也应该考虑公司花费大量资金邀请程序员维护和建立系统的时间，并计算拥有系统的总支出。如果你考虑更多的技术，最重要的是理解需求。这里有几个关键点：1如果你需要一个分析系统，而建模不需要太灵活，SQL数据库仍然是最好的选择。2.如果需要灵活的建模和大规模的数据分析，可以考虑Hadoop或Spark的解决方案。3.如果你需要一个实时系统，考虑如何建模最适合已经拥有的数据(文档、图形或稀疏表格)。4.实时系统应考虑对事务的需求。所谓事务，就是有一系列的数据库操作，要么做，要么不做。比如你把10块钱转给小灰支付宝，最后要么成功:你少10块，小灰多10块；要么你的余额不足，失败了。这时，两个人的余额保持不变。没有其他可能性。SQL数据库支持事务，但遗憾的是，许多NoSQL并不支持事务(例如MongoDB)。若应用程序对这些方面有要求，请注意选择具有相关功能的数据库。5.此外，我们还应该考虑如果集群中的机器停机会发生什么，备份是如何进行的，如何检测系统的性能和调整性能等等。俗话说，如果你想做好事，你必须首先利用它的工具。选择数据库系统可以让你的应用开发和数据分析事半功倍！小白问:NoSQL是一项新兴技术。你认为未来会朝什么方向发展？答：这个问题很好。我认为这些发展方向值得*：1.数据仓库的应用将有更好的性能解决方案。毕竟，CEO经常需要它。例如，与BI工具的连接也会得到加强。2.目前，使用NoSQL系统的企业主要分布在金融、电信等行业。对于这些行业的特定应用（如CRM和金融风险控制），应该有一个整体解决方案包装产品。3.技术更加成熟，更多的产品将支持其他企业需要的功能，如事务。这是小白学数据系列第一次写高级文章，旨在为读过基础文章并对NoSQL更感兴趣的读者提供更多信息。其他话题，我们的想法也是基础文章 高级结构。方便我们更好地为读者提供有帮助的文章，请帮助我们填写。谢谢！