服务热线:400-0033-166
万商云集 - 企业数字化选用平台

企业首选的

数字选用平台

Hadoop和Apache Spark,它们究竟有什么异同?

2020-12-29 16:32:14 阅读(144 评论(0)

说到大数据,相信大家对Hadoop和ApacheSpark这两个名字并不陌生。但我们对他们的理解往往只是字面上的,没有深入思考。让我们和我一起看看他们有什么不同。首先,Hadoop和ApacheSpark都是大数据框架,但它们的目的不同。本质上,Hadoop更像是一个分布式数据基础设施:它将巨大的数据集分配到一个由普通计算机组成的集群中的多个节点进行存储,这意味着您不需要购买和维护昂贵的服务器硬件。与此同时,Hadop还对这些数据进行索引和跟踪,使大数据处理和分析效率达到前所未有的高度。Spark,它是一种专门用于处理分布式存储大数据的工具,它不会存储分布式数据。除了提供共识的HDFS分布式数据存储功能外,还提供了称为Mapreduce的数据处理功能。所以在这里,我们可以抛开Spark,用Hadoop自己的Mapreduce完成数据处理。相反,Spark不必依附于Hadop才能生存。但是,毕竟它没有提供文件管理系统,所以它必须与其他分布式文件系统集成才能运行。我们可以选择HadopHDFS,也可以选择其他基于云的数据系统平台。但是Spark默认用在Hadoop上,毕竟大家都认为它们的结合是最好的。以下是从网上摘录的Mapreduce最简洁明了的分析:我们要数图书馆里所有的书。你数1号书架,我数2号书架。这就是“Map”。人越多,数书就越快。现在我们在一起,把大家的统计数加在一起。这就是“Reduce”。熟悉Hadoop的人应该知道,用户首先编写一个程序,我们称之为Mapreduce程序,Mapreduce程序是Job,Job中可以有一个或多个Task,Task可以分为Maptask和ReduceTask,如下图所示:Spark中也有Job概念,但这里的Job不同于Mapreduce中的Job。它不是操作的最高粒度,只有Application的概念。Application与Sparkcontext有关,每个Application中可以有一个或多个Job,可以并行或串行运行Job。Application与Sparkcontext有关,每个Application中可以有一个或多个Job,可以并行或串行运行Job。Spark中的Action可以触发Job的运行。Job包含多个Stage,Stage分为Shufle。多个Task包含在Stage中,多个Task构成Taskset。他们之间的关系如下图所示:Mapreduce中的每个Task都在自己的过程中运行,当Task完成时,过程就结束了。与Mapreduce不同的是,Spark中的多个Task可以在一个过程中运行,即使没有Job,这个过程的生命周期也与Application一样。这个模型有什么好处?Spark的运行速度可以加快!Tasks可以快速启动并处理内存中的数据。然而,该模型的一些缺点是粗粒度的资源管理。每个应用程序都有固定数量的executor和固定数量的内存。Spark会比Mapreduce快很多,因为它处理数据的方式不同。Mapreduce分步处理数据:“从集群中读取数据,进行一次处理,将结果写入集群,从集群中读取更新后的数据,进行下一次处理,将结果写入集群,等等...“BoozalenHamilton的数据科学家KirkBorne如此分析。另一方面,Spark将在内存中以接近“实时”的时间完成所有数据分析:“从集群中读取数据,完成所有必要的分析和处理,并将结果写回集群并完成,”博伦说。Spark的批处理速度比Mapreduce快近10倍,内存中的数据分析速度快近100倍。如果需要处理的数据和结果大多是静态的,你有耐心等待批处理,Mapreduce的处理方法是完全可以接受的。但是,如果您需要对流数据进行分析,比如工厂传感器收集的数据,或者您的应用程序需要多个数据处理,您可能应该使用Spark进行处理。大多数机器学习算法都需要多数据处理。此外,Spark的应用场景通常包括实时营销活动、在线产品推荐、网络安全分析、机器日记监控等。灾难恢复的方式各不相同,但都很好。因为Hadoop在磁盘上写下每次处理后的数据,所以它自然可以有弹性地处理系统错误。Spark存储在分布在数据集群中的数据对象称为弹性分布式数据集(RDD:ResilientDistributedDataset)中。Borne指出:“这些数据对象可以放在内存或磁盘上,因此RDD也可以提供完成的灾难恢复功能。”。

内容来源:网络,以上内容来源于网络,不代表本站观点,如有侵权,请联系删除。

推荐阅读

参考液晶电视销量排行榜,选择合适的家用液晶电视

因为现在很多人都想要追求比较高清的观影模式,所以会想要为家庭选择一些液晶电视机,但是因为自己在选择电视的经验不是很充足,所以就会陷入两难的抉择,具体可以参考以下的液晶电视销量排行榜。1、酷开酷开始终走在世界的前列,因为在电视领域深耕了多年以…查看详情

小白必看 | 版权登记保护范围

我们在生活中方方面面都与版权打着交道,又随着大家对版权意识的逐渐增强,版权保护、版权登记愈发重要。但即便大家有这样的意识,不过对于版权的相关内容也依旧谈不上熟悉。接下来,小万就来为大家介绍一下关于版权登记保护范围吧! 图片来源于网络 ▍ …查看详情

【供参考】版权登记作品说明书模板+范文

对于没有版权登记经验的新手来说,最好地选择其实是委托版权登记代理公司代为办理。如此,无论是登记流程还是资料填写(如版权登记申请表、版权登记作品说明书等),亦或是后续进度跟进,都无需自己再操心或因为不知如何操作而延误进度。 图片来源于网络 但…查看详情

小编带你了解具体的服装购物网站排行榜

大家网上购物不仅仅是买一些日用品了,更多的人会选择在网上购买一些服装,而且现在互联网资源发展的比较好,有专门的服装购物网站供给大家使用,具体来说有以下的服装购物网站排行榜。 1、唯品会 唯品会其实专门做的是衣服品牌,而且大…查看详情

2021hr管理软件免费版排行榜

一款高效的hr管理软件免费版可以帮到企业降低成本增加效率,加快数字化进程。那么市面上我们应该如何精准的选择一个hr管理软件呢?我们对数款软件进行了测评,最终整理了这篇2021hr管理软件免费版排行榜。 一、hrSaaShr管理软件免费版 一…查看详情

制作幻灯片软件有哪些 制作幻灯片软件排行榜

  现在很多的场景都会使用到ptt,而且大家经常会制作ptt,下面小编给大家来详细介绍一下制作幻灯片软件有哪些 制作幻灯片软件排行榜这一块的相关内容,下面的这些软件都是制作ptt比较简单的,。  制作幻灯片软件排行榜  1、《PPT在线…查看详情

盘点钮门快递系统的作用与亮点

随着科技发展的日新月异,物流行业的成长也是十分迅猛,与此同时针对其研发的各种快递系统更是开始大批出现在人们的视野当中,那么哪款快递系统才是真正适合大众的呢?在这里我要为大家推荐钮门快递系统,下面我会为大家一一盘点钮门快递系统的作用与亮点。 …查看详情

手机浏览器哪个好用速度快

手机浏览器是我们在移动设备上用来访问互联网的主要工具之一。选择一个好用速度快的手机浏览器对于提高我们的上网体验至关重要。以下是一些被认为速度较快且功能齐全的手机浏览器。1. Google Chrome:Google Chrome是一款受欢迎…查看详情

B2B网站建设需要注意哪些方面?

B2B网站是是现阶段比较成熟的一种网站,能实现商家之间直接交流合作,提升双方的满意度。很多企业在B2B网站建设方面更是始终不得窍门,难以发挥出网站的最大功能。现在就来了解一下进行B2B网站建设有那些方面是需要着重注意的。B2B网站建设需要注…查看详情

淘宝新店如何提升信誉值

现在很多网购消费者在淘宝上购买宝贝的时候,都会看商家的信誉值,如果商家的信誉不好,可能会直接pass掉,这就给新入驻淘宝的店长带来了难题,新店没有信誉难道就不能在淘宝上开店赚钱呢吗,答案当然是否定的,不然淘宝也就没有存在的价值了。我们需要明…查看详情

windows10截屏快捷键是哪个

  Windows 10是一个非常流行的操作系统,它拥有许多方便的快捷键,其中一个常用的功能就是截屏。在日常的工作中,我们常常需要捕捉屏幕上的某些部分或全屏内容,以便于向他人或自己进行展示或保存。因此,Windows 10提供了多种快捷…查看详情

企业产品好、服务好,为什么要做网络推广?

为什么要做网络推广?一定要做网络推广吗?这是企业老板十分疑惑并想寻求一个答案的问题。尤其是认为自己产品好、服务好,在市场中具有竞争优势的老板,对此更加疑惑。图片来源于网络 为什么要做网络推广?当企业老板了解网络推广的优势后,相信心中会明了。…查看详情

光端机是什么设备

光电转换器和光端机的区别?区别1:功能不同。光纤收发器和光电转换器只有光电转换的功能,光端机具有联网控制,身份验证,光电转换,协议转换等功能。 区别2:使用环境不同。光纤收发器和光电转换器用于局域网远距离通信。光端机是宽带出口设备用于…查看详情

小服装店收银系统有安装的必要吗?

部分运营者会存在这样一种思维,只有规模大一点的服装店或者连锁品牌才用得到服装收银系统,对于小服装店收银系统有安装的必要吗这个问题一直存在疑惑,对于这些店面来讲,服装收银系统真的没有用吗? 答案是有必要,但在系统选型时建议商家选择对应业务需求…查看详情

微信小程序PHP后台实现的方法

公众号小程序怎么开发?1.注册成为微信公众号开发者。 2.进入“开发”页面,申请开通小程序功能。 3.进入小程序管理后台,创建一个新的小程序。 4.下载小程序开发工具,进行开发和调试。 5.编写小程序代码和UI界面,与后端服务器交互…查看详情

最新文章