MPP架构与Hadoop架构是一回事吗?

计算机领域的很多概念都存在一些传播上的“谬误”。,MPP这个概念就是其中之一。它的“谬误”之处在于,明明叫做“Massively Parallel Processing(大规模并行处理)”,却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比,这实在是让人困惑——难道Hadoop不是“大规模并行处理”架构了?,很多人在对比两者时,其实并不知道MPP的含义究竟是什么、两者的可比性到底在哪里。实际上,当人们在对比两者时,与其说是对比架构,不如说是对比产品。虽然MPP的原意是“大规模并行处理”,但由于一些历史原因,现在当人们说到MPP架构时,它们实际上指代的是“分布式数据库”,而Hadoop架构指的则是以Hadoop项目为基础的一系列分布式计算和存储框架。不过由于MPP的字面意思,现实中还是经常有人纠结两者到底有什么联系和区别,两者到底是不是同一个层面的概念。,这种概念上的含混不清之所以还在流传,主要是因为不懂技术的人而喜欢这些概念的大有人在,所以也并不在意要去澄清概念。“既然分布式数据库是MPP架构,那么MPP架构就等于分布式数据库应该也没什么问题吧。”于是大家就都不在意了。,不过,作为一个技术人员,还是应该搞清楚两种技术的本质。本文旨在做一些概念上的澄清,并从技术角度论述两者同宗同源且会在未来殊途同归。,MPP架构与Hadoop架构在理论基础上几乎是在讲同一件事,即,把大规模数据的计算和存储分布到不同的独立的节点中去做。,有人可能会问:“既然如此,为什么人们不说Hadoop是MPP(大规模并行处理)架构呢?”,关于这个问题嘛,请先问是不是,再问为什么。,在GreenPlum的官方文档中就写道:“Hadoop就是一种常见的MPP存储与分析工具。Spark也是一种MPP架构。”来看下面的图,更能体会到两者的相似性。,MPP架构与Hadoop架构是一回事吗?,问:这是什么架构?,答:MPP架构。,MPP架构与Hadoop架构是一回事吗?,相信了解过MPP架构的读者对这幅图不会陌生。也许在不同的分布式数据库产品中,节点角色的名称会有差异,但总体而言都是一个主节点加上多个从节点的架构。,但是,还可以有其他答案,比如MapReduce on Yarn:,MPP架构与Hadoop架构是一回事吗?,这幅图或许大家有些陌生,但只不过是省略了资源调度的简化版MapReduce运行时架构罢了。,当然,还可以有更多答案,如Spark:,MPP架构与Hadoop架构是一回事吗?,自然还可以是Flink:,MPP架构与Hadoop架构是一回事吗?,有人可能会说,虽然直观上这些架构长得很像,但是MPP架构中的Master所负责的事情是不是与其他框架不一样?,那么,MPP架构的Master做的什么事呢?它会接收SQL语句,解析它并生成执行计划,将计划分发到各个节点。那么,这与Spark SQL有区别吗?不仅与Spark SQL没有区别,与其他任何Hadoop生态圈类似架构如Hive SQL、Flink SQL都没有区别。对于非SQL的输入,逻辑也是一致的,只是没有了解析SQL的步骤,但还是会生成执行图分发到各个节点去执行,执行结果也可以在主节点进行汇总。,不仅是在计算上没有区别,存储架构上也没有区别。下面是HDFS的架构图:,MPP架构与Hadoop架构是一回事吗?,所以回到最初说的那句话——MPP架构与Hadoop架构在理论基础上几乎是在讲同一件事,即,把大规模数据的计算和存储分布到不同的独立的节点中去做。上面的几幅架构图印证了这一点。,既然MPP架构与Hadoop架构本质上是一回事,那么为什么很多人还要将两者分开讨论呢?我们可能经常听到这样的话:“这个项目的架构是MPP架构。”这似乎有意在说:“这可不是Hadoop那一套哦。”,这就与MPP架构的历史有关系。虽然从理论基础上两者是一回事,但是MPP架构与Hadoop架构的发展却是走的两条路线。MPP架构虽然也是指的“大规模并行处理”,但是由于提出者是数据库厂商,所以MPP架构在很多人眼中就成了“分布式数据库”的代名词,它处理的也都是“结构化”的数据,常常作为企业数据仓库的解决方案,而Hadoop生态圈是根正苗红伴随着“大数据”兴起而发展起来的概念,它所要解决的是大规模数据量的存储和计算,它的提出者也并非数据库厂商,而是有着C端数据的互联网企业。因此Hadoop架构虽然也解决“大规模并行处理”,但没有了数据库那一套东西的限制,处理的也大多是“非结构化”的数据(自然在最初阶段也少了相关的优化)。当然,Hadoop生态圈也要考虑“结构化”的数据,这时Hive就成了Hadoop生态圈的数据仓库解决方案。但是,Hadoop、Spark等框架的理论基础与分布式数据库仍然是一样的。,广义上讲,MPP架构是一种更高层次的概念,它的含义就是字面含义,但是它本身并没有规定如何去实现。Hadoop相关框架和各个分布式数据库产品则是具体的实现。狭义上讲,MPP架构成了分布式数据库这种体系架构的代名词,而Hadoop架构指的是以Hadoop框架为基础的一套生态圈。,本文并不想仅仅从较高层次的架构设计来说明两者是一回事,这样还是缺乏说服力。下面,我们从分布式计算框架中最重要的过程——Shuffle——来展示两者更多的相似性。,Shuffle是分布式计算框架中最重要的概念与过程之一。在MPP架构(分布式数据库)中,这个数据重分区的过程与Hadoop相关框架在计算中的数据重分区过程也是一致的。,无论是Hadoop MapReduce,还是Spark或Flink,由于业务的需求,往往需要在计算过程中对数据进行Hash分区,再进行Join操作。这个过程中不同的框架会有不同的优化,但是归根到底,可以总结为两种方式。,其中一种方式就是直接将两个数据源的数据进行分区后,分别传输到下游任务中做Join。这就是一般的“Hash Join”。,MPP架构与Hadoop架构是一回事吗?,另一种方式是,当其中一个数据源数据较少时,可以将该数据源的数据分发到所有节点上,与这些节点上的另一个数据源的数据进行Join。这种方式叫做“Broadcast Join”。它的好处是,数据源数据较多的一方不需要进行网络传输。,MPP架构与Hadoop架构是一回事吗?,以上是Hadoop相关框架的实现。下面用一个具体的例子来看MPP架构对这一过程的思考。,在MPP架构中,数据往往会先指定分区Key,数据就按照分区Key分布在各个节点中。,现在假设有三张表,其中两张为大表,一张为小表:,MPP架构与Hadoop架构是一回事吗?,很自然地,订单表会选择订单ID为做分区Key,产品表会选择产品ID作为分区Key,客户表会选择客户ID作为分区Key。给这些表中添加一些数据,并且执行一个查询语句:,MPP架构与Hadoop架构是一回事吗?,首先,订单表要与客户表做Join,Join Key是客户ID。这种操作在Hadoop生态圈的分布式计算框架中,相当于对两个表做了Hash分区的操作。不过由于客户表已经按照客户ID提前做好了分区,所以这时只需要对订单表做重分区。在MPP架构中,会产生如下的结果:,MPP架构与Hadoop架构是一回事吗?,此时,订单表整个表的数据会发生重分区,由此产生网络IO。这种情况相当于Hadoop架构中的“Hash Join”。,接着,需要让结果与产品表按照产品ID做Join。这时,因为之前产生的结果的分区Key不是产品ID,看起来又需要将整个数据进行重分区。不过,注意到产品表是个小表,所以此时只需要将该表广播到各个节点即可。结果如下:,MPP架构与Hadoop架构是一回事吗?,在这个过程中,就只有小表的数据发生了网络IO。这就相当于Hadoop架构中的“Broadcast Join”。两者还有区别吗?,前文在MPP架构的概念、历史以及技术细节上与Hadoop架构做了对比,了解到了两者一些极为相似的地方,而且在广义上讲,Hadoop就是MPP架构的一种实现。,然而前文也讲到,由于传播上的谬误,现在人们说到MPP架构,主要指的是分布式数据库,它处理的是结构化的数据,而Hadoop生态圈是由“大数据”这套概念发展而来,最初处理的都是非结构化的数据。以此为出发点,两者到底在发展过程中产生了多大的区别呢?,对比的维度有很多,比如很多人会说,MPP架构的平台封闭、拥有成熟的人才市场,而Hadoop架构平台开放、人才专业培训较少等。但这些并不是本质的区别。这里还是以技术指标作为维度来进行对比。,技术角度上来讲,MPP产品最大的优势是作业运行时间更快。这不难理解,因为MPP产品处理的都是结构化数据,本身就是从数据库发展而来,拥有极为复杂的优化器对作业进行优化。这些优化器是各厂商最有价值的商业机密,自然是开源产品不能比的。不过另一个角度来看,这也是MPP产品相比于Hadoop相关产品不够灵活的地方——它只能处理结构化数据。,有人说MPP产品能够处理的数据量没有Hadoop架构大。这种说法并不准确。Hadoop架构之所以能处理更大量的数据,其中一个原因是硬件成本较低,扩展更加的方便。实际上,经过精心设计的MPP架构照样可以处理PB及以上级别的数据。有人说,MPP产品不能处理大规模数据,是因为元数据的量十分巨大。其实,同样的问题也存在于Hadoop相关框架中。另一方面,Hadoop相关框架能处理多大量的数据,与具体的实现有很大关系。如果拥有足够的资金可以对MPP产品进行扩展,而Hadoop相关产品我们又用基于内存的计算,那么,对比的结果一定是MPP产品能够应对更大的数据量。如果非要从数据量这一维度来做对比,可能反而是Hadoop相关产品对小数据量更有优势。比如想要存储一个极小的表,MPP产品也许会根据分区Key将其拆分到100个节点中去,而HDFS用一个文件块存储就够用了。,前面讲到MPP产品对结构化数据的计算和存储都更有效率。其中一部分优化就包括了存储时的“列存储”技术,查询时的“CBO优化”等等。这些都是Hadoop生态圈一开始比较缺乏的技术。但是随着这些年的发展,这些技术早就融入到了Hadoop生态圈中,Hive、Spark框架的优化技术也越做越好,由此与MPP架构的技术差距也越来越小,甚至有覆盖的趋势。从最核心的技术上来看,两者未来只会越来越像。可以预测,Hadoop架构的市场会越来越大。,不过,分布式数据库产品在安全性等方面仍然提供着更成熟的解决方案,这是开源产品短时间内无法超越的。因此,“MPP架构”这个概念仍然会在政府、传统企业中长期占有一席之地。,本文转载自微信公众号「 涤生大数据」,作者「涤生大数据」,可以通过以下二维码关注。,MPP架构与Hadoop架构是一回事吗?,转载本文请联系「 涤生大数据」公众号。,

文章版权声明

 1 原创文章作者:cmcc,如若转载,请注明出处: https://www.52hwl.com/17398.html

 2 温馨提示:软件侵权请联系469472785#qq.com(三天内删除相关链接)资源失效请留言反馈

 3 下载提示:如遇蓝奏云无法访问,请修改lanzous(把s修改成x)

 免责声明:本站为个人博客,所有软件信息均来自网络 修改版软件,加群广告提示为修改者自留,非本站信息,注意鉴别

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年3月5日 上午12:00
下一篇 2023年3月7日 下午10:34