MapReduce Service引爆大数据时代

2012年以来，大数据（big data）成为人们耳熟能详的词语，这也是随着互联网信息的发展产生的新型行业，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。

针对上述问题，华为云提供了大数据 MapReduce 服务（MRS），MRS 是一个在华为云上部署和管理 Hadoop 系统的服务，一键即可部署 Hadoop 集群。MRS 提供租户完全可控的企业级大数据集群云服务，轻松运行 Hadoop、Spark、HBase、Kafka、Storm 等大数据组件。

MRS是 Hadoop 中一种面向大规模数据处理的并行计算模型和方法。从定义上看，MapReduce 是面向大数据并行处理的计算模型、框架和平台，其中它隐含了以下三层含义：

1.MapReduce 是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。

2.MapReduce 是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。

3.MapReduce 是一个并行程序设计模型与方法（Programming Model & Methodology）。它借助于函数式程序设计语言 Lisp 的设计思想，提供了一种简便的并行程序设计方法，用 Map 和 Reduce 两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。

标题名称：MapReduce Service引爆大数据时代
文章来源：/news/775.html

成都网站建设公司_创新互联，为您提供星空体育app最新版本(2024已更新)、企业网站制作、响应式网站、网站改版、网站内链、网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联