需求解析

技术需求基本信息

0 / 2000
0 / 1000
万元

技术需求解析

0 / 500

技术研发指南

Hadoop是一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储Aadoop实现了一个分布式文件系统(Hadoop Distributed FileSystem),简称HDFSc3HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。

目前,hadoop集群采用手动配置,步骤繁琐,效率低下,而且容易出错。特别是在大规模数据中心环境下,无法进行系统动态扩容和收缩等弹性管理。所以,实现hadoop自动配置自动部署是急需解决的问题。当前可实现hadoop自动部署的典型系统有Mesos Jesos是一个分布式环境的资源管理平台,它使得Hadoop、MP1、Spark作业在统一资源管理环境下执行。Mesos通过Framework(框架)来对hadoop系统进行管理。Framework表示的是一种分布式计算框架。Hadoop使用者通过Job Client提交了作业之后,交由Job Tracker通过心跳信息与Task Tracker进行任务分配,在Job Tracker中会由TaskScheduIer分配task到具体的Task Tracker执行,在选择哪个TaskTracker去执行的过程中,Mesos不参与,完全由Hadoop自己的主节点-从节点的框架来做,只是在申请资源的过程中,会通过其中Mesos提供的分配资源模块进行资源的请求,Mesos资源分配模块,会根据当前分布式系统中资源的使用情况,适时地将作业下放到对应TaskTracker所在节点。与此同时,Mesos系统具有以下缺点;Mesos实现hadoop的相关接口通过SWIG封装成Java对象。

此技术需解决:

1.框架过于复杂,要想支持其它计算框架,不仅需要对于Mesos源码十分熟悉,而且还要对另外的计算框架非常精通,这明显增加了很大的人力成本

2.要对hadoop的源代码进行改动,增加了开发运维成本

3.Mesos对于资源的管理还不够成熟,从节点资源信息只有Mem大小和CPU的个数,管理力度过于粗糙

4.Mesos没有对程序有效地监控机制,不能实时地获得程序的运行状态

a 该系统的框架结构简单,维护成本低

b 使hadoop集群的自动部署和回收得以实现,并且能动态监测程序的运行

解析专家署名