Hadoop生态系统还在不断演进。倒退几年，我们还仅仅把Hadoop看作是HDFS(分布式文件系统)、MapReduce(软件编程模型)以及一些元素(工具与API)的组合，它们逐渐成为了大数据的代名词。
然而上周在圣何塞举行的Hadoop峰会2013让我们意识到，Hadoop已经发生了本质上的变化。Hadoop 2.0登上历史舞台，随之而来的增强特性为我们带来了一套新的数据编程方式，尽管依然依附于Hadoop，但它已经为我们提供了打破Hadoop固有印象的可能。
在Hadoop 2.0中，新增强的功能虽然还是围绕HDFS以及相关组件，如HBase数据库、Hive数据仓库以及Knox安全网关等，但是最引人关注的还是2.0中的YARN组件。YARN的名称来自于字母缩写“Yet Another Resource Manager”，直译可以称为另一个资源管理器。利用YARN，用户可以完全放弃原有的MapReduce，通过与批处理完全不同的新的交互方式来运行Hadoop。
商业智能咨询顾问Colin White 指出，Hadoop 2.0的HDFS对架构进行了重新设计，从而消除了某些单点故障的隐患。这仅仅是开始，更关键的进步在于API层面。White表示：“具有革命性的变化来自于YARN，它使得我们可以使用另外一种文件系统，为环境添加更多的灵活性，这是企业级用户最想要的功能。”
事实上，很多用户已经在讨论在Hadoop中运行其他的文件系统，比如IBM的通用并行文件系统，或者用Lustre的文件系统进行高性能集群计算。而YARN的出现，使得MapReduce不再是必需品，而变成了一种选项。
　　Gartner分析师Merv Adrian表示，“核心Hadoop”的概念在未来也许将不复存在，数据架构中类似可插拔的选项已经提上了Hadoop的议事日程，任何层面都不再是只提供唯一解决方案，万事皆有可能。
　　Hadoop以及相关工具在近几年中层出不穷，Adrian向TechTarget记者表示，当Web应用开发者开始决定创建一个专有数据存储之后，他们往往会选择把它开源。
　　Adrian说：“Hadoop社区是吸引创新的支点，但Gartner建议企业用户尽量使用商用版的Hadoop解决方案。免费下载的开源产品可以用来进行沙盒实验。”
　　用Adrian的话来说，近些年来发生的最大变化是数据存储的“爆炸”，许多都跟NoSQL相关。人们开始质疑传统SQL数据模型存在的弊端，而Hadoop更像是一个大的帐篷，把包括NoSQL运动在内的所有数据相关变化全部包容在内。
　　这一变化的原因包括三点：首先，大规模扩展的关系型数据库系统成本过于昂贵;其次，数据库Schema的限制往往成为创新的阻力;最后，关系型数据库不能很好地支持Web应用。
　　现在，关注各种类型数据存储的架构师和开发者都能够在Hadoop生态系统中找到他们想要的。在Hadoop峰会上，关于新范式的热情是显而易见的，就如同几年前Java和AJAX一样。Java语言是新时代应用开发的起点，AJAX也同样。如今的Hadoop与AJAX很像，成为一个符号化的概念，而围绕它的技术或者编程语言才是实体。
　　很重要的一个观点是，Hadoop社区在做的事情代表了数据管理的一个主要发展方向。这些有着奇奇怪怪名称的开源工具以及API将能够让开发者以更创新的方式开发大数据应用，而这在之前是难以实现的。
http://www.searchbi.com.cn/showcontent_74554.htm