据浪潮集团对全国数十个云计算中心的调查，很多地方投巨资建成了所谓的“云”系统，资源利用效率却不足20%，云计算中心成了形象工程。
　　最新发布的《中国云计算产业发展白皮书》预计，到2012年，中国云计算市场规模将达606.78亿元。十二五期间，我国云计算产业链规模可达 7500亿至1万亿人民币。诱人的发展前景，不但吸引了诸多企业杀入这个市场，甚至连很多地方政府都对云计算青睐有加，各种“云计算中心”先后在各地开花。
　　一方面，是国家扶植政策不断推出，发改委投入15亿元重金扶植，云计算十二五发展规划呼之欲出；一方面，是跨国巨头加大中国市场渗透力度，国内各地政府在云计算领域跑马圈地，多个城市打出建设“世界级的云计算产业基地”。一时间，云计算炙手可热，成为新兴产业中最热门的领域。
　　然而，在热闹的背后，泡沫这个“阴影”也如影随形。据浪潮集团对全国数十个云计算中心的调查，很多地方投巨资建成了所谓的“云”系统，资源利用效率却不足20%，云计算中心成了形象工程；中国工程院院士李德毅更是大声疾呼，千万不要把云计算搞成第二个房地产。多位业内人士在接受南都记者采访时都强调，发展云计算，关键是要将应用落地，要在应用创新上多下功夫，而不是拼规模、比设备，杜绝重复建设和资源浪费。
　　政策推动，云计算风起云涌
　　“公司的云计算项目，获得了发改委下拨的千万级扶持资金，资金前不久已经打到公司账面上了。”昨日，金蝶软件相关负责人向记者透露。记者获悉，除了金蝶，华东电脑、华胜天成、阿里巴巴、腾讯、百度等10余家知名软件公司和互联网公司的云计算项目，也同时获得了发改委下拨的数千万乃至上亿的扶持资金。
　　这是国家发改委在10月份联合工信部、财政部拨出15亿元人民币，成立国家战略新兴产业云计算示范工程专项资金后，向相关企业下拨的首批专项资金。据了解，这批下拨的资金总量达6.6亿元。
　　相比三部委成立的专项扶持资金，正在内部讨论的“云计算十二五发展规划（初稿）”，对云计算的扶持力度将更大更全面。一位已经看过初稿的东软集团相关负责人告诉南都记者，该规划的亮点，是鼓励相关企业进行云计算的应用服务创新，并对云计算给予财政支持。此外，该规划还明确指出，鼓励在资源、气候条件适宜的地方设立云计算资料中心，积极推动云计算落地。
　　政策扶持的背后，是滚滚的商机。正是看到中国云计算市场的高速发展势头，AMD、SAP、甲骨文等跨国巨头纷纷加大了在中国云计算市场的布局力度。
　　AMD全球高级副总裁、大中华区总裁邓元鋆在接受南都记者专访时指出，“中国已经成为AMD云战略的主战场。AMD11月14日在北京全球首发的 16核皓龙处理器，就是为云而生的。”SAP联席首席执行官孟鼎铭也告诉记者，中国市场正在发生快速变化，越来越多的东西放到云上面，云计算的趋势不可阻挡，云计算对于推动中国信息化的发展将起到关键作用。
　　跑马圈地，地方政府角逐“云中心”
　　最新发布的《中国云计算产业发展白皮书》预计，到2012年，中国云计算市场规模将达606.78亿元。十二五期间，我国云计算产业链规模可达 7500亿至1万亿人民币。诱人的发展前景，不但吸引了诸多企业杀入这个市场，甚至连很多地方政府都对云计算青睐有加，各种“云计算中心”先后在各地开花。
　　重庆市率先提出了打造亚洲最大云计算基地的口号。今年4月6日，重庆“两江国际云计算中心”正式开建，两江国际云计算中心总建筑面积207万平方米，计划总投资400亿元。重庆市的目标，是打造一个产值上千亿元规模的“云计算”基地，成为全球数据开发和处理中心。
　　上海、北京、深圳、广州四大一线中心城市，也加入到“云中心”的圈地战当中来。上海的目标是致力打造“亚太云计算中心”，培育十家年经营收入超亿元人民币的云计算企业，带动信息服务业新增经营收入千亿元；北京的“祥云计划”力争到2015年，形成500亿元产业规模；深圳的“鲲云计划”是希望利用云计算平台服务深圳乃至全球的企业用户，力争将深圳打造成“亚洲信息枢纽中心”；广州也正在部署实施“天云计划”，努力打造世界级的云计算产业基地……
　　就连一些二三线城市，也在大踏步“造云”。日前，兰州市政府与浪潮集团达成合作协议，浪潮集团将在5年内投资20亿元，将兰州着力打造成西部地区的信息枢纽中心；河北的涿州也宣布要投资50亿元建立云计算基地；河北廊坊润泽信息港被称为目前中国规划最大的云存储数据中心，仅前期规划就是现在全球最大数据中心（位于美国芝加哥）的两倍多……
　　据不完全统计，在我国，除西藏和新疆外，目前已经提出或业已制定云计算发展计划的地方政府已覆盖了其余30多个省市自治区。
　　泡沫闪现，云计算成房地产第二？
　　“现在各地政府一谈到创新，就必谈云计算，很多地方连云计算是什么都没有搞清楚，就规划打造大规模的云计算中心。这一方面说明在政策和应用双重推动下，云计算正在深入人心，但同时也警示云计算确实存在泡沫。”北京天地超云公司一位负责人在接受本报记者采访时担忧地指出。
　　其实，对于云计算泡沫的担忧，不仅仅来自产业界。深圳某券商的研究员杨先生告诉记者，前段时间，他先后对深圳、南京、武汉等地的多个云计算基地进行了调研。“情况并不乐观，不少所谓的云计算中心，其实就是商业地产项目，科研力量根本就见不着。”海外市场的现状，也对中国云计算产业的发展亮出了警示灯。据悉，云计算应用成熟的美国，在经历了需求暴增期之后，数据中心的数量从过去1100个削减到现在的300个左右。
　　对于以云计算为名行圈地之实的现象，中国工程院院士李德毅公开指责，不少地方政府虽然将云计算定义为战略性新兴产业，但依然是采用原始的征地、盖房子和招商引资，将云计算搞成第二个房地产。“云计算本身是一种绿色计算，不是比规模、比设备、比厂房，发展云计算决不能变成简单的圈钱圈地。”据悉，一个课题组已经向国务院提交了一份针对云跃进的调研报告。该报告建议，对数据中心的建设进行集中管理以避免重复建设。
　　SAP全球高级副总裁芮祥麟告诉南都记者，国内外迄今为止，云计算的标准尚无定论。而一个标准都还没有明确的产业，很难做出足够的规模；长城电脑总裁周庚申也指出，云计算产业要发展，关键是要应用落地，而不是比拼概念。据周庚申介绍，长城电脑推出的云智方平台已经构建了医疗养老云、车联网平台、智慧楼宇等项目。“有了具体的应用，我们的云计算才真正落到了实处。
　　旁边报道
　　应用成为“云计算”推广关键点
　　联想推出“乐云”抢占制高点
　　云计算产业的健康发展，离不开政策推动，也离不开企业的各种创新应用。业内人士指出，云计算要在中国市场取得成功，其关键是要将应用落地，让用户真正体验到云计算带来的便利。因此，云计算的应用创新，就成为企业竞争的制高点之一。
　　昨日，全球第二大PC厂商联想集团在北京正式发布了“乐云”服务，正式涉足云服务领域。联想集团董事长杨元庆指出，移动互联和云计算的快速发展，为个人电脑带来了革新机会。联想推出“乐云”解决方案，标志着联想完成了硬件、软件、云端的全面布局，正在从“个人电脑”向“个人云”实现转变。
　　联想集团高级副总裁、移动互联及数字家庭业务集团总裁刘军告诉记者，个人电脑、通讯、电视等行业正朝着智能化的方向快速变革，一个融合的时代已经来临。用户未来将拥有多个智能终端，并渴求硬件、软件、云端整合的使用体验。此次联想集团推出的“乐云”，可以实现个人信息管理、互联互通、社交等三类服务，大大提升用户的消费体验。
　　据刘军介绍，在个人信息管理方面，“乐云”提供200G存储空间，支持多种文件格式的存取，并提供联系人数据时时备份服务。此外，该服务还支持“自动同步”功能，可实现各类终端的同步数据更新。
　　在发布“乐云”的同时，联想集团还推出了多款全新“乐终端”，包括智能手机乐PhoneS2，以及5英寸、7英寸、10英寸屏幕的平板电脑乐PadS2.此外，联想智能电视乐TV也首次亮相，并将于明年第一季度正式上市。
　　阿里巴巴和百度都收到国家发给的关于云计算资金扶持，联想是否收到此政策红包？对此问题，杨元庆没有正面回答，表示会积极争取。刘军表示目前没有把云计算商业化的计划。

“现在云计算的钱最好赚。”4月18日下午，万寿路附近的一家茶馆里，王远（化名）对《财经国家周刊》记者表示。王远对外的业务身份，是某部委下属的产业推广中心副秘书长，该推广中心的主要诉求，就是帮助企业向各地政府灌输云计算和物联网观念，进而推动各地政府设立云计算中心。
　　“可以做的事情很多，厂商能拿到各地政府资金帮助、办公地帮助，这只是一个方面，另外还能帮助厂商完成销售，所以厂商很需要我们。”王远说。据王远称，该产业中心的实体，其实是几个自然人合伙投资的一家商业公司，“用部委的牌子，更便于我们跟各地政府合作，而且，也便于我们从地方政府那儿拿到专项资金。”
　　他所说的专项资金，包括了地方政府的调研支持费用，地方政府的服务费用，甚至于地方政府“云计算落实举措和先进经验的公关和宣传费用”，“我们正在操作的项目包括，山东某个地级市、北京某个区，另外我们还正在和天津某个局在洽谈，总体上生意不太难做。”王远对《财经国家周刊》记者表示。
　　借助云计算概念圈钱圈地，已经成为大公司、小公司近两年来的共同首选。 “各取所需。”姚戴龙对记者说。作为一名创业者，2011年，姚通过在北京注册的一家壳公司，在无锡成立了这家北京公司的子公司。尽管其北京公司连地址都是虚构的，但无锡物联网基地还是给了他超过300平米的办公场所，“基本上算是免费的，而且享受税收减免政策。”姚对此颇为得意。有了正式的公司之后，姚开始四处寻找投资人，准备做基于Android的平板电脑业务。在他看来，当地政府既不关心云计算、物联网是什么，也从未想要去关心，“他们要的是政绩，引入了多少家公司最重要，至于这些公司的实力，或许没有多少人在意。”
　　偏离的推动力
　　“当前最大的问题，不是中国云计算业务缺乏需求和推动力，而是需求很旺盛。总体上地方政府推动云计算的初衷是良好的，但在实际的运作过程中，或多或少因为其他一些因素，导致云计算的推动力指向有所偏离。”工业和信息化部信息化推进司司长徐愈接受《财经国家周刊》记者专访，含蓄地表达了对一些地方政府推动云计算方式方法的批评。
　　市场调研机构赛迪顾问，更是在一份针对云计算的报告中称，中国云计算应用“缺少统筹规划、对应用领域研究梳理不够、示范项目仓促上马、投资风险增大”。
　　“发改委以中央补助经费的方式，为云计算应用发放补助金，本身就带了一个不好的头。”工信部电信研究院某高级研究员对记者说。
　　2011年10月，发改委、工信部、财政部等三部委拨款15亿元，成立国家战略新兴产业云计算示范工程专项资金，并迅速对12个企业项目进行了首批8亿元资金的发放。据了解，国家战略新兴产业云计算示范工程专项资金，主要面向目标是已经公布的试点五城市范围内企业，因此获得基金支持的公司范围相对较小，而单个企业由此获益良多。
　　与此类似，科技部联合财政部，也有类似资金用于推进“云计算”的发展，该类资金分散于国家863计划和火炬计划之中。
　　然而，在该研究员看来，正是这样的标志性和象征意义的补贴，使得“地方政府大搞对云计算的支持，从给钱给地，最后发展到圈钱圈地，既然云计算对于企业自身，或者对于地方产业生态链，能够构成节约成本、效率增加，又何必进行大规模的资金或土地补贴？”该研究员称，当前最为复杂的，不是如何推动云计算的概念被认同，也不是对云计算业务类型缺少的担忧，而是地方政府和部分企业利用云计算的噱头，做和云计算不相关的利益攫取和再分配问题。
　　“以阿里巴巴为例，这个公司旗下的阿里云，单独从国家层面获得的项目补助金大概有1.5亿元，一个商业公司在做一项从长期看对自身而言是有益的事情，使用的却是国家政府和地方政府的补助金，这无论是从名义上还是商业规则上，都不符合逻辑。”他说。
　　该高级研究员表示，由工信部主导推动云计算，是必要之举，与之对应，发改委和财政部进行支持，也是必要之举。“但是否直接以补助的方式发放给企业，我个人觉得值得商榷。” 他认为，阿里云作为一家商业性公司，当政府有政策可以拿到钱，它就会积极争取，从商业公司的角度而言，是完全正当的，“但三部委在支持方式上，是否当前的方式就是最佳的，或许还应该更为慎重一些。”
　　“说到底，云计算应该是企业的事情，来自政府支持有必要，但不应该是现在这样的支持方式。”上述研究员对《财经国家周刊》记者表示。
　　“蘑菇云”
　　随着一些地方政府认为，借助“云计算”三个字，既能获得推动地方科技产业发展的口碑，又能获得征地圈地的实际，还能在此基础之上，完成招商引资的政绩，一举多得，云基地建设的热潮立即席卷中国。
　　而在此之中，地方政府与企业在云计算的发展过程中，正扮演着相互借力的角色。
　　以杭州为例，该城市能够入选发改委和工信部首批五个试点城市名单，主要正是得益于阿里巴巴。同样，阿里巴巴也从杭州市地方政府的云计算产业发展规划中，获益良多。
　　尽管如此，杭州发展云计算的工作，在整个中国的云计算大版图中，仍然属于较为扎实的类型。直到2011年10月，杭州云计算产业园才正式落户于塘科技经济园区。同时，虽然制订了总规模30万平米、200家云计算企业的目标，杭州云基地的首期面积仅为2万平米整个规划发展并无大踏步的跃进。
　　与之相对应的，则是另外一些地方政府和机构，将政绩目标盲目押宝云计算的扩张和诉求，而这一诉求导致的现实结果，让人瞠目结舌。
　　“各地云基地建立的速度越来越快，甚至有些地方不是考虑应用和业务，而是在占地面积、招商引资上盲目攀比，如果对照一个地图的话，你会发现中国几乎所有的地区都在升腾‘云’，越是后来的云越大，现在简直是满眼都是‘蘑菇云’。”北京云基地某负责人说。
　　“主角似乎都转变了，一些地方似乎根本不在乎什么是云计算，而只在乎云基地有多大。”身为云计算产业兴起和发展的亲身经历者，这位人士却表示无法理解各地方政府，对云计算如此多方向、多层次的利用程度，是出于何种思维和理由。各地纷纷成立云计算产业联盟，并以此为理由大肆建设云计算产业园的情况，在2011年几乎达到失控状态。出手云基地的地方政府，甚至从省级、地市级，扩展到一些县级政府。
　　“甚至一些极内地的县级政府，动辄号称数千亿推动云计算、云基地的做法，简直是可笑之极。”电信专家付亮对《财经国家周刊》记者表示。此前，内蒙多伦县宣布将建设总投资额高达近2000亿元、总量超过500万台服务器的云计算数据中心，该县政府表示该项目为多伦县和北京合作项目，基地建成后将形成888亿元产值、65亿元税收的规模。更有甚者，多伦县县长霍锦炳表示，该云产业基地能够带动新增就业2.5万人，而整个多伦县人口仅有10.5万人。
　　同样铺张的还有江苏宿迁。作为1996年由县级升格为地市的宿迁，该市经济开发区面积就高达105平方公里（相对比，北京市经济技术开发区总体规划面积不过46.8平方公里）。2011年第四季度，宿迁市政府开始力推“全国云计算研发、应用及展示的综合性示范基地”建设。《财经国家周刊》记者致电宿迁经济开发区工作人员时，一位不愿意透露姓名的人士表示，对建立云计算基地一事，不太了解，并表示“这个事情是市里领导才能说的，我们不能接受采访”。
　　对此，原信息产业部部长吴基传一针见血地表示，“现在不少地方连云计算的概念、作用都没搞清楚，就匆忙圈云基地，搞大规模的服务器托管，那不叫云，那叫浪费，那叫烧钱。”
　　上述研究员则认为，出现地方政府一窝蜂上马云基地的主要原因，还是两个方面：第一是围绕云基地云计算的招商引资噱头，成为政绩体现的重要途径；第二就是地方政府在利用云基地概念进行圈地，进行地产商业活动，在最近两年成为比较便利的通道。
　　冲动的惩罚
　　《财经国家周刊》记者获悉，金融大鳄乔治?索罗斯(George Soros)正在考虑是否对其投资的一家中国基金公司提起诉讼。该基金主要运作方向为“云计算”和“云基地”，而索罗斯向该基金投资3亿美元时长达6年之后，该基金旗下企业并没有实现任何一家公司上市或成长为大中型企业。
　　“中国企业的‘云计算’泡沫正在快速走向破灭。”第五媒体研究中心副秘书长赵毅对《财经国家周刊》记者表示，“各地纷纷出台的三年计划、五年计划，更多是在笼统的层面进行描述，却无一探讨过‘云计算’应具备的商业模式类型、本地云计算企业的层次区分等问题。”
　　而在云计算泡沫之上，圈钱圈地，成为企业联合地方政府进行商业投机的主要手段。“云计算、‘雾’联网，成为两大忽悠经费、土地（的）工具。” 创新工场董事长兼CEO李开复说。
　　尽管大家都在讲云计算，但真正研究产品以及落地的却很少，可以说是‘雷声大，雨点小’。”针对当前国内云计算产业现状，微软全球资深副总裁张亚勤表示，很多地方花费巨资建数据中心，却没有任何具体应用，多个地方政府投巨资圈地买服务器建数据中心，是新版本的房地产商业。”
　　即便是在新型经济发展最为发达的北京和上海两地，云计算发展仍然形式大于内容。根据上海市政府发布的“云海计划”（即《上海推进云计算产业发展行动方案（2010-2012年）》三年行动方案），以及北京市政府发布的“祥云计划”（即《北京“祥云工程”行动计划(2010-2014)》），对于培育的企业实力、产业规模和产业链规模，虽然给出了具体的金额目标，但具体如何界定、如何评估，到目前甚至没有一套完整的可衡量标准。
　　“在设计阶段轮胎定位就不准的汽车，行进过程中不仅没有意识去纠正方向，甚至再度故意跑偏，这样的汽车怎么可能开到预定的地点？”第一云网CEO王继磊对《财经国家周刊》表示。
　　《财经国家周刊》从相关部委获悉，政府已经在内部讨论云计算泡沫给ICT产业带来的风险，并正在加紧研究如何从政策层面加以控制。“但更重要的问题是，在现有的云计算泡沫之上，地方政府仍然在大力推升泡沫程度，这使得来自主管部委的垂直指导，显得力不从心。”该部委相关领导对记者表示。

导读：Yahoo CTO Raymie Stata是领导海量数据分析引擎的关键人物。IBM和Hadoop将更多的精力专注在海量数据上，海量数据正在潜移默化的改变企业和IT部门。
 
越来越多的大企业的数据集以及创建需要的一切技术，包括存储、网络、分析、归档和检索等，这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。
信息技术研究和分析的公司Gartner认为海量数据处理应该是将大量的不同种类以及结构化和非结构化的数据通过网络汇集到处理器和存储设备之中，并伴随着将这些数据转换为企业的商业报告。
海量数据处理的三个主要因素：大容量数据、多格式数据和速度
大容量数据（TB级、PB级甚至EB级）：人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑战，数据的存储和安全以及在未来访问和使用这些数据已成为难点。
多格式数据：海量数据包括了越来越多不同格式的数据，这些不同格式的数据也需要不同的处理方法。从简单的电子邮件、数据日志和信用卡记录，再到仪器收集到的科学研究数据、医疗数据、财务数据以及丰富的媒体数据（包括照片、音乐、视频等）。
速度：速度是指数据从端点移动到处理器和存储的速度。
 
Kusnetzky集团的分析师Dan Kusnetzky在其博客表示“简单的说，大数据是指允许组织创建、操作和管理的庞大的数据集和存储设施工具”。这是否意味着将来将会出现比TB和PB更大的数据集吗？供应商给出的回应是“会出现”。
他们也许会说“你需要我们的产品来管理和组织利用大规模的数据，只是想想繁杂大量的维护动态数据集带来的麻烦就使人们头疼“。此外海量数据的另外一个价值是它可以帮助企业在适当的时机作出正确决策。
 
从历史上看，数据分析软件面对当今的海量数据已显得力不从心，这种局面正在悄然转变。新的海量数据分析引擎已经出现。如Apache的Hadoop、LexisNexis的HPCC系统和1010data（托管、海量数据分析的平台供应商）的以云计算为基础的分析服务。
101data的高级副总裁Tim Negris表示海量数据的收集以及存放和利用海量数据实际上完全是两回事。在做任何事前需要大量（准备数据）的工作是像Oracle和大多数数据库厂商所面临的难题之一。我们正是要消除这个难题，并把数据直接交到分析师的手中。Hadoop和HPCC系统做到了这一点。这三个平台都着眼于海量数据并提供支持。
开源的Hadoop已经在过去5年之中证明了自己是市场中最成功的数据处理平台。目前Cloudera的首席执行官和Apache基金会的Doug Cutting是Hadoop的创始人，他曾在Yahoo工作过。
Hadoop将海量数据分解成较小的更易访问的批量数据并分发到多台服务器来分析（敏捷是一个重要的属性，就像你更容易消化被切成小块的食物）Hadoop再处理查询。
“Gartner和IDC的分析师认为海量数据的处理速度和处理各种数据的能力都是Hadoop吸引人们的地方”。Cloudera的产品副总裁Charles Zedlewski说到。
在Cutting和他的Yahoo团队提出Hadoop项目之后，在Yahoo IT系统测试并广泛使用了很多年。随后他们将Hadoop发布到开源社区，这使得Hadoop逐渐产品化。
在Cutting和Yahoo在开发、测试并内部运行代码时，他们了解到使用起来还是很复杂的。这导致他们马上意识到如果在未来提供周边服务（例如提供直观的用户界面、定制部署和附加功能软件）可赚取更多的资金。
 
在2009年Cloudera作为一家独立公司开始运营，公司产品采用开源并产品化Hadoop分析引擎和Cloudera企业版（Cloudera Enterprise整合了更多的工具，包括Hive、HBase、Sqoop、Oozie、Flume、Avro、Zookeeper、Pig和Cloudera Desktop）。
Cloudera得到了大量投资者的青睐，这其中包括VMware的创始人和前首席执行官Diane Greene、Flickr的联合创始人Caterina Fake、MySQL前首席执行官Marten Mickos、Linkedln总裁Jeff Weiner和Facebook CFO Gideon Yu。
自从Cloudera成立以来，只有少数的顶级公司和初创公司免费提供他们基于Hadoop开放源代码架构制作的自己的版本。
这是一场真正的企业科技的竞争。就像在一场接力赛中，所有选手都必须使用同一种类型的接力棒（Hadoop的代码）。企业竞争主要集中在处理数据的速度、敏捷性和创造性上。这场竞争是迫使大多数企业在海量数据分析市场有所作为最有效的方法。
IBM提供了基于Hadoop的InfoSphere BigInsights（IBM InfoSphere BigInsights 是用于分析和虚拟化海量数据的软件和服务，这款新产品由 Apache Hadoop 提供技术支持。）基本版和企业版。但公司有更大的计划。
IBM CEO Sam Palmisano表示IBM正在将新一代数据分析作为公司的研发重点，IBM在此项目上投资了1亿美元。IBM院士和计算机科学研究室主任Laura Haas表示IBM实验室的研究远远超出了海量数据的范围，并已经着手”Exadata“分析研究。Watson就是IBM在数据海量数据研究的成果，Watson将用于更多用途，包括卫生保健、科学研究等。
其他Hadoop版本
MapR发布了一个分布式文件系统和MapReduce引擎，MapR还与存储和安全的领导厂商EMC合作向客户提供了Greenplum HD企业版Hadoop存储组件 。EMC Hadoop的另一个独特之处在于它没有采用官方版本的Apache代码，而是采用Facebook的Hadoop代码，后者在可扩展性和多站点部署上进行了优化。
另一家厂商 Platform Computing，Platform提供了与Apache Hadoop MapReduce编程模型完全兼容的分布式分析平台，并支持多种分布式文件系统。
 
SGI（Silicon Graphics International ）提供基于SGI Rackable和CloudRack服务器产品实施服务的Hadoop优化解决方案。
戴尔也开始出售预装该开源数据处理平台的服务器。 该产品成本随支持选项不同而异，基础配置价格在11.8万美元至12.4万美元之间，包含为期一年的Cloudera支持和更新，6个PowerEdge C2100服务器（2个管理节点，1个边缘节点和3个从站节点，以及6个戴尔PowerConnect 6248交换机）。
替代品浮出水面。包括1010data的云服务、LexusNexis公司的Risk，该系统在10年间帮助LexusNexis公司分析大量的客户数据，并在金融业和其他重要的行业中应用。LexusNexis最近还宣布要在开源社区分享其核心技术以替代Hadoop。LexisNexis公司发布一款开源的数据处理方案，该技术被称为HPCC系统。
HPCC可以管理、排序并可在几秒钟内分上亿条记录。HPCC提供两种数据处理和服务的方式——Thor Data Refinery Cluster和Roxy Rapid Data Delivery Cluster。Escalante表示如此命名是因为其能像Thor(北欧神话中司雷、战争及农业的神)一样解决困难的问题，Thor主要用来分析和索引大量的Hadoop数据。而Roxy则更像一个传统的关系型数据库或数据仓库，甚至还可以处理Web前端的服务。
LexisNexis CEO James Peck表示我们认为在当下这样的举动是对的，同时我们相信HPCC系统会将海量数据处理提升到更高高度。
 
在2011年6月Yahoo和硅谷风险投资公司Benchmark Capital周二联合宣布，他们将联合成立一家名为Hortonworks的新公司，接管被广泛应用的数据分析软件Hadoop的开发工作。
据一些前Yahoo员工透露，从商业角度来看Hortonworks将保持独立运营，并发展其自身的商业版。
在转型时期，Yahoo CTO Raymie Stata成为关键人物，他将负责公司所有IT项目的发展。Stata表示相对于Yahoo，在Hortonworks我们会投入更多的精力在Hadoop的工作和相关技术上，我们认为应加大对Hadoop的投资。我们会将一些关键人员指派到Hortonworks公司，但这既不是裁员也不是分拆。这是在加大对Hadoop的投入。Yahoo将继续为Hadoop的发展做出更大的贡献。
Stata解释说，Yahoo一直有一个梦想，就是将Hadoop变为大数据分析软件的行业标准。但是这必须将Hadoop商业化。Stata表示创建Hortonworks的主要原因是因为Yahoo已经看到了未来企业分析（感谢Hadoop 6年以来的发展）的未来，并知道该怎样去做。我们看到海量数据分析将很快成为企业非常普遍的需求。
我们将Hadoop部署在企业之中，我不认为所有人都否定这样的解决方案。我们要通过Hadoop为我们的股东创造价值。如果某一天Hadoop成为海量数据处理的行业标准，这将是对我们最好的奖赏。

Hadoop为何物？
虽说Hadoop的名声很大，但是总还是有同学不太了解的，这里一笔带过一下。
Google分布式计算三驾马车：
Hadoop的创始源头在于当年Google发布的3篇文章，被称为Google的分布式计算三驾马车（Google还有很多很牛的文章，但是在分布式计算方面，应该这三篇的影响力最大了）：，链接的文章比我介绍得更清晰，当然最好还是看看原文了，这是做分布式系统、分布式计算的工程师必修课。
Google File System用来解决数据存储的问题，采用N多台廉价的电脑，使用冗余（也就是一份文件保存多份在不同的电脑之上）的方式，来取得读写速度与数据安全并存的结果。
Map-Reduce说穿了就是函数式编程，把所有的操作都分成两类，map与reduce，map用来将数据分成多份，分开处理，reduce将处理后的结果进行归并，得到最终的结果。但是在其中解决了容错性的问题。
BigTable是在分布式系统上存储结构化数据的一个解决方案，解决了巨大的Table的管理、负载均衡的问题。
Google就靠着这几样技术，在搜索引擎和广告方面取得了举世瞩目的成就。不过Google不是傻的，这三篇文章虽然都是干货，但是不是直接就可以用的。话说Google发表了这三篇文章后，在学术界引起了轩然大波，大家对这三样东西提起了浓厚的兴趣，都想着是不是可以实现一下，以为己用。
Doug Cutting：
Doug Cutting之前是一个非常有名的开源社区的人，创造了nutch与lucene（现在都是在Apache基金会下面的），nutch之前就实现了一个分布式的爬虫抓取系统。等Google的三驾马车发布后，Doug Cutting一看，挖靠这么厉害的技术，于是就实现了一个DFS(distributed file system)与Map-Reduce（大牛风范啊），集成进了Nutch，作为Nutch的一个子项目存在。那时，是2004年左右。
在互联网这个领域一直有这样的说法：
“如果老二无法战胜老大，那么就把老大赖以生存的东西开源吧”
当年与Google还是处在强烈竞争关系的Yahoo!于是招了Doug兄进来，把老大赖以生存的DFS与Map-Reduce开源了。开始了Hadoop的童年时期。差不多在2008年的时候，Hadoop才算逐渐成熟。
现在的Hadoop:
现在的Hadoop不仅是当年的老二Yahoo的专用产品了，从Hadoop长长的用户名单中，可以看到Facebook,可以看到Linkedin，可以看到Amazon，可以看到EMC, eBay，Tweeter，IBM, Microsoft, Apple, HP…(后面的一些未必是完全使用)。国内的公司有淘宝、百度等等。
我来定义一下Hadoop：
Hadoop是一套开源的、基础是Java的、目前能够让数千台普通、廉价的服务器组成一个稳定的、强大的集群，使其能够对pb级别的大数据进行存储、计算。已经具有了强大稳定的生态系统，也具有很多使用的延伸产品。比如做查询的Pig, 做分布式命名服务的ZooKeeper, 做数据库的Hive等等。
为什么世界上只有一个Hadoop？
我的前公司是国内某一个著名互联网公司的子公司，专注做云计算，我也在这个公司最兴盛的时候进入，当时宣传的口号是“做最好的云计算”，就是希望自己开发一套存储计算系统（就是类似于前面提到过的dfs与map-reduce），并且克服一些Hadoop的缺点（比如说用c++去实现，克服Java的一些性能问题）。后来结局可能大家也猜到了，投入了很多钱，招了不少牛人，确实也做出了还算不错的云计算（至少在国内是数一数二的）。但是最终不管从稳定性还是效率上还是scalable来说，都远远被Hadoop甩在了后面。虽然我前公司这个云计算项目是否会成功，这里没办法预测，但是前途终究还是比较黯淡的。
最近一年还听说国内不少的互联网巨头都成立了云计算部门，做“自己的”云计算，有些小得像创业时期一样的公司，都宁愿自己写一套map-reduce框架，不愿意直接使用Hadoop。可能这个跟国人的想法，武功秘笈一定要自己藏着，不让别人学，传男不传女。对别人白给你的东西，非常不放心，觉得大家都能学到的东西，肯定竞争力是不够的。
除开心态问题不谈，但从技术实力上来说，一般国内公司的核心开发团队的能力和当年的Yahoo!比，还是有非常大的差距的，至少像是Doug兄这样的大牛是很罕见的，从开发者的实力来说，就差了不止一个档次。
其次从积累来说，Hadoop从初创到现在也经过了至少7年的积累的，碰到过很多刁钻客户的问题都慢慢克服了（比如Facebook的超大数据存储），带给用户的经验教训是很充足的，比如说性能调优这一块，就有非常多的文章去介绍。而自己开发一个，什么都需要从头再来。
最后也是最重要的是，Hadoop形成了一个强大稳定的生态系统，里面有生产者（共享改进的代码、fix bug），也有消费者（使用项目并且反馈经验），Hadoop的用户也可以获得较大的经济利益（不花钱买软件，还可以增加效率）。对于一个开源社区来说，构建出一个完整的生态系统是非常非常的困难，一旦构造出来了，项目就会很稳定的往前去进步。
Hadoop的优势
之前分析了一些“虚”的东西，比如生态系统什么的，这里说说一些实际的东西。
Benchmark:
Hadoop现在保持了很多漂亮的记录：
存储：现在世界上最大的Hadoop集群目前在Facebook，可以存储30PB的数据
计算：Hadoop是目前Terasort记录的保持者（参见：http://sortbenchmark.org/)，Terasort是给出1TB的随机数据，看谁能够在最短的时间内完成排序，Hadoop使用了1400多个节点，在2分钟内完成1T的数据排序。
这里顺便说一下，之前给出网站里面有很多的benchmark，可以看到Hadoop的集群是最大的，使用的机器最多的，像是TritonSort这样的集群，使用了区区50多个节点，最终的结果并不比Hadoop差太多，但是这里得注意一下。TritonSort是专门用来做排序的，里面加入了相当多的优化，但是Hadoop是一个通用的集群，并没有为了一种任务进行如此多的优化。从用户的角度上来说，愿意花钱去买一个只会排序的电脑是意义不那么大的。
注：左右两边属于两种不同的terasort，hadoop是其中一种的记录保持者
能做什么？
前面说的基本的存储和计算Hadoop是一定能胜任的，下面谈谈一些“高级”的功能。
常见的数据库操作，比如orderby、select这样的操作都可以的，Hive就是支持这样的Sql模型，能够将Sql语句最终转化到Map-Reduce程序中去。其性能和可用性已经得到了证明，Facebook就用它做了不少的数据分析的工作
常见的机器学习、矩阵分析算法，目前Mahout作为一个发展迅速的项目，在逐渐填补Hadoop在机器学习领域的空白，现在常见的分类、聚类、推荐、主成分分析算法（比如SVD）都已经有相应的Map-Reduce实现了。虽然目前从用户群和效率上来说是不够的，但是从它的发展来说应该会很快的达到工业界的标准
Hadoop的劣势
现在Hadoop依然有很多的问题没有解决，这让有些人非常的怀疑Hadoop的未来，这里谈谈Hadoop的一些重要的劣势
HA(High Availability)高可用性:
这一点是Hadoop非常弱的一个缺点，不管是Hdfs还是Map-reduce，都是采用单master的方式，集群中的其他机器都是与一台中心机器进行通信，如果这个中心机器挂了，集群就只有不工作了（不一定数据会丢失，但是至少需要重启等等工作)，让可用性变得更低。这个一般叫做单点失败(single point of failure,SPOF)。
虽然现在有些公司已经给出了解决方案，比如EMC就有用Vmware搭建虚拟集群，对master节点进行镜像备份，如果master挂掉，那么立刻换上镜像备份的机器，使其可用性变高，不过这个终究不是一个内置的解决方案，而且Vmware这一套东西也并不便宜。
不过之后这个问题将会得到非常好的解决，我在Hadoop的未来这一章将说以说。
Hadoop目前解决得不那么好的一些算法：
Join等:
Map-Reduce还有一个问题是，对于Join这个最常见的数据库操作，支持力度还是不够，特别是针对那种上TB的数据，Join将会很不给力，现在已经有了一些解决方案，比如说SIGMOD’2010的这篇文章：
A Comparison of Join Algorithms for Log Processing in MapReduce
不过在现在的情况下，只有尽量的避免大数据库的Join操作
需要进行很多轮迭代、循环的算法：
对于循环，Map-Reduce稍好，比如矩阵计算，高斯消元法这样的，循环的次数的确定的算法，实现起来还是不难，只是有点慢。但是迭代就更麻烦了，因为现在的Map-Reduce的mapper和reducer是不太方便去弄这样的终止条件。
还有就是迭代次数超多的算法（比如说矩阵的SVD分解），在超大矩阵的情况下，迭代次数可能会上亿次。而Map-Reduce在每次迭代的时候都会把数据往文件里面读写一遍，这样的浪费的时间是巨大的。
其实Map-Reduce不是绝对没有办法去解决这些问题，而只是现在这个还不是最重要的日程，Hadoop还有很多很多的东西可以优化，比如说前面提到的HA，这些东西只有往后放放，我将在之后的Hadoop的未来部分，谈谈未来版的Hadoop怎么去解决这些问题。
编程复杂，学习曲线陡峭：
对于一般的map-reduce框架，hello world程序就变成了word count，就是给出一堆的文本文件，最终统计出里面每一个不同的单词出现的次数，这样一个简单的任务（可能在linux shell下一行就写出来了），在Map-reduce中需要几十行，一般新人从理解word count到写出自己的word count，到跑通，一个星期是肯定需要的。这样陡峭的学习曲线让许多人难以深入。
另外还有一点Hadoop被人所诟病的是，代码丑陋，虽然Hadoop是用高级语言Java写成的，但是里面对每一个步骤都要分成mapper和reducer，这个被戏称为新时代的汇编语言。
一般来说，做数据分析的人程序都写得不咋地（强哥这样的达人除外），能写写matlab，R，或者spss就差不多了，如果要让他们去写map-reduce，那就等于叫他们别干活了。而大数据的重要的作用就是用来做数据分析，Hadoop的未来发展必须得抓住这群数据分析师的心。
其实现在已经有一些实验中的产品，让用户可以用高级语言编程，不会再看到丑丑的map-reduce了。我在前公司的时候就与团队一起做了还不错的尝试，至少，数据分析师可以用Python来编程了。map-reduce变成了一个底层的东西，现在不是某些人在分析性能的时候就贴上汇编代码吗，之后可能会变成在前段的程序效率不行的时候，就贴上后端Java的map-reduce程序。
所以对这个难题之后肯定会解决掉，底层分布式程序开发与用户将被清楚的分开，之后想要写word-count一定会像hello world一样简单。
Hadoop的未来怎么样？
http://www.slideshare.net/hortonworks/apache-hadoop-023 (hadoop 0.23)
给出这样的一个官方文档，谈谈之后的hadoop的发展。目前的hadoop的稳定版是0.20.x，这个0.23是个未来版，估计将在今年的Q4进行beta的发布（目前看起来，至少代码是写了很多了） 。
HDFS Federation
首先是一个叫做HDFS Federation的东西，它将hdfs的命名空间进行了扩展，目前的HDFS的所有文件的meta信息都保存在一台机器的内存中，使得HDFS支持的文件数目是有限的，现在进行了这样改动后，将hdfs的命名空间做成了分布式的，对之后方便对不同的用户文件夹进行管理，还有从HDFS的实现上来说，都会更为简单。
下一代的Map-Reduce：
节点数：从目前的4000增加到6000-10000台
并发的任务数:从目前的40000增加到100000
更高级的硬件支持，目前支持的硬件主要是8core, 16G ram, 4T disk, 之后将会支持16+core, 48/96G ram, 24/48T disk
架构的改变，对现在的JobTracker-TaskTracker的结构做了很大的改进，现在会用ZooKeeper去保存master的状态，避免了之前提到的SPOF
更多的编程模式的支持（这个很重要）
比如MPI，迭代程序的处理，并且在Hadoop中运行这些类型的编程模式，并且这些程序将会被Hadoop统一管理
总结
之前谈了Hadoop的优势、劣势等等，综合来说就是，优势是很明显的（比如这么多牛公司在用，并且也贡献了很多的代码），远远超出了其他的分布式系统，劣势虽然不小，但是改进这些不足的地方是在计划中，已经在实施了。而且Hadoop不仅在学术界或者是工业界，都有很高的地位，综合了这些天时地利人和，那前途还是非常光明的
http://www.uplook.cn/kbase-Index-show-view13434.html?uid=173

职位名称：Hadoop工程师
职位年薪：20-30万工作地点：北京
招聘企业：某知名上市互联网公司所属部门：技术部所属行业：互联网·电子商务,基金·…汇报对象：开发经理企业性质：国内上市公司下属人数：0企业规模：5000-10000人
岗位职责
岗位职责：
1. 将投入到对hadoop、hive、hbase等相关产品进行预言、开发、应用中；
2. 解决海量数据不断增长面临的挑战，解决业务需求。
任职资格：
1. 熟练使用java集合类，IO，并发编程；
2. 熟悉jvm运行机制及内存管理；
3. 熟悉Linux/Unix操作系统，熟悉脚本编程(Shell/Perl/Python其中一种）；
4. 了解HADOOP原理，对于分布式系统有一定了解；
5. 有优秀的学习能力，具有强烈的主观能动性；
6. 计算机或相关专业本科或以上学历。
岗位要求
学历要求：全日制统招本科或以上性别要求：不限语言要求：普通话专业要求：不限年龄要求：25-35总工作年限：2年以上
任职资格的具体描述：
岗位职责：
1. 将投入到对hadoop、hive、hbase等相关产品进行预言、开发、应用中；
2. 解决海量数据不断增长面临的挑战，解决业务需求。
任职资格：
1. 熟练使用java集合类，IO，并发编程；
2. 熟悉jvm运行机制及内存管理；
3. 熟悉Linux/Unix操作系统，熟悉脚本编程(Shell/Perl/Python其中一种）；
4. 了解HADOOP原理，对于分布式系统有一定了解；
5. 有优秀的学习能力，具有强烈的主观能动性；
6. 计算机或相关专业本科或以上学历。
薪酬福利
职位年薪：20-30万薪资构成：底薪年假福利：国家标准社保福利：国家标准
—————————————————————————————————————————–
职位名称：Hadoop开发工程师
职位年薪：15-18万工作地点：北京
招聘企业：某互联网广告公司所属部门：IT部门所属行业：互联网·电子商务,广告·…汇报对象：部门负责人企业性质：私营·民营企业下属人数：0企业规模：100-499人
岗位职责
1、负责搭建hadoop集群，并维护与管理；
2、负责hadoop平台上的数据存储，数据维护和优化；
3、负责编写pig,hive等分析脚本；
4、负责把分析结果导入到数据库中,为BI提供基础数据分析。
岗位要求
学历要求：全日制统招本科或以上性别要求：不限语言要求：普通话专业要求：不限年龄要求：25-40总工作年限：3年以上
任职资格的具体描述：
1、本科以上学历，3年以上相关工作经验；
2、对数据结构、算法有深刻理解；
3、熟悉linux开发环境；
4、熟悉python、shell、perl中的一种；
5、有hadoop集群部署和开发经验；
6、熟悉pig,hive,hbase, spooq,flume,scribe(优先考虑)；
7、熟悉java开发(精通优先考虑)。
薪酬福利
职位年薪：15-18万薪资构成：底薪年假福利：国家标准社保福利：国家标准居住福利：住房补贴

开源云计算技术有很多， 包括Eucalyptus、OpenNebula和OpenStack等。其中很多开源技术都存在商业版，导致开源的版本功能很少或者不完善。我选择用OpenStack来实现开源云构建，因为OpenStack是完全开源的技术，没有任何收费版本或者商业版本。OpenStack是由Rackspace和NASA共同开发的云计算平台，帮助服务商和企业内部实现类似于Amazon EC2和S3的云基础架构服务（Infrastructure as a Service，IaaS）。OpIenStack包含两个主要模块：Nova和Swift，前者是NASA开发的虚拟服务器部署和业务计算模块；后者是Rackspack开发的分布式云存储模块，两者可以一起用，也可以分开单独用。OpenStack除了有Rackspace和NASA的大力支持外，后面还有包括Dell，Citrix，Cisco，Canonical这些重量级公司的贡献和支持，发展速度非常快，有取代另一个业界领先开源云平台Eucalyptus的态势。
开源云技术构建
随着信息建设的发展，每个单位的信息中心都会面临越来越多的服务器和越来越多的部门需要自己的服务器。原来单位里是按照部门给分配服务器，这样虽然看起来很好，每个部门有自己的服务器。但是资源浪费很大，因为并不是每个部门都可以把服务器资源使用到满负荷，而且每个部分还要有人管理服务器的硬件维护。虚拟化可以很好的解决这个问题，但是对于多服务器的资源整合和动态分配，资源的统一管理等方面虚拟化并不能全部解决。
我们的想法是在企业的信息中心建立企业内部的私有云。将闲置的服务器资源组成企业的私有云平台来为各个部门服务。考虑到初期的建设难度和技术门槛，我们开始完全可以基于开源的OpenStack技术从原来的虚拟化过度到IaaS（基础设施即服务）的云平台上面。
OpenStack总体上分为三个部分组成Nova、Swift和Glance。Nova负责云计算平台的资源管理。Swift是存储模块，负责映像存储、备份和归档等。Glance是映像服务模块，负责云平台中虚拟化系统的映像管理。OpenStack每个模块之间是无关联的，我们可以将所有模块部署在一台服务器，也可以部署在多台服务器。作为初步体验云平台，我们完全可以用2台服务器加一台客户机来实现云计算平台的部署。具体部署可以参考OpenStack的官方手册，这里就不在列出。随着云的建立，我们可以将单位中各个部门的服务器全部放在云里。每个部门的服务器其实就是云里的一个虚拟化实例，所有数据统一存储在Glance模块创建的卷里。每个实例可以很方便的在云里不同的硬件服务器中迁移和动态分配不同的资源给实例。
随着信息化发展，云计算平台将会越来越普及。企业早一步实现自己的云平台，就能在将来的发展中具有更大优势。通过云的应用，可以降低信息化建设成本并降低各部门重复投资的硬件与管理成本。而且目前开源云技术已经日趋成熟和稳定，完全可以满足企业的日常需要。

2004年– 最初的版本(现在称为HDFS和MapReduce)由Doug Cutting和Mike Cafarella开始实施。
2005年12月– Nutch移植到新的框架，Hadoop在20个节点上稳定运行。
2006年1月– Doug Cutting加入雅虎。
2006年2月– Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。
2006年2月– 雅虎的网格计算团队采用Hadoop。
2006年4月– 标准排序(10 GB每个节点)在188个节点上运行47.9个小时。
2006年5月– 雅虎建立了一个300个节点的Hadoop研究集群。
2006年5月– 标准排序在500个节点上运行42个小时(硬件配置比4月的更好)。
06年11月– 研究集群增加到600个节点。
06年12月– 标准排序在20个节点上运行1.8个小时，100个节点3.3小时，500个节点5.2小时，900个节点7.8个小时。
07年1月– 研究集群到达900个节点。
07年4月– 研究集群达到两个1000个节点的集群。
08年4月– 赢得世界最快1 TB数据排序在900个节点上用时209秒。
08年10月– 研究集群每天装载10 TB的数据。
09年3月– 17个集群总共24 000台机器。
09年4月– 赢得每分钟排序，59秒内排序500 GB(在1400个节点上)和173分钟内排序100 TB数据(在3400个节点上)。

Hadoop这个名字不是一个缩写，它是一个虚构的名字。该项目的创建者，Doug Cutting如此解释Hadoop的得名：”这个名字是我孩子给一头吃饱了的棕黄色大象命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子是这方面的高手。Googol就是由小孩命名的。”
Hadoop及其子项目和后继模块所使用的名字往往也与其功能不相关，经常用一头大象或其他动物主题(例如：”Pig”)。较小的各个组成部分给与更多描述性(因此也更俗)的名称。这是一个很好的原则，因为它意味着可以大致从其名字猜测其功能，例如，jobtracker 的任务就是跟踪MapReduce作业。
从头开始构建一个网络搜索引擎是一个雄心勃勃的目标，不只是要编写一个复杂的、能够抓取和索引网站的软件，还需要面临着没有专有运行团队支持运行它的挑战，因为它有那么多独立部件。同样昂贵的还有：据Mike Cafarella和Doug Cutting估计，一个支持此10亿页的索引需要价值约50万美元的硬件投入，每月运行费用还需要3万美元。 不过，他们相信这是一个有价值的目标，因为这会开放并最终使搜索引擎算法普及化。
Nutch项目开始于2002年，一个可工作的抓取工具和搜索系统很快浮出水面。但他们意识到，他们的架构将无法扩展到拥有数十亿网页的网络。在 2003年发表的一篇描述Google分布式文件系统(简称GFS)的论文为他们提供了及时的帮助，文中称Google正在使用此文件系统。 GFS或类似的东西，可以解决他们在网络抓取和索引过程中产生的大量的文件的存储需求。具体而言，GFS会省掉管理所花的时间，如管理存储节点。在 2004年，他们开始写一个开放源码的应用，即Nutch的分布式文件系统(NDFS)。
2004年，Google发表了论文，向全世界介绍了MapReduce。 2005年初，Nutch的开发者在Nutch上有了一个可工作的MapReduce应用，到当年年中，所有主要的Nutch算法被移植到使用MapReduce和NDFS来运行。
Nutch中的NDFS和MapReduce实现的应用远不只是搜索领域，在2006年2月，他们从Nutch转移出来成为一个独立的Lucene 子项目，称为Hadoop。大约在同一时间，Doug Cutting加入雅虎，Yahoo提供一个专门的团队和资源将Hadoop发展成一个可在网络上运行的系统(见后文的补充材料)。在2008年2月，雅虎宣布其搜索引擎产品部署在一个拥有1万个内核的Hadoop集群上。
2008年1月，Hadoop已成为Apache顶级项目，证明它是成功的，是一个多样化、活跃的社区。通过这次机会，Hadoop成功地被雅虎之外的很多公司应用，如Last.fm、Facebook和《纽约时报》。(一些应用在第14章的案例研究和Hadoop维基有介绍，Hadoop维基的网址为http://wiki.apache.org/hadoop/PoweredBy。)
有一个良好的宣传范例，《纽约时报》使用亚马逊的EC2云计算将4 TB的报纸扫描文档压缩，转换为用于Web的PDF文件。 这个过程历时不到24小时，使用100台机器运行，如果不结合亚马逊的按小时付费的模式(即允许《纽约时报》在很短的一段时间内访问大量机器)和 Hadoop易于使用的并行程序设计模型，该项目很可能不会这么快开始启动。
2008年4月，Hadoop打破世界纪录，成为最快排序1TB数据的系统。运行在一个910节点的群集，Hadoop在209秒内排序了1 TB的数据(还不到三分半钟)，击败了前一年的297秒冠军。同年11月，谷歌在报告中声称，它的MapReduce实现执行1TB数据的排序只用了68 秒。 在2009年5月，有报道宣称Yahoo的团队使用Hadoop对1 TB的数据进行排序只花了62秒时间。
构建互联网规模的搜索引擎需要大量的数据，因此需要大量的机器来进行处理。Yahoo！Search包括四个主要组成部分：Crawler，从因特网下载网页；WebMap，构建一个网络地图；Indexer，为最佳页面构建一个反向索引；Runtime(运行时)，回答用户的查询。WebMap是一幅图，大约包括一万亿条边(每条代表一个网络链接)和一千亿个节点(每个节点代表不同的网址)。创建和分析此类大图需要大量计算机运行若干天。在 2005年初，WebMap所用的基础设施名为Dreadnaught，需要重新设计以适应更多节点的需求。Dreadnaught成功地从20个节点扩展到600个，但需要一个完全重新的设计，以进一步扩大。Dreadnaught与MapReduce有许多相似的地方，但灵活性更强，结构更少。具体说来，每一个分段(fragment)，Dreadnaught作业可以将输出发送到此作业下一阶段中的每一个分段，但排序是在库函数中完成的。在实际情形中，大多数WebMap阶段都是成对存在的，对应于MapReduce。因此，WebMap应用并不需要为了适应MapReduce而进行大量重构。
Eric Baldeschwieler(Eric14)组建了一个小团队，我们开始设计并原型化一个新的框架(原型为GFS和MapReduce，用C++语言编写)，打算用它来替换Dreadnaught。尽管当务之急是我们需要一个WebMap新框架，但显然，标准化对于整个Yahoo! Search平台至关重要，并且通过使这个框架泛化，足以支持其他用户，我们才能够充分运用对整个平台的投资。
与此同时，我们在关注Hadoop(当时还是Nutch的一部分)及其进展情况。2006年1月，雅虎聘请了Doug Cutting，一个月后，我们决定放弃我们的原型，转而使用Hadoop。相较于我们的原型和设计，Hadoop的优势在于它已经在20个节点上实际应用过。这样一来，我们便能在两个月内搭建一个研究集群，并着手帮助真正的客户使用这个新的框架，速度比原来预计的快许多。另一个明显的优点是Hadoop 已经开源，较容易(虽然远没有那么容易！)从雅虎法务部门获得许可在开源方面进行工作。因此，我们在2006年初设立了一个200个节点的研究集群，我们将WebMap的计划暂时搁置，转而为研究用户支持和发展Hadoop。

* Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
* HDFS: Hadoop 分佈式文件系統 (Distributed File System) － HDFS (Hadoop Distributed File System)
* MapReduce：并行计算框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API
* HBase: 类似Google BigTable的分布式NoSQL列数据库。（HBase 和 Avro 已经于2010年5月成为顶级 Apache 项目[1]）
* Hive：数据仓库工具，由Facebook贡献。
* Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
* Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。

在了解CPU工作原理之前，我们先简单谈谈CPU是如何生产出来的。CPU是在特别纯净的硅材料上制造的。一个CPU芯片包含上百万个精巧的晶体管。人们在一块指甲盖大小的硅片上，用化学的方法蚀刻或光刻出晶体管。因此，从这个意义上说，CPU正是由晶体管组合而成的。简单而言，晶体管就是微型电子开关，它们是构建CPU的基石，你可以把一个晶体管当作一个电灯开关，它们有个操作位，分别代表两种状态:ON(开)和OFF(关)。这一开一关就相当于晶体管的连通与断开，而这两种状态正好与二进制中的基础状态“0”和“1”对应！这样，计算机就具备了处理信息的能力。
但你不要以为，只有简单的“0”和“1”两种状态的晶体管的原理很简单，其实它们的发展是经过科学家们多年的辛苦研究得来的。在晶体管之前，计算机依靠速度缓慢、低效率的真空电子管和机械开关来处理信息。后来，科研人员把两个晶体管放置到一个硅晶体中，这样便创作出第一个集成电路，再后来才有了微处理器。
看到这里，你一定想知道，晶体管是如何利用“0”和“1”这两种电子信号来执行指令和处理数据的呢？其实，所有电子设备都有自己的电路和开关，电子在电路中流动或断开，完全由开关来控制，如果你将开关设置为OFF，电子将停止流动，如果你再将其设置为ON，电子又会继续流动。晶体管的这种ON与OFF的切换只由电子信号控制，我们可以将晶体管称之为二进制设备。这样，晶体管的ON状态用“1”来表示，而OFF状态则用“0”来表示，就可以组成最简单的二进制数。众多晶体管产生的多个“1”与“0”的特殊次序和模式能代表不同的情况，将其定义为字母、数字、颜色和图形。举个例子，十进位中的1在二进位模式时也是“1”，2在二进位模式时是“10”，3是“11”，4是“100”，5是“101”，6是“110”等等，依此类推，这就组成了计算机工作采用的二进制语言和数据。成组的晶体管联合起来可以存储数值，也可以进行逻辑运算和数字运算。加上石英时钟的控制，晶体管组就像一部复杂的机器那样同步地执行它们的功能。
CPU的内部结构
现在我们已经大概知道CPU是负责些什么事情，但是具体由哪些部件负责处理数据和执行程序呢？
1.算术逻辑单元ALU(Arithmetic Logic Unit) 　　ALU是运算器的核心。它是以全加器为基础，辅之以移位寄存器及相应控制逻辑组合而成的电路，在控制信号的作用下可完成加、减、乘、除四则运算和各种逻辑运算。就像刚才提到的，这里就相当于工厂中的生产线，负责运算数据。
2.寄存器组 RS(Register Set或Registers) RS实质上是CPU中暂时存放数据的地方，里面保存着那些等待处理的数据，或已经处理过的数据，CPU访问寄存器所用的时间要比访问内存的时间短。采用寄存器，可以减少CPU访问内存的次数，从而提高了CPU的工作速度。但因为受到芯片面积和集成度所限，寄存器组的容量不可能很大。寄存器组可分为专用寄存器和通用寄存器。专用寄存器的作用是固定的，分别寄存相应的数据。而通用寄存器用途广泛并可由程序员规定其用途。通用寄存器的数目因微处理器而异。