Hadoop：
Hadoop实战
《Hadoop实战》作为云计算所青睐的分布式架构，Hadoop是一个用Java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式 计算，是谷歌实现云计算的重要基石。《Hadoop实战》分为3个部分，深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实 践技能及Hadoop之外更大的生态系统。
《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。
Hadoop权威指南
本书是您纵情享用数据之美的得力助手。作为处理 海量数据集的理想工具，Apache Hadoop架构是MapReduce算法的一种开源应用，是Google(谷歌)开创其帝国的重要基石。本书内容丰富，展示了如何使用Hadoop构建 可靠、可伸缩的分布式系统，程序员可从中探索如何分析海量数据集，管理员可以了解如何建立与运行Hadoop集群。.
本书完全通过案例学习来展示如何用Hadoop解决特殊问题，它将帮助您：
使用Hadoop分布式文件系统（HDFS）来存储海量数据集，通过MapReduce对这些数据集运行分布式计算..
熟悉Hadoop的数据和I/O构件，用于压缩、数据集成、序列化和持久处理
洞悉编写MapReduce实际应用程序时常见陷阱和高级特性
设计、构建和管理专用的Hadoop集群或在云上运行Hadoop
使用Pig这种高级的查询语言来处理大规模数据
利用HBase这个Hadoop数据库来处理结构化和半结构化数据
学习Zookeeper，这是一个用于构建分布式系统的协作原语工具箱
如果您拥有海量数据，无论是GB级还是PB级，Hadoop都是完美的选择。本书是这方面最全面的参考。
虚拟化:
 
 

【7】天上究竟会有几朵云？
上一章长篇大论地讨论，云计算是否能够提供有效的加密措施，保障客户的内容以及程序，不被云计算平台的拥有者偷窥。
我们的结论是悲观的。
既然云计算平台无法提供有效的加密措施，那么云计算平台只能吸引那些对于自己的内容和程序的保密不那么敏感的企业。
但是大型企业，包括银行和电信，它们对云计算能够提供的超大规模存储能力，以及超大规模并行数据处理的能力，有天然的需求。
怎么办？
现实的解决办法是帮助大型企业建设属于它们自己的云计算平台。
换而言之，未来的天空中，将漂浮着Google和Microsoft几朵云，这是几朵大云。在大云的周围，散落着一些小云。
如何构建云计算平台？
说来也不很神秘。云计算平台的基本思想，可以简单概括为，设计一套操作系统，同时管理多台电脑，尤其是把多台电脑结合起来，当一台超级电脑使用。
想深入了解云计算技术，以下论文是不能不看的。
1. Google File System: http://research.google.com/archive/gfs-sosp2003.pdf
把多个电脑的硬盘组合起来，形成一个超大规模的硬盘，用来存储海量数据，同时保障万一有某些硬盘崩溃了，不至于遗祸整个系统。
2. MapReduce: http://labs.google.com/papers/mapreduce-osdi04.pdf
如何实现并行计算。道理很简单，但是用好却不容易。下面两篇论文，可以作为范例，指导如何正确使用MapReduce。
2.1. Large Language Models in Machine Translation http://acl.ldc.upenn.edu/D/D07/D07-1090.pdf
2.2. Parallelizing Support Vector Machines on Distributed Computers http://books.nips.cc/papers/files/nips20/NIPS2007_0435.pdf
3. Chubby lock service: http://research.google.com/archive/chubby-osdi06.pdf
电脑操作经常要用到锁机制，譬如用锁防止两个进程同时向同一个文件写数据。这篇论文谈的是，在由多台电脑组成的分布式系统中，集中管理锁的机制。
4. BigTable: http://research.google.com/archive/bigtable-osdi06.pdf
这篇文章既是讲如何实现分布式数据库，同时也可以把它看成范例，如何正确使用Chubby锁机制，和GFS文件系统。
5. The Google cluster architecture: http://www.computer.org/micro/mi2003/m2022.pdf
各个组成部分完成以后，如何组建一个计算中心。这是这篇文章的主题。
Google式云计算平台有两大特色，
1. 便宜。即使用几台穷人买得起的烂PC，也能构建一个麻雀虽小但是五脏俱全的Google式云计算平台。其实，Google自己就是这么起家的。
2. 稳定。便宜的机器经常死机。Google式云计算平台，能保证一部份机器死机不会造成整个系统的崩溃。

A cluster consisting of many cheap PCs Courtesy http://www.inria.fr/actualites/inedit/images/inedit29_parta.fr.jpg
以前CMU有个教授，说过这么一段话，大意是：遇到一篇以前没有读过的论文，最好先蹲在厕所里翻翻。很多论文无病呻吟，或者装神弄鬼。对待这样的论文，处理的办法是立刻冲掉。不幸的是，大多数论文都可以这样处理。
后来，这段话被记者捅了出去。系主任不得以，不仅公开道歉，而且内部通报批评该教授，不该说这种politically incorrect的话。但是暗地里，很多师生都非常认同教授的看法。
前面几篇文章，不仅不能被冲掉，而且值得反复读，再三读。读完这些论文，你一定会对这两个人感到亲切，Jeffrey Dean和Sanjay Ghemawat。
如 果说Google的两位创始人Larry Page和Sergey Brin确定了Google搜索引擎的算法和数据结构，那么奠定了Google后台的集群系统，也就是我们今天耳熟能详的Google云计算平台，就是 Jeffrey Dean 和Sanjay Ghemawat这两位。

Jeffrey Dean, Ph.D Courtesy http://research.google.com/people/jeff/jeff.jpg

Sanjay Ghemawat, Ph.D Courtesy http://research.google.com/people/sanjay/sanjay.jpg
但是，只读这么几篇论文是不是就足够了呢？
No!
对比一下传统的单机的操作系统，如果把GFS理解为云计算版的文件系统，把MapReduce理解为云计算版的进程管理，把Chubby理解为云计算版的synchronization。
缺了什么？
1. Memory management。2. Scheduling。
为什么不列举这两个方面的论文，方便大家阅读？
因为Google没有发表。或许是Google把这两个方面的技术，视为Google云计算的核心机密，所以才没有发表论文公开介绍。
读完论文后，想构建一个云计算平台，是不是必须写程序，从头实现？
No!
Hadoop是一个开源项目，把前面提到的几个Google式云计算技术，用Java实现了。
我们不妨站在Hadoop台阶上，把未尽的事业推向前进。前进方向，
1. Memory management。2. Scheduling。
 

一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。
Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

记录生活、工作中的心得体会，涉及java、云计算、hadoop等内容