云里雾里的云计算 【1】–转载自邓侃博士的博客

有一次去开会,台上的人在讲云计算。我问身边的听众,“听懂了吗?感觉如何?”
听众答,“云里雾里的,感觉特神秘。”
我说,“这说明讲员讲得好。有没有注意到寺庙里的气氛也很神秘?不神秘,就没有崇拜。不崇拜,你怎么肯掏钱买香火?”
【1】云计算要解决什么问题?
1997年,Google的两位创始人,Larry Page和Sergey Brin,找Andy Bechtolsheim募集投资。
Andy问,“你们打算做什么?”
Larry和Sergey答,“打算把互联网上所有网页都下载,然后建一个搜索引擎。”
Andy说,”把互联网上所有网页统统下载?!需要多大空间?

几个Giga不行吧,几个Tera也不行吧,几个Peta,几个Zetta?。。。嗯,我看几个Googol也许才能撑得住。知道Googol吗?就是10的100次方,就是一个1后面拖100个0!”
估计是Andy觉得这个项目不太靠谱,所以给的钱不多,只有1百万美元。只有这么一点钱,如果去买高端的存储系统,显然是不够的。走投无路的情况下,Larry和Sergey决定用PC之类便宜的机器,组建一个机器集群。先凑合着用,等以后数据量增加以后,再购买更多的PCs,扩大集群的容量。
这个故事的真实性,有待考证。但是从中可以看到Google集群,也就是Google云计算的核心,要解决的四个问题。
1. 大规模的存储空间,用于存储海量的数据。
2. 随着业务的发展,新的数据源源不断地增加,存储空间需要相应扩大。用术语讲,这叫可扩展性,scalability。
3. 系统的硬件设备必须便宜,通常使用大宗产品(commodity),譬如PC,或者价格便宜,中等性能的Dell server。
4. 便宜的硬件设备,经常死机。所以在设计这个集群的时候,必须保证不能因为个别机器死机,导致整个系统的崩溃。也就是系统的稳定性要好,reliability。
【2】从Google集群到云计算,云计算的商业模式
起初Google集群是供内部使用的系统。Google为什么要开放这个系统,包装成云计算平台,给外界使用呢?
这要从Google的商业模式说起。Google的绝大多数收入来自于广告,其它产品和服务的收入十分有限。其它产品包括Google盒子,这是给企业内部网用的搜索引擎。把Google盒子安装到企业内部网,企业员工就可以搜索企业内部的文档,包括可以公开的文档,也包括仅供企业内部查阅的资料。虽然技术很新颖,但是卖得并不好。据ZDNet的报道,2008年度,Google盒子的收益,占Google总利润的份额,不到2%。
云里雾里的云计算 <wbr>【1】

Google search appliance, 俗称Google盒子。 Courtesy http://mytwentyfive.com/blog/wp-content/uploads/byme/Google%20Search%20Appliances.jpg
单一的收入来源,抗风险的能力差。譬如经济危机一来,各个企业的广告预算缩减,势必影响到Google的利润。怎么办?挖掘自身的优势,发现更多卖点,搞多种经营。
Google的技术优势在哪里?有人说,Google的搜索结果精确,所以PageRanking算法是其精髓。其实,算法容易模仿复制,即使几年前PageRanking是Google的独家秘籍,但是今日各大搜索引擎,都有类似算法。
让Google独步天下的是它的集群。2006年,Google集群的规模 是45万台机器。两年过去了,有人推测现在的规模又翻了一番。由于Google从不公布准确数字,所以大家只能靠Google给硬件厂商下的订单推测。
推测虽然不准确,但是即便是10万台机器的规模,在历史上也是从无古人的,在当代也是独一无二的。而且,更重要的,是这个超大规模的集群系统已经经历了10年的实际运行,在实践中被证明,它是可靠的,是可扩展的,每台机器的价格也是低廉的。完全符合上一节列举的四个要求。
但是如何依靠这个独门神器挣钱呢?思路有两条。
1. 做hosting,数据托管。其它企业不用建自己的数据中心了,把数据存在Google的集群里得了,每个月交点托管费。
2. 不少Google的应用服务很有人气,譬如Gmail,Gtalk,Reader,Online docs,Picasa,Google earth还有YouTube等等。这些服务对于个人用户而言,完全是免费的。但是Google从来没有说给企业用户使用,也是免费的。譬如某家商店,开了一个网站,网站上需要贴很多照片,还要给个地图给顾客引路。这个商店不需要自己动手建照片存储中心,也不需要开发技术难度更高的地图软件,只要调用 Google提供的相关服务就好。商店建网站是为了赢利,所以Google当然要向商店收钱。
第二个思路还有个副产品,那就是给Google创造更高的流量。流量越大,说明观众越多。对于广告商来说,哪里观众多,就愿意在哪里投放广告。所以,如果第二个思路能给Google带来更高流量,那么会吸引更多的广告,给Google带来更多的广告收入。
Google的高管们一合计,觉得有钱途。于是乎,大张旗鼓地制造舆论,educate the market。
造舆论,讲究的是措辞的简练,气势的磅礴。这个新的服务叫什么? 用工程师的语言,准确地定义,应当是“超大规模的,可扩展的,低成本但是高可靠性的服务器集群系统”。Google市场部的人一听,头摇得像拨浪鼓。不行不行,既不简练,也没有气势。
研究来研究去,于是乎,“云计算cloud computing” 这个概念粉墨登场了。

我想问一下,云为什么会产生呢?是因为现在的哪里出现了什么问题吗?
传统的三段论式的网站结构,无法存储和处理海量数据,无法同时服务于海量并发用户,更不要说在不改变网站结构的前提下,扩展数据存储和并发处理的能力。
鉴于此,云来了。

当年明月的《明朝那些事》经典语录选

1.生命的尊严和生存的压力,哪个更重要
2.长期的困难生活,最能磨练一个人的意志,有很多人在遇到困难后,只能怨天尤人,得过且过,而另外一些人虽然也不得不在困难面前低头,但他们的心从未屈服,他们不断的努力,相信一定能够取得最后的胜利
3.即使你拥有人人羡慕的容貌,博览群书的才学,挥之不尽的财富,也不能证明你的强大,因为心的强大,才是真的强大。
4.知道可能面对的困难和痛苦,在死亡的恐惧中不断挣扎,而仍然能战胜自己,选择这条道路,才是真正的勇气.我认为这样的朱重八才是真正的英雄,一个战胜自己,不畏惧死亡的英雄。
5.人们往往忽视了这样一个事实,这个世界上还存在着有用的坏人和无用的好人。
6  遇到恨透一个人,想要拿刀去砍人的时候,用张定边的事迹勉励一下自己,不要生气,修身养性,活得比他长就是了。
7 每一种主张的背后,都隐藏着某种势力或者利益的群体.
8  绝对不要做你的敌人希望你做的事情,原因很简单,因为敌人希望你这样做——拿破仑
9 简单的占有是小聪明,暂时的放弃才是大智慧。
10 和善慈悲的面孔用来应付服从他的人,残暴凶狠的面孔用来对付他的敌人。
11 这才是朱棣真正的可怕之处,一个能够忍耐的人,一个能够压抑自己欲望的人。
12 其一“你的就是我的,我的还是我的”,其二,“人生就是战斗,战斗就有权谋”。
13 人生最痛苦的地方不在于有一个悲惨的结局,而在于知道了结局却无法改变。
14 他告诉我们,坚强的意志和决心可以战胜一切困难。
15 他告诉我们,执著的信念和无畏的心灵才是最强大的武器。
16 读书的能力和处理问题的能力是不一样的,书读得好,不代表事情能处理得好,能列出计划,不代表能够执行计划。
17 获得胜利的关键在于隐忍的耐心和准确的判断。
18 这也是朱元璋一生的信条要么不做,要么做绝。
19 即使你的敌人无比强大,即使你没有好的应对方法,但只要你有敢于面对强敌的决心和勇气,你就会发现,奇迹是可以创造的。
20 决定战争胜负的并不一定是先进的武器和士兵的数量,而是人的决心和智慧。
21 朱棣用他精彩的表演告诉了我们一个真理:死人往往比活人更好利用。
22 朱棣是一个无赖,他可以使用任何他想用的方法,只要能够达到目的就行。而朱允炆最大的错误就在于他不知道,对付无赖,要用无赖的方法。
23 在我们的思维中,经常会出现一些盲点,而创造性思维就是专门来消灭这些盲点的。所谓创造性思维并不一定是提出多么高明的主意,很多时候,这种思维提出的解决方法是很多人都知道和了解的,但问题在于他们都没有意识到这些方法。
24 战争的胜负往往就决定于那再坚持一下的努力
25 真正的气节总是在危急关头表现出来的。只有那些真正的英雄,才能在面对屠刀时体现出自己的气节。这种气节才是真正的勇气。
26 因为他懂得一条重要准则:暴力不能解决一切,却可以解决你
27 一个人要显示自己的力量,从来不是靠暴力,挑战这一准则的人必然会被历史从强者的行列中淘汰,历来如此。
28 相信很多人都曾被问到,你为什么要读书?一般而言这个问题的答案都是建设祖国,为国争光之类,而在人们的心中,读书的真正目的大多是为了升官、发财,为了满足自己的各种欲望。但事实告诉我们,为了名利去做一件事情也许可以获得动力和成功,但要成就大的事业,需要的是另一种决心和回答–为了读书而读书。
29 一个重要而简单的原则不要做你不擅长的事。
30而杨士奇之所以能够有所成就,其经验大致可以概括为一句话:刚出道时要低调,再低调

如果可以

如果可以

如果可以


如果可以,我们一起留在大同
不要那些所谓的理想,不要那些所谓的奋斗
不想去北京上海打拼奋斗
就一起留在我们熟悉的小城—大同
每一条街道都能叫出名字,每一个邻居都认识
听到熟悉的大同话
一个电话,半个小时
人就聚齐了
如果可以,我们一起留在大同
陪着我们的爸妈
无聊了一起去太原、北京玩一趟
开个车几个小时就到恒山了
过年过节几个朋友窜窜门吃顿饭
谁要是不来,打个车几分钟就到他家门口
直接拖出来
如果可以,我们一起留在大同
嘴馋的时候
去随便哪个烧烤摊上吃个烧烤,去大西街逛个夜市,从街这头吃到那头
水果出来的季节
开着车去田里摘西瓜
西瓜都是一袋一袋的往家买
因为便宜又好吃
如果可以,我们一起留在大同
冬天的时候一起推雪人
夏天去悬空寺逛逛,晚上在御河生态园溜溜
真不行就去红旗广场的肯德基坐一坐
累了就随便找个KTV呼朋唤友
打打台球,斗斗地主,还有团在某个朋友家打个霍龙 输赢都在这个圈子
每个人的我都熟悉,知根知底
如果可以,我们一起留在大同再去我们的母校看看
如果可以,我们一起留在大同
等我们工作了
没有那么大的压力
不用天天加班到10点
不用没有节假日
不用周周出差
只要8点上班,5点下班
不想做饭了就回家蹭顿饭
洗完碗 擦完地
还可以陪爸妈散散步
如果可以,我们一起留在大同
看着朋友结婚,每个人的婚礼都能参加
等我们有了孩子
我们要让他们也天天在一起玩
让我们成为世交 他们也成为发小
时不时的几家组个团,开车去、溜溜转转
他们看世界,我们看他们
让他干爹干妈一大堆
过年压岁钱多的拿不了
如果可以,我们一起留在大同
等父母老了我们可以天天陪着他们
等我们老了也有子女天天陪着我们
走不动了还可以坐下来一起回忆咱年轻的时候
商量着什么时候再去趟北京
什么时候再爬趟恒山
什么时候再……
把年轻的事情都再做一遍…
如果可以
一群老头老太太80了还是很不正经的胡侃着…
如果可以……

Hadoop

hadoop

hadoop


一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
Hadoop带有用 Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。
Hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

虚拟化技术

虚拟化技术

虚拟化技术

云计算是什么意思

云计算是什么
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
云计算(Cloud Computing)是网格计算(Grid Computing )、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。

云计算常与网格计算、效用计算、自主计算相混淆。(网格计算:分布式计算的一种,由一群松散耦合的计算机组成的一个超级虚拟计算机,常用来执行一些大型任务;效用计算:IT资源的一种打包和计费方式,比如按照计算、存储分别计量费用,像传统的电力等公共设施一样;自主计算:具有自我管理功能的计算机系统。)

事实上,许多云计算部署依赖于计算机集群(但与网格的组成、体系结构、目的、工作方式大相径庭),也吸收了自主计算和效用计算的特点。
1983年,太阳电脑(Sun Microsystems)提出“网络是电脑”(“The Network is the Computer”),2006年3月,亚马逊(Amazon)推出弹性计算云(Elastic Compute Cloud;EC2)服务。

2006年8月9日,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会(SES San Jose 2006)首次提出“云计算”(Cloud Computing)的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做的“Google 101”项目。

2007年10月,Google与IBM开始在美国大学校园,包括卡内基梅隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等,推广云计算的计划,这项计划希望能降低分布式计算技术在学术研究方面的成本,并为这些大学提供相关的软硬件设备及技术支持(包括数百台个人电脑及BladeCenter与System x服务器,这些计算平台将提供1600个处理器,支持包括Linux、Xen、Hadoop等开放源代码平台)。而学生则可以通过网络开发各项以大规模计算为基础的研究计划。

2008年1月30日,Google宣布在台湾启动“云计算学术计划”,将与台湾台大、交大等学校合作,将这种先进的大规模、快速计算技术推广到校园。

2008年2月1日,IBM(NYSE: IBM)宣布将在中国无锡太湖新城科教产业园为中国的软件公司建立全球第一个云计算中心(Cloud Computing Center)。

2008年7月29日,雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划,推出云计算研究测试床,推进云计算。该计划要与合作伙伴创建6个数据中心作为研究试验平台,每个数据中心配置1400个至4000个处理器。这些合作伙伴包括新加坡资讯通信发展管理局、德国卡尔斯鲁厄大学Steinbuch计算中心、美国伊利诺伊大学香宾分校、英特尔研究院、惠普实验室和雅虎。

2008年8月3日,美国专利商标局网站信息显示,戴尔正在申请“云计算”(Cloud Computing)商标,此举旨在加强对这一未来可能重塑技术架构的术语的控制权。

2010年3月5日,Novell与云安全联盟(CSA)共同宣布一项供应商中立计划,名为“可信任云计算计划(Trusted Cloud Initiative)”。

2010年7月,美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划,微软在2010年10月表示支持OpenStack与Windows Server 2008 R2的集成;而Ubuntu已把OpenStack加至11.04版本中。

2011年2月,思科系统正式加入OpenStack,重点研制OpenStack的网络服务。