标签 云计算 下的文章

Hadoop, Hive和Scribe在运维方面的应用

邵铮(Facebook)
2011-12-07 13:30
永泰大宴会厅B
在云计算和大机群越来越普及的今天,运维的工作越来越多的转化为大规模数据分析的工作。在本议程中,我们会先介绍Hadoop, Hive和Scribe系统所解决的问题,以及这些系统本身在运维方面的挑战;然后我们会介绍如何利用这些系统来解决其自身在运维方面的挑战;最后我们会介绍如何利用这些系统来满足其他系统在监测和运维方面的需求。

邵铮
Facebook
2008年起至今在美国Facebook公司任软件工程师/研发经理,专注于公司内海量数据仓库与实时数据分析系统的建设。2009年起兼任Apache软件基金会Hadoop项目委员会委员。2005年至2008年就职于美国Yahoo公司网络搜索部,参与了超大规模网页数据的分析平台的设计和实现。邵铮曾获得美国斯坦福大学管理学硕士学位,美国伊利诺伊大学计算机硕士学位,和清华大学计算机学士学位。中学时邵铮曾作为中国代表队的一员参加国际计算机奥林匹克竞赛获得金牌。
http://velocity.oreilly.com.cn/2011/index.php?func=session&name=Hadoop%2C+Hive%E5%92%8CScribe%E5%9C%A8%E8%BF%90%E7%BB%B4%E6%96%B9%E9%9D%A2%E7%9A%84%E5%BA%94%E7%94%A8

云计算相关书目

Hadoop:
Hadoop实战
《Hadoop实战》作为云计算所青睐的分布式架构,Hadoop是一个用Java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式 计算,是谷歌实现云计算的重要基石。《Hadoop实战》分为3个部分,深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实 践技能及Hadoop之外更大的生态系统。
《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。
Hadoop权威指南
本书是您纵情享用数据之美的得力助手。作为处理 海量数据集的理想工具,Apache Hadoop架构是MapReduce算法的一种开源应用,是Google(谷歌)开创其帝国的重要基石。本书内容丰富,展示了如何使用Hadoop构建 可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以了解如何建立与运行Hadoop集群。.
本书完全通过案例学习来展示如何用Hadoop解决特殊问题,它将帮助您:
使用Hadoop分布式文件系统(HDFS)来存储海量数据集,通过MapReduce对这些数据集运行分布式计算..
熟悉Hadoop的数据和I/O构件,用于压缩、数据集成、序列化和持久处理
洞悉编写MapReduce实际应用程序时常见陷阱和高级特性
设计、构建和管理专用的Hadoop集群或在云上运行Hadoop
使用Pig这种高级的查询语言来处理大规模数据
利用HBase这个Hadoop数据库来处理结构化和半结构化数据
学习Zookeeper,这是一个用于构建分布式系统的协作原语工具箱
如果您拥有海量数据,无论是GB级还是PB级,Hadoop都是完美的选择。本书是这方面最全面的参考。
虚拟化:
 
 

云里雾里的云计算 【9】-转载自邓侃博士的博客

【结束语】
什么是云计算?说白了,就是把一堆廉价PCs捆绑在一起,统一管理,使用起来如同一台超级大型机(Mainframe)一样。
与大型机相比,云计算平台不仅价格便宜,稳定性不差,而且便于不断扩张其计算能力和存储空间。
云计算的意义在于,
1. 让社会普遍获得超大规模的数据处理和存储能力。而过去,只有少数机构拥有这些能力。

  譬如,客户可以无限量地在网上存放文章,照片和视频等等。一个普通动画工作室,可以制作好莱坞水准的动画片。
2. 进一步降低了传统行业使用IT技术的门槛,有利于改进其生产和经营方式。
  譬如,小摊贩可以在Amazon平台上开设网络商店。
3. 对于那些已经拥有IT技术的企业来说,或许把数据存储和程序运行外包给云计算平台,以便降低企业的IT开支。
  前提条件是,1. 如果云计算供应商能够保障客户的数据和程序不被偷窥,包括云计算供应商自己,即便想看也看不到客户的数据和程序。2. 网络带宽不会出现拥堵。
  对于一部份IT从业人员和DBA,这个前景不一定是美妙。但是社会分工越来越细,这是大势所趋。
4. 形成一个新的IT价值链。
  从Data-Storage-as-a-Service(dSaaS),到Infrastructure-as-a-Service(IaaS),到 Platform-as-a-Service(PaaS),到Software-as-a-Service(SaaS),处处是商机。
对于应用开发商来说,传统的终端产品,将向“前店后厂”的模式演化,形成有纵深的产品。
新浪的MusicBox,可以视为大纵深产品的一个雏形。它不仅仅是一个单薄的MP3 Player,而且集搜索,编辑,推荐等等功能为一体。这些功能的实现,依托于“后厂”,也就是依托于产品这个表象的背后,那个云计算平台来实现。
“前店后厂”的产品模式,不仅适合于PC和互联网产品,而且适合于手机业务。下一个系列,我们将讨论如何给手机应用做个“前店”。说得专业些,下一个系列的题目叫,“移动互联网时代的手机应用架构设计”。

云里雾里的云计算 【8】-转载自邓侃博士的博客

【9】赚钱才是硬道理
本系列开篇时说到,Google开放云计算平台的目的是为了赚钱。接下去我们分析了云计算的功能以及技术实现。
现在终点回到起点,在我们了解了云计算的功能和技术以后,最后的问题是如何借用云计算平台赚钱?
黄 兄推荐了一篇参考文献,题目是“Cloud computing with Linux”(http://www.ibm.com/developerworks/linux/library/l-cloud-computing /index.html)。这个题目有点推销Linux的倾向,但是仔细看正文,发现这是一篇好文章。好在三个方面,
1. 它把云计算能够提供的服务分成了4类。各个服务层面针对需求不同的目标客户群。
2. 在这4类服务内,列举了各个参与竞争的公司。战场的形势一目了然。
3. 如果你想参与云计算,从中获利。仔细琢磨这篇文章,你将对自己的产品的定位有一个比较清晰的理解。

云里雾里的云计算 <wbr>【8】

Cloud computing layers
Courtesy http://www.ibm.com/developerworks/linux/library/l-cloud-computing/figure4.gif
这篇文章把云计算的目标客户分成四类。从最底层说起,
1. Data-storage-as-a-Service(dSaas),说白了就是把云计算包装成一个巨大的网盘,客户想保存什么文件,不论是什么格式的,统统可以上传到这个网盘里。
云 计算的网盘有一个优势,是PC的硬盘无法媲美的。譬如,你在办公室里写了一个文件,晚上回家想接着写。文件存放在办公室的PC里,想调用这个文件,你先得 设置VPN,才能访问你办公室的PC,比较麻烦。如果你下班前,把文件上传到云计算的网盘里,你回家后想调用这份文件就容易得多。
如果把云计算和房地产开发相比较。盖了一栋空房子,没有装修,也没有通电通水通气,如何赚钱?最简单的办法是把空房子出租,给客户做仓库用。网盘就相当于仓库。
2. Infrastructure-as-a-Service(IaaS),是指提供计算能力,就像提供标准厂房,供电供水供气。
客户租用标准厂房,是为了组装一个生产车间。所以,客户光租了标准厂房还不够,他们还得自己动手,购置机器,雇用工人。
把云计算包装成IaaS,目标客户是动画制作商,数据挖掘商,天气预报局等等。他们编写自己的程序,自己负责运行和分析结果。之所以借助云计算IaaS服务,主要是借重云计算的平行计算的能力。
把云计算IaaS与标准厂房做个逐项类比,云计算的IaaS类似于标准厂房,天气预报局编写的程序就像是客户购置的机器,天气预报分析师就像是车间里的工人。
3. Platform-as-a-Service (PaaS)。类似于开发商盖了一栋商厦,里面分割成很多摊位,把摊位出租给各个小摊贩,卖衣服鞋帽等等。
PaaS针对的客户是各种传统行业的服务提供商,他们想建一个网站,开设网络商店,但是他们不太了解IT技术,他们开设网络商店所需要做的,基本上只是上传内容。
4. Software-as-a-Service (SaaS)。类似于开发商不仅建了房子,而且装修成酒店,聘用了酒店管理人员。
酒店面向是两类客户,1. 最终消费者,他们来酒店吃饭和住宿。2. 服务提供商,譬如婚庆代理公司,他们租用餐厅和客房,为新婚者承办婚宴。又譬如会议承办机构,他们利用酒店的会议室等等设施,代办各种会议。
SaaS也一样,它可以给企业提供ERP之类的服务,也可以给其它网站提供Gadgets,譬如地图指南,或者日历等等。

云里雾里的云计算 <wbr>【8】

Amazon Web Service bandwidth
Courtesy http://aws.typepad.com/photos/uncategorized/2008/05/16/aws_bandwidth.gif
云计算的商务做得最好的,当属Amazon.com。
Amazon发轫于网络书店,后来业务扩展到卖电子产品,甚至服装,玩具,家具以及食品等等。再后来,Amazon不满足于零售业,而是想着开商厦,吸引各色摊贩借用Amazon的平台,营销各自的产品和提供各自的服务,而Amazon坐收摊位费。
尝到甜头后,Amazon干脆进军房地产,构建自己的云计算平台,提供相应的基础服务,犹如供电供水供气。所谓基础服务,严格定义不容易,但是举几个例子反而容易理解。
1. 系统整合类,
Amazon Simple Queue Service (SQS),负责数据信息的交互。
Amazon Mechanical Turk (Mturk),负责工作流程的组织。
Amazon Flexible Payments Service (FPS),小额支付服务。
Amazon DevPay,记账和会计服务。
Amazon AWS,客户身份认证服务。
2. 统计类,
Alexa Web Services,流量分析。
Amazon Historical Pricing,查看历史记录。
AWS Management Console (AWS Console),监控客户租用的计算资源的使用情况。
再来看看Google的情况。
Google 的抱负很大,dSaaS,IaaS,PaaS和SaaS,各个市场层面,它都想参与。但是奇怪的是,最容易做的网盘,即dSaaS业务,Google没有 开展。IaaS不容易找到客户,暂时也无可奈何。针对PaaS,也就是针对想建网站的那一批客户,Google的对策是AppEngine,但是受限于 AppEngine本身的不完善,目前似乎也没有吸引太多客户。Google做得最好的,是SaaS。不仅有Gmail,Google Docs,还有Maps,Picasa,YouTube,Orkut,Reader等等。
最后谈谈Microsoft的情况。
Microsoft的决心也很大。像Amazon,Yahoo,IBM等等企业,都在借用开源项目,如Hadoop,Xen等等,迅速构建自己的云计算平台,尽早占领市场。而Microsoft的战略是不用开源项目,从头构建自己的云计算平台,Azure。
Microsoft把自己的云称作“云端”。这个“端”字很有意思,强调的是Microsoft不仅有网络端的云计算平台,而且这个平台与各种Window OSes,以及Window OSes上各种终端产品紧密结合,形成大纵深的终端产品。
什么叫大纵深的终端产品?

云里雾里的云计算 <wbr>【8】

Sina Music Box
Courtesy http://lh4.ggpht.com/_cz82pwdvhmg/SZWnlHyixeI/AAAAAAAAAYw/EusY1wBeFJY/s640/SinaMusicBox.PNG
拿新浪的音乐盒做个例子。它不仅仅是一个简单的MP3播放器,而且用户可以搜索音乐,音乐盒也可以根据用户以前听过的音乐,推荐音乐,用户还可以组建自己的专辑,在播放MP3的时候,音乐盒还搜索相应的歌词,配合着播放的节奏,滚动地显示歌词。
也就是说,用户电脑上显示的是终端播放器,但是提供搜索,推荐,专辑和歌词等等的各项功能,依托的是网络端的云计算平台。
如果Microsoft想大力拓展“云端”服务,或许新浪的音乐盒是一个很好的启发。

云里雾里的云计算 【7】-转载自邓侃博士的博客

【8】云中说禅
云计算是一个大买卖,各大公司不会眼睁睁看着Google吃独食。IBM,Yahoo,Amazon,Microsoft等等相继跟进,都在宣传自己的云计算方案。
Google 致力于云计算研究与实践,已经有十年了,技术积累厚实,说话底气足。其它公司嚷嚷归嚷嚷,总得拿出点真材实料,否则靠什么争取客户?从头开始研究开发当然是来不及了,于是IBM也好,Yahoo也好,Amazon也好,纷纷借Open Source的Hadoop,作为自己切入云计算市场的基石。
看一看IBM的Blue Cloud方案,以及Amazon的EC2方案,除了Hadoop以外,它们还用到了另一个开源软件,Xen。Xen是Zen的异体词,Zen的意思是禅。
计算机技术和禅有什么关系?
看看Lucent公司的Logo。第一次见到这个logo的时候,不解。请教老美,老美很吃惊,说,“这是禅啊,你们东方的东西。”
这个用毛笔画出来的圆圈,英文名字叫Enso。这个符号来自日本,通常被当作禅的标记。凭心而论,日本在世界范围内弘扬东方文化,是做了很大贡献的。譬如西方人对禅的了解,主要来自于日本的推介。

云里雾里的云计算 <wbr>【7】
Lucent Logo Courtesy http://www.techshout.com/images/lucent-logo.jpg
1974年,美国出版了一本名字很古怪的书,“禅与摩托车维护的艺术:对价值的探求(Zen and the Art of Motorcycle Maintenance:An Inquiry into Value)”。这本书的主线是一伙人骑摩托,17天环游美国的游记,其中穿插了大量的哲学讨论。此书出版后,受到极大欢迎。

2003年,剑桥大学计算技术实验室的几个人在合写一篇论文,文章写得差不多了,但是还缺一个标题。其中一位开玩笑地建议到,“要么就叫Zen and the Art of CPU Cycle Maintenance吧”。众人大悦。
最后论文定名为“Xen and the Art of Virtualization”。同时,把整个项目定名为Xen。 Xen是做什么的?
用一句话来概括,Xen的目标,是如何在一台计算机的硬件上,同时运行多个OS。什么情况下需要在同一台计算机上同时运行多个OS?
举个例子,现在电脑病毒日益猖獗。纵然有卡巴斯基等等解药,但是道高一尺魔高一丈,病毒屡禁不止,而且毒性越来越烈,常常危及整个OS。
有人出了一个主意,在同一台电脑的硬件上,同时运行多个OS,把一些基本的应用放在一个OS上,其它的应用留在其它OS上。用户切换OS的方式,犹如切换窗口一样。如果一些应用染上了病毒,最多把该应用所在的OS重装,而不至于影响其它OS,尤其是不必担心硬盘上重要的文件遭到破坏。
为什么Xen与云计算有关?
在云计算平台上运行的程序,来自不同的客户。不能保证这些客户程序没有bugs,也不能杜绝恶意的破坏性程序。如何保证一个客户的程序,不至于破坏其它客户的程序运行,不至于损坏其它客户的文件?
最简单的办法是给不同的客户分配不同的机器,井水不犯河水。但是这样的做法不能高效率地使用资源。美国客户的高峰时段,恰巧是中国客户的夜间休息时段。如果分别给美国中国客户分配不同机器,美国高峰时段,美国客户的机器忙不过来,而中国客户的机器却在闲置。
所以最理想的做法,是让不同客户共享计算机硬件,但是各自拥有各自的OS。这样,既高效地使用硬件资源,又保证井水不犯河水。
Xen提供了实现这一目标的技术解决方案,所以借着云计算的东风,Xen大热。 云里雾里的云计算 <wbr>【7】
The structure of a machine running the Xen, hosting a number of different guest OSes. Courtesy http://www.freesoftwaremagazine.com/files/www.freesoftwaremagazine.com/nodes/1159/slide2.jpg
上图描述的是Xen的体系结构。最底层的是计算机硬件,包括CPU,RAM,硬盘接口,网卡,外设数据总线等等。
硬件层之上,是Xen hypervisor层,包括总控界面(Xen Control Interface),虚拟CPU,虚拟RAM,虚拟硬盘,虚拟网卡等等。
在 Xen层之上,是各个OS实例(OS instances)。其中最左边的OS实例很特别。在启动Xen的时候,最左边的OS实例,Domain0 on XenoLinux,自动被启动。Domain0里运行着Xen Control Software,这个软件控制着各个OS实例的启动,终止,以及监控其运行情况。
Domain0对于其它OS实例的控制,是通过Xen层中Xen Control Interface来实现的。而这个Xen Control Interface只对Domain0开放。其它OS实例只有被管理的义务,而没有管理其它实例的权力。
每个OS实例都被分配一套虚拟的CPU,RAM,硬盘和网卡。每个OS实例使用这些虚拟的设备,与通常的OS并无不同。
多 个OS实例共享CPU的实现,是通过两套机制来完成。当多个OS实例请求使用CPU,这些请求被放置在hypercall队列里。Xen hypervisor根据预先设定的优先级政策,在hypercall队列里挑选出下一个被执行的请求。请求被处理完了以后,Xen通过异步的事件响应机制(async event-callback handler),把结果反馈给相应的OS实例。所谓虚拟CPU,说白了就是这两套机制的interface APIs。
在启动一个新的 OS实例的时候,Domain0会给它分配一部份RAM。如果实际运行中,需要更多的RAM,Domain0会增加这个OS实例的配额,直至最高上限。各个OS实例都有自己的RAM区域,彼此不相互干扰。从每个OS实例的眼中看,似乎自己的RAM区域在物理上位于相邻区域。但是事实上不是这样。这种善意的欺骗归功于虚拟RAM。虚拟RAM不仅记录着物理RAM的分配和使用,而且负责地址的翻译等等工作。
至于Disk IO和Network IO的读写请求,被放置在一个环状队列中,通过Consumer-Producer锁机制进行异步操作。
每个OS实例配备着一个虚拟硬盘,这个虚拟硬盘记录着每个OS实例所占用的物理硬盘的空间。每个OS实例只能看到分配给自己的硬盘空间,而不能看到其它OS实例的硬盘里的文件。而Domain0是例外,它能够看到整个硬盘系统中所有文件。
Xen的详细描述和分析,可以读前面提到的那篇论文,“Xen and the Art of Virtualization”,http://www.cl.cam.ac.uk/netos/papers/2003-xensosp.pdf。
Xen开源软件的下载,可以去Xen网站寻找。http://www.xen.org/

云里雾里的云计算 <wbr>【7】

VMWare infrastructure Courtesy http://www.topgreat.com.tw/WebMaster/uploads/images/1_images/l_070508152747.jpg
Xen 并不是横空出世的新创意。计算机界往往出现工业界领先于学术界的局面,Virtualization技术就是这样一个例子。早在1998年,硅谷Palo Alto出现了一家公司,最早实现了多个OS共享一台计算机的设想。这家公司的名字叫VMWare,现在卖给了EMC。 http://www.vmware.com
Xen与VMWare在技术上有很大相似之处。从Xen的论文看,Xen的技术似乎比VMWare有更多优势。但是从产品系列的完整,以及多年来的实际运行经验来看,VMWare似乎能够提供用户更可靠的稳定性和售后服务。

云里雾里的云计算 【6】-转载自邓侃博士的博客

【7】天上究竟会有几朵云?
上一章长篇大论地讨论,云计算是否能够提供有效的加密措施,保障客户的内容以及程序,不被云计算平台的拥有者偷窥。
我们的结论是悲观的。
既然云计算平台无法提供有效的加密措施,那么云计算平台只能吸引那些对于自己的内容和程序的保密不那么敏感的企业。
但是大型企业,包括银行和电信,它们对云计算能够提供的超大规模存储能力,以及超大规模并行数据处理的能力,有天然的需求。
怎么办?
现实的解决办法是帮助大型企业建设属于它们自己的云计算平台。
换而言之,未来的天空中,将漂浮着Google和Microsoft几朵云,这是几朵大云。在大云的周围,散落着一些小云。
如何构建云计算平台?
说来也不很神秘。云计算平台的基本思想,可以简单概括为,设计一套操作系统,同时管理多台电脑,尤其是把多台电脑结合起来,当一台超级电脑使用。
想深入了解云计算技术,以下论文是不能不看的。
1. Google File System: http://research.google.com/archive/gfs-sosp2003.pdf
把多个电脑的硬盘组合起来,形成一个超大规模的硬盘,用来存储海量数据,同时保障万一有某些硬盘崩溃了,不至于遗祸整个系统。
2. MapReduce: http://labs.google.com/papers/mapreduce-osdi04.pdf
如何实现并行计算。道理很简单,但是用好却不容易。下面两篇论文,可以作为范例,指导如何正确使用MapReduce。
2.1. Large Language Models in Machine Translation http://acl.ldc.upenn.edu/D/D07/D07-1090.pdf
2.2. Parallelizing Support Vector Machines on Distributed Computers http://books.nips.cc/papers/files/nips20/NIPS2007_0435.pdf
3. Chubby lock service: http://research.google.com/archive/chubby-osdi06.pdf
电脑操作经常要用到锁机制,譬如用锁防止两个进程同时向同一个文件写数据。这篇论文谈的是,在由多台电脑组成的分布式系统中,集中管理锁的机制。
4. BigTable: http://research.google.com/archive/bigtable-osdi06.pdf
这篇文章既是讲如何实现分布式数据库,同时也可以把它看成范例,如何正确使用Chubby锁机制,和GFS文件系统。
5. The Google cluster architecture: http://www.computer.org/micro/mi2003/m2022.pdf
各个组成部分完成以后,如何组建一个计算中心。这是这篇文章的主题。
Google式云计算平台有两大特色,
1. 便宜。即使用几台穷人买得起的烂PC,也能构建一个麻雀虽小但是五脏俱全的Google式云计算平台。其实,Google自己就是这么起家的。
2. 稳定。便宜的机器经常死机。Google式云计算平台,能保证一部份机器死机不会造成整个系统的崩溃。

云里雾里的云计算 <wbr>【6】

A cluster consisting of many cheap PCs Courtesy http://www.inria.fr/actualites/inedit/images/inedit29_parta.fr.jpg
以前CMU有个教授,说过这么一段话,大意是:遇到一篇以前没有读过的论文,最好先蹲在厕所里翻翻。很多论文无病呻吟,或者装神弄鬼。对待这样的论文,处理的办法是立刻冲掉。不幸的是,大多数论文都可以这样处理。
后来,这段话被记者捅了出去。系主任不得以,不仅公开道歉,而且内部通报批评该教授,不该说这种politically incorrect的话。但是暗地里,很多师生都非常认同教授的看法。
前面几篇文章,不仅不能被冲掉,而且值得反复读,再三读。读完这些论文,你一定会对这两个人感到亲切,Jeffrey Dean和Sanjay Ghemawat。
如 果说Google的两位创始人Larry Page和Sergey Brin确定了Google搜索引擎的算法和数据结构,那么奠定了Google后台的集群系统,也就是我们今天耳熟能详的Google云计算平台,就是 Jeffrey Dean 和Sanjay Ghemawat这两位。

云里雾里的云计算 <wbr>【6】

Jeffrey Dean, Ph.D Courtesy http://research.google.com/people/jeff/jeff.jpg

云里雾里的云计算 <wbr>【6】

Sanjay Ghemawat, Ph.D Courtesy http://research.google.com/people/sanjay/sanjay.jpg
但是,只读这么几篇论文是不是就足够了呢?
No!
对比一下传统的单机的操作系统,如果把GFS理解为云计算版的文件系统,把MapReduce理解为云计算版的进程管理,把Chubby理解为云计算版的synchronization。
缺了什么?
1. Memory management。2. Scheduling。
为什么不列举这两个方面的论文,方便大家阅读?
因为Google没有发表。或许是Google把这两个方面的技术,视为Google云计算的核心机密,所以才没有发表论文公开介绍。
读完论文后,想构建一个云计算平台,是不是必须写程序,从头实现?
No!
Hadoop是一个开源项目,把前面提到的几个Google式云计算技术,用Java实现了。
我们不妨站在Hadoop台阶上,把未尽的事业推向前进。前进方向,
1. Memory management。2. Scheduling。
 

KVM

KVM:Kernel-based Virtual Machine的简写,是rhel5.4推出的最新虚拟化技术,目前红帽只支持在64位的rhel5.4上运行kvm,同时硬件需要支持VT技术,使用kvm虚拟机的时候需要关闭SELinux;
Red Hat从2009年6月中旬开始在部分企业级用户那里开始了对Red Hat Enterprise Virtualization(RHRV)的beta测试。RHEV是Red Hat去年收购虚拟化厂商Qumranet获得的一项hypervisor技术。Citrix通过收购获得的Xen就是因为Linux hypervisor而被人们所熟知。不过Red Hat的KVM被认为是将成为未来Linux hypervisor的主流。 Red Hat产品和技术总裁Paul Cormier表示:“KVM最大的好处就在于它是与Linux内核集成的。未来几年人们的关注焦点仍然集中在hypervisor上。hypervisor是操作系统的一项功能,自然能够被用户所接受。微软和Red Hat操作系统的不同中间件和管理功能将起到重要的作用。”
从Linux 2.6.20开始内核中已经开始集成KVM。因此,由Fedora社区开发的Fedora也开始支持KVM。Linux 2.6.20之后的Linux发行版本的内核中也都将KVM作为基本的hypervisor。
Red Hat从进行beta测试的Red Hat Enterprise Linux(RHEL)5.4也开始装载了KVM。Red Hat日本营销本部部长中井雅也先生解释说:“为了确保企业用户的稳定性,我们进行了严格的beta测试。这对与开源社区合作的Red Hat来说是很不寻常的。由此看来,这表明Red Hat非常重视KVM基本的虚拟化性能。”
Xen和kvm一样,都是虚拟化开源软件,拥有同样出色的架构设计和性能。Xen和kvm都用于构建IaaS层。

物联网应用案例

物联网的应用其实不仅仅是一个概念而已,它已经在很多领域有运用,只是并没有形成大规模运用。常见的运用案例有:
一:物联网传感器产品已率先在上海浦东国际机场防入侵系统中得到应用。机场防入侵系统铺设了3万多个传感节点,覆盖了地面、栅栏和低空探测,可以防止人员的翻越、偷渡、恐怖袭击等攻击性入侵。而就在不久之前,上海世博会也与无锡传感网中心签下订单,购买防入侵微纳传感网1500万元产品。
二:ZigBee路灯控制系统点亮济南园博园。ZigBee无线路灯照明节能环保技术的应用是此次园博园中的一大亮点。园区所有的功能性照明都采用了ZigBee无线技术达成的无线路灯控制。
三:智能交通系统(ITS)是利用现代信息技术为核心,利用先进的通讯、计算机、自动控制、传感器技术,实现对交通的实时控制与指挥管理。交通信息采集被认为是ITS的关键子系统,是发展ITS的基础,成为交通智能化的前提。无论是交通控制还是交通违章管理系统,都涉及交通动态信息的采集,交通动态信息采集也就成为交通智能化的首要任务。

物联网概念

“物联网概念”是在“互联网概念”的基础上,将其用户端延伸和扩展到任何物品与物品之间,进行信息交换和通信的一种网络概念。其定义是:通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络概念。
物联网(Internet of Things)这个词,国内外普遍公认的是MIT Auto-ID中心Ashton教授1999年在研究RFID时最早提出来的。在2005年国际电信联盟(ITU)发布的同名报告中,物联网的定义和范围已经发生了变化,覆盖范围有了较大的拓展,不再只是指基于RFID技术的物联网。
自2009年8月温家宝总理提出“感知中国”以来,物联网被正式列为国家五大新兴战略性产业之一,写入“政府工作报告”,物联网在中国受到了全社会极大的关注,其受关注程度是在美国、欧盟、以及其他各国不可比拟的。
物联网的概念与其说是一个外来概念,不如说它已经是一个“中国制造”的概念,他的覆盖范围与时俱进,已经超越了1999年Ashton教授和2005年ITU报告所指的范围,物联网已被贴上“中国式”标签。
“中国式”物联网定义
最简洁明了的定义:物联网(Internet of Things)是一个基于互联网、传统电信网等信息承载体,让所有能够被独立寻址的普通物理对象实现互联互通的网络。它具有普通对象设备化、自治终端互联化和普适服务智能化3个重要特征[1]。
其它的定义:物联网指的是将无处不在(Ubiquitous)的末端设备(Devices)和设施(Facilities),包括具备“内在智能”的传感器、移动终端、工业系统、楼控系统、家庭智能设施、视频监控系统等、和“外在使能”(Enabled)的,如贴上RFID的各种资产(Assets)、携带无线终端的个人与车辆等等“智能化物件或动物”或“智能尘埃”(Mote),通过各种无线和/或有线的长距离和/或短距离通讯网络实现互联互通(M2M)、应用大集成(Grand Integration)、以及基于云计算的SaaS营运等模式,在内网(Intranet)、专网(Extranet)、和/或互联网(Internet)环境下,采用适当的信息安全保障机制,提供安全可控乃至个性化的实时在线监测、定位追溯、报警联动、调度指挥、预案管理、远程控制、安全防范、远程维保、在线升级、统计报表、决策支持、领导桌面(集中展示的Cockpit Dashboard)等管理和服务功能,实现对“万物”的“高效、节能、安全、环保”的“管、控、营”一体化[2]。

物联网

物联网是新一代信息技术的重要组成部分。其英文名称是“The Internet of things”。由此,顾名思义,“物联网就是物物相连的互联网”。这有两层意思:第一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;第二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信。因此,物联网的定义是通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网相连接,进行信息交换和通信,以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络。
物联网被视为互联网的应用扩展,应用创新是物联网的发展的核心,以用户体验为核心的创新是物联网发展的灵魂。
英文名: Internet of Things(IOT),也称为Web of Things。
物联网是指通过各种信息传感设备,如传感器、射频识别(RFID)技术、全球定位系统、红外感应器、激光扫描器、气体感应器等各种装置与技术,实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人,所有的物品与网络的连接,方便识别、管理和控制。