分类 云计算 下的文章

持续集成要素

  1.统一的代码库
  2.自动构建 
  3.自动测试 
  4.每个人每天都要向代码库主干提交代码 
  5.每次代码递交后都会在持续集成服务器上触发一次构建 
  6.保证快速构建 
  7.模拟生产环境的自动测试 
  8.每个人都可以很容易的获取最新可执行的应用程序 
  9.每个人都清楚正在发生的状况 
  10.自动化的部署

持续集成的定义

  集成软件的过程不是新问题,如果项目开发的规模比较小,比如一个人的项目,如果它对外部系统的依赖很小,那么软件集成不是问题,但是随着软件项目复杂度的增加(即使增加一个人),就会对集成和确保软件组件能够在一起工作提出了更多的要求-要早集成,常集成。早集成,频繁的集成帮助项目在早期发现项目风险和质量问题,如果到后期才发现这些问题,解决问题代价很大,很有可能导致项目延期或者项目失败。
持续集成的定义
  大师Martin Fowler对持续集成是这样定义的:持续集成是一种软件开发实践,即团队开发成员经常集成它们的工作,通常每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽快地发现集成错误。许多团队发现这个过程可以大大减少集成的问题,让团队能够更快的开发内聚的软件。
持续集成价值
1.减少风险
  一天中进行多次的集成,并做了相应的测试,这样有利于检查缺陷,了解软件的健康状况,减少假定。
2.减少重复过程
  减少重复的过程可以节省时间、费用和工作量。说起来简单,做起来难。这些浪费时间的重复劳动可能在我们的项目活动的任何一个环节发生,包括代码编译、数据库集成、测试、审查、部署及反馈。通过自动化的持续集成可以将这些重复的动作都变成自动化的,无需太多人工干预,让人们的时间更多的投入到动脑筋的、更高价值的事情上。
3.任何时间、任何地点生成可部署的软件
  持续集成可以让您在任何时间发布可以部署的软件。从外界来看,这是持续集成最明显的好处,我们可以对改进软件品质和减少风险说起来滔滔不绝,但对于客户来说,可以部署的软件产品是最实际的资产。利用持续集成,您可以经常对源代码进行一些小改动,并将这些改动和其他的代码进行集成。如果出现问题,项目成员马上就会被通知到,问题会第一时间被修复。不采用持续集成的情况下,这些问题有可能到交付前的集成测试的时候才发现,有可能会导致延迟发布产品,而在急于修复这些缺陷的时候又有可能引入新的缺陷,最终可能导致项目失败。
4.增强项目的可见性
  持续集成让我们能够注意到趋势并进行有效的决策。如果没有真实或最新的数据提供支持,项目就会遇到麻烦,每个人都会提出他最好的猜测。通常,项目成员通过手工收集这些信息,增加了负担,也很耗时。持续集成可以带来两点积极效果: 
  (1)有效决策:持续集成系统为项目构建状态和品质指标提供了及时的信息,有些持续集成系统可以报告功能完成度和缺陷率。 
  (2)注意到趋势:由于经常集成,我们可以看到一些趋势,如构建成功或失败、总体品质以及其它的项目信息。
5.建立团队对开发产品的信心
  持续集成可以建立开发团队对开发产品的信心,因为他们清楚的知道每一次构建的结果,他们知道他们对软件的改动造成了哪些影响,结果怎么样。

Jenkins介绍

  Jenkins,之前叫做Hudson,是基于Java开发的一种持续集成工具,用于监控秩序重复的工作,包括:
  1、持续的软件版本发布/测试项目。
  2、监控外部调用执行的工作。

mysql问题记录

[Err] 1153 – Got a packet bigger than ‘max_allowed_packet’ bytes
[Err] /*Data for the table `bodycontent` */
insert into `bodycontent`(`BODYCONTENTID`,`BODY`,`CONTENTID`) values (98305,'{note:title=Installing Plugins}nnThe plugins featured on this page are not installed out-of-the-box. To install them, please refer to our documentation on +[installing plugins|http://confluence.atlassian.com/x/loBQ]+.nn{note}’,32776),(98306,'{section}n{column:width=1px}n{panel}n{gallery:columns=2|include=RefinedWiki.jpg,ThemeBuilder.png|sort=name}n\\{_}Click to enlarge{_}\\n{panel}n{column}n{column}nYou have +[a number of options|http://confluence.atlassian.com/display/CONFHOST/Skinning+Confluence]+ for completely customising the look and feel of Confluence. Below, we’ve highlighted the most popular options for skinning Confluence for use as a corporate intranet.nnh5. RefinedWiki Original ThemennRefinedWikis Original Theme is a plugin which gives Confluence a whole new design and makes it easier for your company to collaborate and share documents.nnWatch the video >>:n{widget:url=http://app.episodic.com/shows/13/episodes/pskcvfyj8x1p}nnn(i) [*Learn more*|https://plugins.atlassian.com/plugin/details/15231]nnh5. ThemeBuildernnIf you are looking to build your own theme, the Theme Builder plugin allows you to add and customise logo banners, menu-driven navigation, style sheets, footers and more…nn(i) [*Learn more*|http://www.adaptavist.com/display/ADAPTAVIST/Builder]n{column}n{section}’,32788),(98307,'{excerpt}n{section}n{column:width=1px}n{panel}n[!_Balsamiq – Demonstration Space – Extranet.jpg|width=403,height=308!|http://www.youtube.com/watch?v=e7htdJCvkeQ]n{panel}n{column}n{column}nEver heard the saying _’a picture is worth a thousand words’_? Using the +[Balsamiq Mockups Plugin|https://plugins.atlassian.com/plugin/details/256]+ you can create and visualise mockups of diagrams for proposed layouts of website content, new features, and much more, right within Confluence.nnh5. How can you use it?nn* Our ‘Development Team’ uses Balsamiq to mockup new features for our products. The Balsamiq Mockup below eventuated in the new Image Browser that shipped in Confluence 3.1.n* Our ‘Marketing Team’ use Balsamiq to create mockups of pages for our website in Confluence. The mockups are then given to our ‘Web Team’ to implement.n\\nnh5. How to add a Mockup to an existing pagenn# *Hover your cursor* over the _Add_ menu on any Confluence pagen# *Select* *{_}UI Mockup{_}*n# *Use the Balsamiq Web-based editor* to complete your mockupn# Once you’ve completed your mockup, *select* *{_}Save and Close{_}* *from the* *{_}Mockup{_}* *menu in the top-left of the Balsamiq editor*nnnh5. Import Existing MockupsnnYou can [+reuse a whole bunch of Mockups+|http://mockupstogo.net/] that have been contributed by the community.n{column}n{section}n{excerpt}nn(!) The Gliffy and Balsamiq plugins are pre-installed with Confluence Hosted Evaluations.’,32785),(98308,'{include:_Installing Plugins}n—-n{anchor:top}n{section}nn{column}n{panel}nnh5. Manage Tasksn_Focus on getting things done_n\\n[!TaskDock.png|border=1,width=200,height=150!|#tsk]n[*{+}Learn how >>+*|#tsk]nn{panel}n{column}nn{column}n{panel}nnh5. Skin & Theme Your Intranetn_Customise Confluence_n\\n[!IntranetTheme.png|border=1,width=200,height=150!|#the]n[*{+}Learn how >>+*|#the]nnn{panel}n{column}nn{column}n{panel}nnh5. Smartphone Applicationsn_Confluence on your mobile device_n\\n[!mini_confluence_1.png|border=1,width=200,height=150!|#mob]n[*{+}Learn how >>+*|#mob]nnn{panel}n{column}nn{column}n{panel}nnh5. Other Cool Pluginsn_Diagrams and Mockups_n\\n[!Gliffy.png|border=1,width=200,height=150!|#oth]n[*{+}Learn how >>+*|#oth]nnn{panel}n{column}n{section}n—-n{anchor:tsk}nnh1. Manage tasks and get everyone involvedn{include:_TaskDock}n[_Back to top_|#top]nnnn{anchor:the}nnh1. Skin and theme your intranetn{include:_Themes}n[_Back to top_|#top]nnn{anchor:mob}nnh1. Set up Confluence on your mobile devicen{include:_Mo
[Msg] Finished – Unsuccessfully
————————————————–
[Err] 2006 – MySQL server has gone away
[Err] /*Data for the table `bodycontent` */
insert into `bodycontent`(`BODYCONTENTID`,`BODY`,`CONTENTID`) values (98305,'{note:title=Installing Plugins}nnThe plugins featured on this page are not installed out-of-the-box. To install them, please refer to our documentation on +[installing plugins|http://confluence.atlassian.com/x/loBQ]+.nn{note}’,32776),(98306,'{section}n{column:width=1px}n{panel}n{gallery:columns=2|include=RefinedWiki.jpg,ThemeBuilder.png|sort=name}n\\{_}Click to enlarge{_}\\n{panel}n{column}n{column}nYou have +[a number of options|http://confluence.atlassian.com/display/CONFHOST/Skinning+Confluence]+ for completely customising the look and feel of Confluence. Below, we’ve highlighted the most popular options for skinning Confluence for use as a corporate intranet.nnh5. RefinedWiki Original ThemennRefinedWikis Original Theme is a plugin which gives Confluence a whole new design and makes it easier for your company to collaborate and share documents.nnWatch the video >>:n{widget:url=http://app.episodic.com/shows/13/episodes/pskcvfyj8x1p}nnn(i) [*Learn more*|https://plugins.atlassian.com/plugin/details/15231]nnh5. ThemeBuildernnIf you are looking to build your own theme, the Theme Builder plugin allows you to add and customise logo banners, menu-driven navigation, style sheets, footers and more…nn(i) [*Learn more*|http://www.adaptavist.com/display/ADAPTAVIST/Builder]n{column}n{section}’,32788),(98307,'{excerpt}n{section}n{column:width=1px}n{panel}n[!_Balsamiq – Demonstration Space – Extranet.jpg|width=403,height=308!|http://www.youtube.com/watch?v=e7htdJCvkeQ]n{panel}n{column}n{column}nEver heard the saying _’a picture is worth a thousand words’_? Using the +[Balsamiq Mockups Plugin|https://plugins.atlassian.com/plugin/details/256]+ you can create and visualise mockups of diagrams for proposed layouts of website content, new features, and much more, right within Confluence.nnh5. How can you use it?nn* Our ‘Development Team’ uses Balsamiq to mockup new features for our products. The Balsamiq Mockup below eventuated in the new Image Browser that shipped in Confluence 3.1.n* Our ‘Marketing Team’ use Balsamiq to create mockups of pages for our website in Confluence. The mockups are then given to our ‘Web Team’ to implement.n\\nnh5. How to add a Mockup to an existing pagenn# *Hover your cursor* over the _Add_ menu on any Confluence pagen# *Select* *{_}UI Mockup{_}*n# *Use the Balsamiq Web-based editor* to complete your mockupn# Once you’ve completed your mockup, *select* *{_}Save and Close{_}* *from the* *{_}Mockup{_}* *menu in the top-left of the Balsamiq editor*nnnh5. Import Existing MockupsnnYou can [+reuse a whole bunch of Mockups+|http://mockupstogo.net/] that have been contributed by the community.n{column}n{section}n{excerpt}nn(!) The Gliffy and Balsamiq plugins are pre-installed with Confluence Hosted Evaluations.’,32785),(98308,'{include:_Installing Plugins}n—-n{anchor:top}n{section}nn{column}n{panel}nnh5. Manage Tasksn_Focus on getting things done_n\\n[!TaskDock.png|border=1,width=200,height=150!|#tsk]n[*{+}Learn how >>+*|#tsk]nn{panel}n{column}nn{column}n{panel}nnh5. Skin & Theme Your Intranetn_Customise Confluence_n\\n[!IntranetTheme.png|border=1,width=200,height=150!|#the]n[*{+}Learn how >>+*|#the]nnn{panel}n{column}nn{column}n{panel}nnh5. Smartphone Applicationsn_Confluence on your mobile device_n\\n[!mini_confluence_1.png|border=1,width=200,height=150!|#mob]n[*{+}Learn how >>+*|#mob]nnn{panel}n{column}nn{column}n{panel}nnh5. Other Cool Pluginsn_Diagrams and Mockups_n\\n[!Gliffy.png|border=1,width=200,height=150!|#oth]n[*{+}Learn how >>+*|#oth]nnn{panel}n{column}n{section}n—-n{anchor:tsk}nnh1. Manage tasks and get everyone involvedn{include:_TaskDock}n[_Back to top_|#top]nnnn{anchor:the}nnh1. Skin and theme your intranetn{include:_Themes}n[_Back to top_|#top]nnn{anchor:mob}nnh1. Set up Confluence on your mobile devicen{include:_Mo
[Msg] Finished – Unsuccessfully
————————————————–
百度相关问题就行

Hadoop的作用

Hadoop作为大数据存储及计算领域的一颗明星,目前已经得到越来越广泛的应用。下面主要分析了Hadoop的一些典型应用场景,并对其进行了深入分析,主要包括下面几个方面:
日志处理: Hadoop擅长这个
并行计算
ETL: 每个人几乎都在做ETL(Extract-Transform-Load)工作 Netezza关于使用Hadoop做ETL任务的看法)
使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统
机器学习: 比如Apache Mahout项目
Hadoop是什么?
是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。 hadoop的核心主要包含:HDFS和MapReduce, HDFS是分布式文件系统,用于分布式存储海量数据。 MapReduce是分布式数据处理模型,本质是并行处理。
多少数据算海量数据?
个人认为,TB(1024GB)级别往上就可以算海量数据。
谁在使用hadoop?
N多大型互联网公司,这里列的比较全:
http://wiki.apache.org/hadoop/PoweredBy
在国内,包括中国移动、百度、网易、淘宝、腾讯、金山和华为等众多公司都在研究和使用它
用它来做什么?
海量数据处理。。。似乎有点虚,用hadoop的地方:
1、最简单的,做个数据备份/文件归档的地方,这利用了hadoop海量数据的存储能力
2、数据仓库/数据挖掘:分析web日志,分析用户的行为(如:用户使用搜索时,在搜索结果中点击第2页的概率有多大)
3、搜索引擎:设计hadoop的初衷,就是为了快速建立索引。
4、云计算:据说,中国移动的大云,就是基于hadoop的
5、研究:hadoop的本质就是分布式计算,又是开源的。有很多思想值得借鉴。

Hadoop到底能做什么?怎么用Hadoop?

hadoop是什么?hadoop能做什么?怎么用hadoop?
hadoop是什么?
Hadoop是一个开源的框架,可编写和运行分不是应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce(数据处理),Hadoop的数据来源可以是任何形式,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的处理能力,不管任何数据形式最终会转化为key/value,key/value是基本数据单元。用函数式变成Mapreduce代替SQL,SQL是查询语句,而Mapreduce则是使用脚本和代码,而对于适用于关系型数据库,习惯SQL的Hadoop有开源工具hive代替。
hadoop能做什么?
hadoop擅长日志分析,facebook就用Hive来进行日志分析,2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析;淘宝搜索中的自定义筛选也使用的Hive;利用Pig还可以做高级的数据处理,包括Twitter、LinkedIn 上用于发现您可能认识的人,可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是!在Yahoo!的40%的Hadoop作业是用pig运行的,包括垃圾邮件的识别和过滤,还有用户特征建模。(2012年8月25新更新,天猫的推荐系统是hive,少量尝试mahout!)
hadoop能为我司做什么?
零数据基础,零数据平台,一切起点都是0。
日志处理
用户细分特征建模
个性化广告推荐
智能仪器推荐
一切以增加企业的商业价值为核心目的、最终目的
4.怎么用hadoop?
hadoop的应用的在我司还属于研发型项目,拟用日志的分析来走通一次流程,因为此阶段目前来说还不需要数据挖掘的专业人员,在数据分析阶段即可,而系统有数据库工程师,Mapreduce有java开发工程师,而分析由我本人介入,而可视化暂时可由前端JS实现,本来我的调研方案,针对大数据的解决方案是hadoop+R的,但是对于R我们是完全不懂,在公司还没有大量投入人员的情况下,只有日志分析目前看来是最容易出成果的,也是可以通过较少人员能出一定成果的,所以选取了这个方向作为试点。
首先要进行数据的存储,一是要协调上游的服务厂商,关于日志的抓取,二是hadoop系统的搭建,目前已经在紧张的筹备中了。
http://blog.sina.com.cn/s/blog_687194cd01017lgu.html

hadoop基础-Hadoop入门一

对于想自学Hadoop,提供学习的路线图:
Hadoop概述
什么是Hadoop
为什么需要Hadoop
Hadoop的诞生和成长
Hadoop的特点和生态系统
HDFS和MapReduce
什么是HDFS,以及HDFS的设计目标
HDFS基本组件和架构
什么是MapReduce,以及MapReduce的架构
MapReduce基本服务和流程
Hadoop集群规划概要,以及软硬件的选择

月上也有大数据 超级计算机未来或登月

月球上要搭建超级计算机?虽然这听起来有点很荒谬,但美国南加州大学的研究生们认为这很有必要,因为他们觉得这将有助于缓解未来深空网络堵塞,而这也正是NASA科学家所担心的。
Ouliang Chang在几周前召开的航空空间会议上提出了在月球上建超级计算机的想法。这个计划准备在月球的背面,也就是远离地球和电磁的那一面的陨石坑中埋藏一个巨型计算机,这样利用核动力的计算机就可以处理空间任务数据,同时也将远离地球的深空网络带入了一个以月球为中心的时代。
南加州大学工程学院Ouliang Chang的课程主管Madhu Thangavelu称,一旦物理基础主干网建设完成,它一定很像某个庞然大物的挖掘现场。
深空网络是由位于美国、澳大利亚和西班牙的13个巨大天线组成,它负责收集数据并与外太空的航天器通信。由于太空任务中大多数的数据都要传回地球进行处理,这个网络带宽早已超负荷运转。Ouliang Chang称,如果在月球上建立这么一个超级计算机,那么这一局面将随之发生改变。
在Ouliang Chang的计划中,超级计算机将运行于月球两极的寒冷地区,因为寒冷的温度不仅可以让超级计算机的冷却变得更容易,同时也便于使用超高效的超导材料来传输电力。虽然现在还不清楚月球两极有多少水,但Ouliang Chang已设想这将是一个水冷式超级计算机。
那么建造这个超级计算机需要多少钱呢?Ouliang Chang和Madhu Thangavelu称,如果不介意建设费用的话,按照一磅材料5万美元的价格运到月球,同时再算上挖掘成本、超级计算机、冷却系统和核能发动机,这个项目整体耗费将达到100亿到200亿美元,因此哪一天倘若真的建成,那么这个月球基地将会是有史以来建造的最昂贵的超级计算机。
建成后的月球电脑将可以和宇宙飞船、地球通信协作,能够将可操作方向的天线悬浮在月球陨石坑上,给离开地球的深太空网络第二个聚焦点。
为什么需要超级计算机在月球上
NASA的一些人早就意识到未来深空网络将会出现信息堵塞的情况,在2006年初,该机构的顶级网络专家曾警告称,未来三十年里航天器的数量至少增加一倍,对数据的需求也将会有数量级的增长。
因此太空科学家们担心现有的深空网络硬件届时会太过时,同时也胜任不了地球外数据传输日益增长的需求。科学家们称,美国太空总署不得不寻找一个计划。
事实上,Ouliang Chang并不是第一个提出将大数据处理设备放在月球上的人,早在2004年,航天系统的研究人员就提出月球数据缓存——外星备援系统,这个系统将使企业在发生类似911恐怖袭击之后能够保持通信能力,同时研究人员还想出了一些赚钱想法,比如月球车部署广告牌等。
尽管如此,Ouliang Chang的想法被《新科学家》报道后,引起航天界的兴趣,因为它解决了一个非常现实而又迫切的空间问题。南加州大学Madhu Thangavelu称,这个想法不仅激发了政策制定者的灵感,同时也给了月球未来一个非常清晰的定位和使命。
系统工程师、NASA格伦研究中心管理人员Kul Bhasin称,虽然月球部署超级计算机看起来非常遥远,但Ouliang Chang的想法激发了更多的灵感。从事于先进外太空网络技术研究的Kul Bhasin还称,其实还有另外一些不错的选择——基于激光的网络通信技术,它可突破深空网络的瓶颈。
此外,麻省理工学院的林肯实验室研究人员明年也将测试一个每秒622M的激光网络,这将使地球和月亮之间的通信能力提高五倍。
最后:值得一提的是,对于Ouliang Chang而言,在月球上部署超级计算机是自然而然产生的想法,因为他是一名超级计算的极客,据他称,他只是把两个流行的概念——太空探索和云计算联系在一起而已。

福布斯:大数据或因提前成为行业标准而消亡

据美国《福布斯》网站刊登网络性能管理软件提供商SevOne首席执行官迈克·费伦(Mike Phelan)的文章称,“大数据”(Big Data)或将因为提前成为行业标准而迅速消亡。一旦“大数据”变成“普通数据”(Any Data),届时的市场赢家无疑都是较早关注数据收购、分析、存储、分享和具体化方法的公司。
以下是文章内容全文:
在科技产业,热门词汇出现和消失的频率非常高,堪比政治宣传活动媒体每周热词的更新频率。然而,与其他多数热门词不同的是,“大数据”(Big Data)的受追捧程度却一直保持了数年之久。如果不能成为科技产业今年的流行词的话,“大数据”至少已经成为第三季度的热词。从事或拥有“大数据”业务的公司都在击鼓相庆,而那些不从事或没有“大数据”业务的公司也都坚持认为,他们即将拥有“大数据”;或者由于业务重点不同,他们并不需要“大数据”。
然而,似乎没有人表示或意识到,“大数据”时代的末日即将临近,或许还剩几年甚至是几个月的时间。当然,我们也得为此做好准备。
何为“大数据”
如果你还对这个科技产业热词不太熟悉的话,我可以告诉你,“大数据”就是指一套大型且复杂的数据集合体。我们很难用常规数据库和工具来处理“大数据”。由于自身数量庞大,“大数据”难以被捕捉、存储、搜索、分享、分析和具体化。近几年“大数据”的出现和流行要在很大程度上得益于市场上陆续推出的大量数据发生和数据消费产品,包括移动设备、追踪系统、无线射频识别技术(RFID)、传感网络、社交网络、互联网搜索、自动记录系统、视频档案、电子商务等等;此外,还要算上分析所有这些信息所产生的额外信息,而这些信息又会创建出另外一套庞大的数据组。
追逐“大数据”业务的公司看重的则是“大数据”在确定商业趋势、改进研究质量、获得各个产业深入见解等方面所具有的相关性。
那为什么在信息科学领域如此有用的发展趋势却可能会很快消亡呢?
“大数据”的规模总是在变化,但往往都是每年递增。“大数据”在2012年的规模就已经从年初的数十TB(1TB=1,024GB)增长到现在的数PB(1PB=1,024TB)。那又为何增长如此之快呢?举一个简单的例子,据媒体报道,Facebook用户在该网站上张贴出来的照片已达400亿张。而我敢打赌,苹果迷们会疯狂地使用iPhone 5拍摄新的照片,然后使用Siri语音功能就可以将照片直接发到Facebook上。
尽管数据正在以史无前例的速度增长,但该是为“大数据”送上吊唁卡的时间了。
提前成为行业标准
在2012年7月,权威市场研究机构Gartner发布了第一份专为大数据撰写的调查报告《Hype Cycle for Big Data, 2012》。在这份专业报告中,Gartner认为,由于是被“炒作出来的概念”,“大数据”这个热词不会流行很长时间。Gartner指出:“在其他热词的炒作过程中,相关市场研究机构都会每年出版一份流行报告。但我们认为,在未来两到三年里,“大数据”的新来源和新类型都可能遇到困境,而新增数据也将成为‘未知数’。只有宣传才能促进炒作循环(Hype Cycle)。”
2012年9月,在谈到商业数据和消费者网络数据的流量、速度和种类问题时,美国著名投行摩根士丹利(Morgan Stanley)坚持认为,与“大数据”趋势背道而驰的是,“在数据管理方面,我们现在所经历的变化趋势更多是给予用户用于存储和分析任何数据组所需的技术,随时随地为任何类型的用户提供任何类型和大小的数据。”
另一权威市场研究机构IDC预计,在未来十年里,由企业管理的数据量将增长50%,而95%的新增数据都是多重结构数据,其年增速要远远超过结构数据的年增速。摩根士丹利也在报告中坚持认为,“大数据”很快就会变成“普通数据”(Any Data)。摩根士丹利指出:“基于IDC公布的IT市场规模,到2015年,全球数据市场相关支出将增长至1,150亿美元。”
我们对以上相关报告的解读是:“大数据”很快就会变成行业标准。这一发展趋势已经无可争议,在未来不到三年的时间里,大型数据组将非常普遍,只有那些远低于这一行业标准的数据公司才会使用“大数据”这一概念来标示他们的数据库资源。
市场赢家
“大数据”概念存在的最大问题就是对“大”的定义。各大公司都在为应对现有的大流量数据而投入巨资,IT产业的一些专业部门也正在为如何处理庞大的信息量而设计解决方案。摩根士丹利在报告中指出,与中小型企业相比,大型企业管理的平均数据量是前者的20多倍;50%的大型企业都有“大数据”管理项目,而拥有“大数据”管理项目的中小型企业比例仅为20%。换句话说,企业仍处于管理当今大流量数据的发展初级阶段。
一旦“大数据”变成“普通数据”,而且每家公司都找到了处理和使用现有大量数据的方法,我们就会很容易发现该市场的赢家。他们无疑都是较早关注数据收购、分析、存储、分享和具体化方法的公司。他们可能不会是那些为了应对“大数据”概念走俏而进行自我转型后的公司,而是那些从一开始就从事大规模数据处理和分析的公司。
警惕变成热词奴隶
以下是我们的一点忠告:接受“大数据”将很快成为行业标准的现实,并且谨记没有人能给行业标准贴上标签。你可以在午饭时与他人讨论时下的科技热词,但当你真正进入公司会议室后,你就该把注意力放在那些能够帮你处理任何规模数据的公司身上。
如果能够处理“普通数据”,将来你就有能力处理“大数据”。如果你能够尽早抛弃“大数据”的说法,将来你就不会变成那些在多年前就习惯这一称呼但在21世纪仍自诩很“时髦”的IT热词奴隶。

OpenStack光鲜外表之下的阴暗

OpenStack Summit召开的几周前,一份新的报告发布。严肃的告诫了用户不要买进这个(或者任何)被吹的天花乱转的开源云平台。
Gartner Reaearch 副总裁Lydia Leong建议持观望态度的用户要睁大眼睛看清:OpenSDtack在促进供应商结束封闭迈向开源的同时却把自己的一套封闭方案送了出去。她推荐使用可以运用在多种云平台上的第三方云管理工具或者API库。
OpenStack:现实 vs 广告
Leong在报告(不要让OpenStack的炒作扭曲了你对云管理平台的选择)中写到,人们之所以被错误的引导是因为OpenStack是开源的,并且被“公开和广泛的作为标准”。但事实上却存在着很大的差距。下面是一段原文:
“OpenStack已经被商业利益套牢,作为供应商的一种经营策略;而不是一个由无利益贡献者组成的社区。许多OpenStack的参与者(尤其是Rackspace和其他一些云供应商),他们惧怕AWS成长并支配IaaS市场,但是个人又没能力组织起一个与AWS在规模上相抗衡的组织,因此他们不得不持续缴纳加盟费(比如VMware的vCloud)。”
当然,更多的会涉及到OpenStack的忠诚,Leong补充道:“不要抱有OpenStack会把你的数据中心当作核心问题对待的幻想。”
来自Garner 9月14日的报告:另一方面,OpenStack适宜于公司的早期的采用,用来做初始编码的早期布局和处理。
OpenStack:Linux还是Unix?
即使面对巨头Amazon带来如山压力,OpenStack内部的竞争仍旧愈演愈烈!随着IBM、HP、Cisco、Dell、SUSE及VMware的加入联盟(开始只有Rackspace和NASA),问题就出现了:OpenStack未来的本质究竟是Linxu云,还是Unix云?
OpenStack Foundation的结构已基本完整,并通过了努力逐渐的削弱了Rackspace的影响力。而新版本的“Folsom”发布也说明了这一点。
来自Leong的一些其他常识建议:要像你检验任何供应商的商品一样去评测 OpenStack、CloudStack(Citrix创建,曾OpenStack的一大拥护者)、Eucalyptus、OpenNebula及一些其他的云开源基础设施。