一个程序员的喃喃自语
小象《Hadoop 2.X大数据平台V3》
链接：http://pan.baidu.com/s/1nvS7GFJ 密码：tqng
《Spark 1.X 大数据平台V2》11月份班
链接：http://pan.baidu.com/s/1sl6KOGX 密码：qlea
深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存
链接：http://pan.baidu.com/s/1gfsmj3X 密码：50y2
资源整理中…….
欢迎大家补充！
随着越来越多企业开始投身于大数据技术的革新洪流，对于IT专业人士的市场需求也水涨船高。时至今日，具备收集、整理、分析以及构建不同来源数据技能的人才正迎来自己职业生涯的上升期。
在当下的数字化时代，数据量的丰富程度远远超过历史上的任何时期，很多时候这种丰富程度甚至成为一种沉重的负担。企业开始将大量资源投入到云技术、移动技术以及社交媒体当中。结合这些新兴领域，再加上企业自身运营所必然产生的信息，我们发现目前需要收集的数据总量单单用“爆炸式”已经不足以形容其扩张速度。根据Kforce公司(一家总部位于佛罗里达州坦帕市的人力资源企业)的调查，伴随着数据量的节节攀升，市场对于有能力收集、整理并利用数据内容的人才显现出旺盛的需求态势。
需要强调的是，本文中所列举的所有薪酬都按照一位典型IT专业人士以每周四十小时的工作时长来计算。
一、Hadoop开发人员
Hadoop是一套基于Java的开源框架，旨在支持大规模数据集的处理流程。根据Kforce公司的调查结果，Hadoop框架中的数据及其它一系列相关技术——包括Hive、HBase、MapReduce、Pig等——都对使用者提出了很高的专业知识要求。由于受到当下数据规模的有力推动，而且事实上如果不借助规模化分布式处理机制的强大能力、企业根本无法承受由传统商务智能工具处理海量数据所带来的高昂成本及漫长的时间周期。
“纵观当前的大数据发展环境，拥有Hadoop框架使用经验的人才最受市场追捧。这些职位往往主要负责帮助企业完善其长期大数据战略并使其趋于成熟，”Kforce公司CTO Greg Jones表示。
平均年薪：15-17.5万美元
平均时薪：70美元
二、信息架构师
“大数据让整个世界对数据掌控权的重要性产生了新的认识。”Kforce公司大数据团队指出。
要充分利用企业数据优势并构建起具备可操作性的规划，相关人员必须拥有特殊的技能储备。信息架构师需要了解如何定义并记录关键性元素，同时确保以最具影响力的方式向企业解释数据内容。主数据管理、业务知识以及数据模型构成了这类从业人员必须掌握的三大关键性技能。
平均年薪：11.375-13.535万美元
平均时薪：65美元
三、ETL开发人员
企业用户的数据量以及数据类型出现爆炸式增长，因此市场也为有能力收集并整合大数据内容的专业人士提供了非常广阔的发展空间。ETL开发人员的主要工作内容在于从企业的各类不同数据源处收集数据，并创造出多种能够从中提取数据信息的途径。除此之外，他们还需要根据企业的实际需求对提取结果加以导入及修改，并最终将其添加到数据仓库当中。
“由于ETL软件行业目前已经相当成熟，这些岗位很可能会在大数据资源池当中获得最为稳定且持久的任期，包括雇员或者外包这两种方式，”Kforce公司CTO Greg Jones指出。
平均年薪：11-13万美元
平均时薪：63.02美元
四、预测分析开发人员
“预测分析如今被营销团队大量使用，旨在预测消费者的未来行为与产品的目标受众，”Kforce公司解释称。
这一角色有时候似乎与数据科学家在工作中的探索天性颇为相近，双方都需要利用企业数据研究多种“假设”场景的可能走向。这些技能高超的IT人员精于创建潜在业务场景，并懂得如何利用历史数据表现来假设并测试阈值以及未来的表现。
平均年薪：10.37-12.9万美元
平均时薪：60美元
五、可视化工具开发人员
数据规模的极度膨胀也给分析工作带来了诸多挑战。以Spotfire、Qlikview以及Tableau为代表的各类可视化工具集帮助我们直观快捷地完成数据探测工作。另外，与之相关的岗位也很可能最终趋近于通用型商务智能开发类别。根据Kforce公司的调查，Hadoop目前的人气相当高涨，同时也将成为一种全新的专业技能门类。
“这些技能在短期内将作为热门资源受到高度追捧。随着此类资源的供给与需求逐渐达到平衡，加之相关工具集的日益成熟，未来职位的薪酬水平有可能有所放缓，具备这些资源的人才也很可能转化为全职员工。”Kforce公司CTO Greg Jones表示。
平均年薪：15-17.5万美元
平均时薪：57.50美元
六、数据仓库设备专家
“这些专家专门打理数据仓库设备，例如来自Teradata、Neteeza以及Exadata公司的产品。”Kforce指出。与这类职业角色相关联的核心任务包括数据集成、管理以及利用高端设备实现性能优化等。这些专业设备用于为企业用户提供规模化并行处理(简称MPP)流程，并通过对内存、磁盘以及数据存储架构进行特殊优化来构建适合实际需求的分析处理环境。”
——Kforce公司大数据团队
平均年薪：9.795-12.36万美元
平均时薪：57.5美元
七、OLAP开发人员
在线分析处理(简称OLAP)开发人员是数据组织优化方面的专家，擅长所谓的“大卸八块”式分析。在这一流程中，数据取向关系类或者非结构化数据源，并需要根据数据内容创建三维模型——通常被称为“星状”或者“雪花状”架构，然后再打造出用户界面、保证使用者能够通过高性能预定义查询实现数据访问。
平均年薪：9.79-11.555万美元
平均时薪：55美元
八、数据科学家
作为IT业界中的组成部分，数据科学家过去曾经被称为“数据架构师”。数据科学家是另一种全新类型的技术专业人士，其主要能力在于将自身的数据组织技能融入到商业价值主张当中。这类从业者还必须具备良好的沟通技巧，从而顺利完成向IT领导者及企业高层解释数据结果的任务。这些数据科学家通常都拥有自己的一套沙箱环境，利用它实现组织数据的探索与研究，并帮助推动业务创新活动。
“一部分属于分析师、一部分属于艺术家，数据科学家这一角色需要始终保持着旺盛的好奇心、能够一直紧盯着数据及焦点趋势。这几乎像是在文艺复兴时期对发展走向加以梳理，并根据结果指导企业的经营变化，”IBM公司大数据产品副总裁Anjul Bhambhri解释道。
PS:个人认为，做数据处理的其实没什么，做数据分析的才是大数据的关键！
我对数据挖掘和机器学习是新手，从去年7月份在Amazon才开始接触，而且还是因为工作需要被动接触的，以前都没有接触过，做的是需求预测机器学习相关的。后来，到了淘宝后，自己凭兴趣主动地做了几个月的和用户地址相关数据挖掘上的工作，有一些浅薄的心得。下面这篇文章主要是我做为一个新人仅从事数据方面技术不到10个月的一些心得，也许对你有用，也许很傻，不管怎么样，欢迎指教和讨论。
另外，注明一下，这篇文章的标题模仿了一个美剧《权力的游戏：冰与火之歌》。在数据的世界里，我们看到了很多很牛，很强大也很有趣的案例。但是，数据就像一个王座一样，像征着一种权力和征服，但登上去的路途一样令人胆颤。
在Amazon里从事机器学习的工作时，我注意到了Amazon玩数据的三种角色。
我相信其它公司的做数据挖掘或是机器学习的也就这三种工作，或者说这三种人，对于我来说，
目前所流行的Buzz Word——大数据是相当误导人的。在我眼中，数据不分大小，只分好坏。
在处理数据的过程中，我第一个感受最大的就是数据质量。下面我分几个案例来说明：
在Amazon里，所有的商品都有一个唯一的ID，叫ASIN——Amazon Single Identify Number，这个ID是用来标识商品的唯一性的（来自于条形码）。也就是说，无论是你把商品描述成什么样，只要ASIN一样，这就是完完全全一模一样的商品。
这样，就不像淘宝一样，当你搜索一个iPhone，你会出现一堆各种各样的iPhone，有的叫“超值iPhone”，有的叫“苹果iPhone”，有的叫“智能手机iPhone”，有的叫“iPhone 白色/黑色”……，这些同一个商品不同的描述是商家为了吸引用户。但是带来的问题有两点：
1）用户体验不好。以商品为中心的业务模型，对于消费者来说，体验明显好于以商家为中心的业务模型。
2）只要你不能正确读懂（识别）数据，你后面的什么算法，什么模型统统没用。
所以，只要你玩数据，你就会发现，如果数据的标准没有建立起来，干什么都没用。数据标准是数据质量的第一道关卡，没这个玩意，你就什么也别玩了。所谓数据的标准，为数据做唯一标识只是其中最最基础的一步，数据的标准还单单只是这个，更重要的是把数据的标准抽象成数学向量，没有数学向量，后面也无法挖掘。
所以，你会看到，洗数据的大量的工作就是在把杂乱无章的数据归并聚合，这就是在建立数据标准。这里面绝对少不了人肉的工作。无非就是：
另外，说一下Amazon的ASIN，这个事从十多年前就开始了，我在Amazon的内网里看到的资料并没有说为什么搞了个这样一个ID，我倒觉得这并不是因为Amazon因为玩数据发现必需建议个商品ID，也许因为Amazon的业务模型就是设计成以“商品为中心”的。今天，这个ASIN依然有很多很多的问题，ASIN一样不能完全保证商品就是一样的，ASIN不一样也不代表商品不一样，不过90%以上的商品是保证的。Amazon有专门的团队Category Team，里面有很多业务人员天天都在拼命地在对ASIN的数据进行更正。
用户地址是我从事过数据分析的另一个事情。我还记得当时看到那数以亿计的用户地址的数据的那种兴奋。但是随后我就兴奋不起来了。因为地址是用户自己填写的，这里面有很多的坑，都不是很容易做的。
第一个是假/错地址，因为有的商家作弊或是用户做测试。所以地址是错的，
第二个是真地址，但是因为用户写的不标准，所以很难处理，比如：
这样的例子多得不能再多了。可见数据如果不准确，会增加你处理的难度。有个比喻非常好，玩数据的就像是在挖金矿一样，如果含金量高，那么，挖掘的难度就小，也就容易出效果，如果含金量低，那么挖掘的难度就大，效果就差。
上面，我给了两个案例，旨在说明——
1）数据没有大小之分，只有含金量大的数据和垃圾量大的数据之分。
2）数据清洗是一件多么重要的工作，这也是一件人肉工作量很大的工作。
所以，这个工作最好是在数据产生的时候就一点一滴的完成。
有一个观点：如果数据准确度在60%的时候，你干出来的事，一定会被用户骂！如果数据准确度在80%左右，那么用户会说，还不错！只有数据准确度到了90%的时候，用户才会觉得真牛B。但是从数据准确度从80%到90%要付出的成本要比60% 到 80%的付出大得多得多。大多数据的数据挖掘团队都会止步于70%这个地方。因为，再往后，这就是一件相当累的活。
我不知道有多少数据挖掘团队真正意识到了业务场景和数据挖掘的重要关系？我们需要知道，根本不可能做出能够满足所有业务的数据挖掘和分析模型。
推荐音乐视频，和电子商务中的推荐商品的场景完全不一样。电商中，只要你买了一个东西没有退货，那么，有很大的概率我可以相信你是喜欢这个东西的，然后，对于音乐和视频，你完全不能通过用户听了这首歌或是看了这个视频就武断地觉得用户是喜欢这首歌和这个视频的，所以，我们可以看到，推荐算法在不同的业务场景下的实现难度也完全不一样。
说到推荐算法，你是不是和我一样，有时候会对推荐有一种感觉——推荐就是一种按不同维度的排序的算法。我个人以为，就提一下推荐这个东西在某些业务场景下是比较Tricky的，比如，推荐有两种（不是按用户关系和按物品关系这两种），
推荐有时并不是民主投票，而是专业用户或资深玩家的建议；推荐有时并不是推荐流行的，而是推荐新鲜而我不知道的。你可以看到，不同的业务场景，不同的产品形态下的玩法可能完全不一样，
另外，就算是对于同一个电子商务来说，书、手机 和服装的业务形态完全不一样。我之前在Amazon做Demand Forecasting（用户需求预测）——通过历史数据来预测用户未来的需求。
对于需求的预测，我发现，长期在这个行业中打拼的人的预测是最准的，什么机器学习都是浮云。机器学习只有在你要面对的是成千上万种不同商品和品类的时候才会有意义。
数据挖掘不是人工智能，而且差得还太远。不要觉得数据挖掘什么事都能干，找到一个合适的业务场景和产品形态，比什么都重要。
我看到很多的玩大数据的，基本上干的是数据统计的事，从多个不同的维度来统计数据的表现。最简单最常见的统计就是像网站统计这样的事。比如：PV是多少，UV是多少，来路是哪里，浏览器、操作系统、地理、搜索引擎的分布，等等，等等。
唠叨一句，千万不要以为，你一天有十几个T的日志就是数据了，也不要以为你会用Hadoop/MapReduce分析一下日志，这就是数据挖掘了，说得难听一点，你在做的只不过是一个统计的工作。那几个T的Raw Data，基本上来说没什么意义，只能叫日志，连数据都算不上，只有你统计出来的这些数据才是有点意义的，才能叫数据。
当一个用户在面对着自己网店的数据的时候，比如：每千人有5个人下单，有65%的访客是男的，18-24岁的人群有30%，等等。甚至你给出了，你打败了40%同类型商家的这样的数据。作为一个商户，面对这些数据时，大多数人的表现是完全不知道自己能干什么？是把网站改得更男性一点，还是让年轻人更喜欢一点？完全不知道所措。
只要你去看一看，你会发现，好些好些的数据分析出来的结果，看上去似乎不错，但是其实完全不知道下一步该干什么？
所以，我觉得，数据分析的结果并不仅仅只是把数据呈现出来，而更应该关注的是通过这些数据后面可以干什么？如果看了数据分析的结果后并不知道可以干什么，那么这个数据分析是失败的。
综上所述，下面是我觉得数据挖掘或机器学习最重要的东西：
1）数据的质量。分为数据的标准和数据的准确。数据中的杂音要尽量地排除掉。为了数据的质量，大量人肉的工作少不了。
2）数据的业务场景。我们不可能做所有场景下的来，所以，业务场景和产品形态很重要，我个人感觉业务场景越窄越好。
3）数据的分析结果，要让人能看得懂，知道接下来要干什么，而不是为了数据而数据。
搞数据挖掘的人很多，但成功的案例却不多（相比起大量的尝试来说），就目前而言，我似乎觉得目前的数据挖掘的技术是一种过渡技术，还在摸索阶段。另外，好些数据挖掘的团队搞得业务不业务，技术不技术的，为其中的技术人员感到惋惜……
不好意思，我只给出了问题，没有建议，这也说明数据分析中有很多的机会……
最后，还要提的一个是“数据中的个人隐私问题”，这似乎就像那些有悖伦理的黑魔法一样，你要成功就得把自己变得黑暗。是的，数据就像一个王座一样，像征着一种权力和征服，但登上去的路途一样令人胆颤。
转载自酷壳 – CoolShell.cn http://coolshell.cn/articles/10192.html
“在洛杉矶，警方通过数据分析，预测12小时内哪个地区最有可能发生犯罪；在伦敦金融城，一位交易员认为，数学计算可成为发财”秘笈”；在南美，天文学家尝试为整个宇宙进行分类记录……这些迥然不同的领域如今出现同一特征：数据量的大爆发。”
这是英国广播公司品牌栏目《地平线》最新播出的纪录片《大数据时代》中的开篇一幕。
王坚，阿里巴巴最富争议性的人物之一，爱者极爱，恨者极恨。
5月12日，我和MTC的朋友，在杭州发起并主持了一场关于云计算的沙龙，虾米的思践聊了云音乐，快的打车陈伟星聊了云时代的产品设计，短趣网王强宇聊了云时代的创业，当然少不了王坚聊一聊他对云计算的看法。
当天，青龙老贼发了一段王坚的部分观点，遭遇了他开通微信公众号以来最强烈的退粉，也激起了圈内人的各种讨论，这就是王坚的“影响力”。
我把王坚的分享做了个详细版的梳理，里面涉及了阿里云的定位、对大数据的反思、对APP创新的不看好，信息量很大，你可以感受一下。
一、无人机是大数据的典型
我热爱和平，但一讲到云计算和大数据，我想到的两个例子，都跟战争有关。
一个例子是，《世界是平的》作者去前线，看了现场的指挥官，发现西点军校应该重新办了。因为一个连排级的军官，只要一个电话，航母上的飞机就过来了。这放在以前的战争里是不会发生的，一个连排级军官能够动用的战争资源非常有限。今天，其实一个连排级的军官需要的训练和过去的军长师长是一样的。
经常有人问，如果有一定的基础设施，我能不能改变世界。在以前，只有国家主席可以做，今天一个人可以做的比主席还能多。因为有了云计算。
另外一个例子是，有人和我吹牛，说世界上大数据用得最好的就是无人机。前几天美国还在开会讨论为什么要租用中国的卫星，就是因为它自己的数据不够。无人机就是非常典型的一个创新，以前仗不是这么打的，今天有了大数据后就变了。
所以，云计算可以让你做以前不能做的事情，做以前不能做的规模。
二、我们的客户才是最会用数据的人
阿里云最早成立的时候，我们说自己是数据分享第一平台，对于这个定位，我自己觉得还蛮超前的。
阿里巴巴最早在讨论的时候，我们说为什么提数据，不提信息，这是一个很关键的事情。IBM会说数据没有用，知识才有用，所以这个定位很关键。
只要一谈到数据，我们其实就把自己定位在平台上了。我们想象我们的客户是把数据用到最好的人，而不是我们自己。
今天，最成功的数据公司就是谷歌。谷歌拿了全世界每个人都有的数据，就是web，它就靠自己的处理能力，做成了世界上最大的生意。谷歌初期的时候，它有的数据别人也有，只是别人没有他的处理能力和思想。
数据就是数据，只是要有人把他做成生意。
所以我们定位自己的时候，数据就是数据，这个是最基本的东西，有人比你更聪明，会把这个事情做成重要的生意。
今天的数据远远超过以前WEB的数据，所以可以想象的生意也会多很多很多，所以肯定可以比以前做得更大。
以前也没人知道数据在哪里，直到谷歌把他变成一个搜索，有办法把广告引导搜索里面。今天看来这个很简单，放当初很难，因为要把大家都有的东西，做成一个挣钱的东西，当时没几个人想清楚的，否则微软、雅虎也都不会把雅虎外包给别人。
三、“大数据”叫错了
之前田溯宁在北京组织了一个活动，请了《大数据》的作者，大家开了一个很小的研讨会。
我分享时说，其实大数据是叫错掉的，“大数据”没有反应这个问题最本质的东西。
其实大数据很早以前就有，只是光只有数据大是没有用处的。世界上最大的数据估计和互联网一点关系都没有，欧洲对撞实验室做一次碰撞的数据，可能一辈子都做不完，最大的数据估计在那里。
今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点。所有东西在线这个事情，远远比“大”更反映本质。
像快的打车要用一个交通的数据，如果这些东西不在线，是没有用的。
为什么今天的淘宝数据值钱，因为他在线了。写在磁带、写在纸上的数据，根本没有用。
反过来讲，在线让数据搜集变得非常容易。过去美国谁要做总统，需要做盖勒普调查，去街上拦2000个人，在纸上打个勾，预测就很准了。现在不用做这个事情，只要在twitter上分析每个人发的东西，就可以知道总统会是谁了。
而且盖勒普调查做完之后很难快速影响社会，现在数据可以反过来快速影响社会。就像打车软件，如果要影响出租车司机，可能比出租车公司更大，原因就是数据在线了。
有时候，一些石油、地质之类的公司来跟我讲大数据，我就想不通这算不算大数据。他们的数据多是肯定的，但是他们的数据不在线，没有意义。
四、数据比功能更重要
产品我是不太懂的，阿里云的产品做得那么不好，都是我的责任，这个得求大家原谅。
但吃了很多苦头后，对于产品心得还是有的。
目前我没有看到一个产品和数据结合得很好。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。
做航旅信息的产品，出了很多款。最近我看到出了一个“航旅纵横”，我用的比较多，我也不知道产品好不好，反正数据很好，他可以告诉你前一个航班发生了什么事情。
过去的软件，很多功能超出数据的重要性，但我相信，接下来，数据比功能会更重要。互联网人应该会能理解这个说法。
我和马云开玩笑说，阿里巴巴对数据的理解深度，不会超过苏宁对电子商务的理解。我的意思其实是，机会在哪里，大家都没搞清楚。
前几天我在北京碰到叶凯（京玩蟹科技有限公司CEO），他说游戏做来做去，发现数据是最重要的东西，在几个机房里数据拷来拷去很痛苦。
我猜测，他理解游戏的话，完全靠直觉已经不够了，数据可以帮他做这个事情。就好像一个人做在室内用数据来开飞机，光是训练飞行员的成本都不知道降低多少，这和用数据去改进游戏是异曲同工的。
五、云计算是个信任生意
我看云计算的时候，突然发现，云计算是个信任生意。包括虾米，短趣，能搬到阿里云，都是一个信任。
中国是全世界最早用纸币的国家。一张纸上盖个章，就让人相信是财富，这需要极大勇气的。今天，我们反而大大落后了，我们不相信信用卡，把信用卡当借记卡在用了，这是很要命的地方。
有人说他要做三年赚200亿美金（的互联网项目），他还要依靠别人（的云计算服务），他要相信这一点，是很了不起的。
我觉得，没有这个勇气，是不可能创新的。中国今天是有这样的机会。
我这里有个很自豪的案例。今天全国中国的药品，都有一个条形码，它需要去追踪每个药到了哪个批发商，到了哪个零售商，到了哪个医院，到了哪个患者，这个东西是个很重要的东西。现在这个东西就在阿里云上面，350万亿盒的数据都在上面。将来你跑到医院，自然能知道哪个是真药假药，也就是说，原来乱七八糟的事情就没了。这个是很大的创新。以前这些数据不在线的时候，你根本不敢去想，现在，你可以做很多的事情了。
另外一个案例，保险是一个很传统的行业。开一个保险公司，必须要开办事处。每人敢说，现在办一个保险，可以不签一个书面的东西。但是，可能今年下半年，中国会出一家保险公司，这是全世界第一家没有办事处的保险公司。不需要在纸上签任何东西，在线就能做完所有事情。
按我的理解，云计算能做好的话，创新机会非常大。
六、做APP，是在别人花园弄点盆栽
我觉得，移动互联网的创新，可以超越APP创新的范畴。
今天APP上的创新，有点像在人家花园里种点小花。因为苹果和安卓已经圈了一个花园，你种点花种点草是没有问题的，就像是去花鸟市场买点盆栽，反正是死也死不了活也活不好。
但是你要做点有生命力的东西，还是有挑战的。你要跑到大森林里，才能做有生命力的东西。否则叫你下架就下架，你会觉得还是有问题的。
当然，那个花园是一个很好的环境，也有人来看。但是在中国做生态的话，我们还是可以做有革命性的东西。
具体是什么，我们也真不知道。
七、有了施乐，才有苹果
我们做云计算最大的挑战是什么，就是我们真不懂。
这是一个无中生有的行业，我们过去只是在书上读到过的。是靠大家的互相配合、交互才能做起来。
我觉得应该办一个互联网博物馆。今天大家都看到了结果，没看到过程，这样的国家是很难创新。
大家可能不知道，大概百分之一百的鼠标都在中国生产，大部分也在中国消费，很多技术也在中国。很少有人去问，为什么有个东西要叫鼠标，第一个鼠标出来的时候是很丑陋的木头做的。
今天大家看到有个很漂亮的手机，叫做iphone，有个很好的操作系统，有个很好的appstore，大家可能没想过，这东西怎么来的。我早上在看一个关于美国八十年代经济的片子，其中采访了乔布斯，他说，如果不被苹果赶走，可能不会发生后面的事情。如果当时乔布斯没被赶走，没有一赌气去做NeXT，没有被买回来作为ios的基础的话，是不会有今天的苹果的。
所以，这里面的机缘巧合是很难计划的。
我要抱歉的是，阿里云是肯定要做好的，这个吃苦过程肯定逃不掉。
有一个八卦，苹果先做麦金塔，微软随后出了视窗，苹果就告微软抄袭。盖茨就和乔布斯说，我们就别互相搞了，其实我们都偷了施乐的东西。施乐没做大，但做出了很大的贡献。
中国的环境里没有施乐这样的公司，自然而然就不要想出苹果这样的公司。
我想说，就算各位创业者和施乐一样做点死不死活不活的东西，也很有意义。
八、不是搜集什么数据，而是做什么服务
今天的手机的传感器，和巡航导弹的传感器差不多。它能搜集到的东西很多，但是没有产生多大价值。
我觉得，数据搜集这件事，已经没有多大创新了，只要你想得到，我们一定能做得到。我觉得真正的创新，是你在这上面能够做什么，这还没有人弄懂。
这是一个鸡和蛋的问题，如果没有人能够用得好，那后面的东西不会发生。
最早的时候，有人会说，基于位置的服务什么的。但是到了今天，依然没有人知道了位置后，把服务做好。我觉得，这是最大的挑战。
九、云计算这名字有歧义
云计算是工业时代的电，大数据就是福特生产线，云存储就是钢铁工业。
也就是说，没有钢铁，就没有电，就不会有大规模工业化生产。没有云计算，大数据不会出来，如果美云计算没有解决云存储的问题，也不会出来。
我觉得云计算这名字的歧义在于，我们说这个的时候，其实包括了云计算、大数据、云存储等等所有的东西。
大数据，是我今天能想到的，那条能起来的福特生产线。到了最后，大家应该会忘记了云计算，只记得福特了。所以我说，看得见的前端，看不见的后台。
我不相信有人说，我做大数据，但是没有云的，那就是小作坊。
十、千万不要想着拿数据去改进业务
今天的银行，都不会是靠大数据起来的公司。银行靠什么处理数据，靠IBM。你可以算出来他做数据的成本，他处理数据产生的价值，可能都无法抹平处理数据的成本。
数据真正了不起的地方，是靠小的成本，去产生有价值的东西。
并不是说，有数据的地方，就会有大数据业务的存在。
阿里巴巴在数据上做的最好的是金融，但金融不等于银行。阿里金融做小贷的事情，恰恰是银行做不了的。银行没有这个数据，银行做信用评级的成本极高，银行不做小的贷款。
阿里金融每天贷10块钱，100块钱的人多得很。有个贷1块钱的客户，写了个感谢信，说这辈子从来没有人借给他一块钱，突然有人借他1块钱，他就觉得人生从此被尊敬了。
你千万不要想着拿数据去改进一个业务，这不是大数据。你一定是去做了一件以前做不了的事情。
亚马逊是全球做推荐最好的业务，这可以算是大数据的早期，但现在它每天想着怎么把推荐做得更好，我觉得这件事情一定没有希望。
http://www.techweb.com.cn/people/2013-05-14/1296347.shtml
大数据是什么？
这个视频介绍什么是大数据，为何应该关注大数据以及企业应该如何利用大数据来挖掘信息并实现巨大的竞争优势。
月球上要搭建超级计算机？虽然这听起来有点很荒谬，但美国南加州大学的研究生们认为这很有必要，因为他们觉得这将有助于缓解未来深空网络堵塞，而这也正是NASA科学家所担心的。
Ouliang Chang在几周前召开的航空空间会议上提出了在月球上建超级计算机的想法。这个计划准备在月球的背面，也就是远离地球和电磁的那一面的陨石坑中埋藏一个巨型计算机，这样利用核动力的计算机就可以处理空间任务数据，同时也将远离地球的深空网络带入了一个以月球为中心的时代。
南加州大学工程学院Ouliang Chang的课程主管Madhu Thangavelu称，一旦物理基础主干网建设完成，它一定很像某个庞然大物的挖掘现场。
深空网络是由位于美国、澳大利亚和西班牙的13个巨大天线组成，它负责收集数据并与外太空的航天器通信。由于太空任务中大多数的数据都要传回地球进行处理，这个网络带宽早已超负荷运转。Ouliang Chang称，如果在月球上建立这么一个超级计算机，那么这一局面将随之发生改变。
在Ouliang Chang的计划中，超级计算机将运行于月球两极的寒冷地区，因为寒冷的温度不仅可以让超级计算机的冷却变得更容易，同时也便于使用超高效的超导材料来传输电力。虽然现在还不清楚月球两极有多少水，但Ouliang Chang已设想这将是一个水冷式超级计算机。
那么建造这个超级计算机需要多少钱呢？Ouliang Chang和Madhu Thangavelu称，如果不介意建设费用的话，按照一磅材料5万美元的价格运到月球，同时再算上挖掘成本、超级计算机、冷却系统和核能发动机，这个项目整体耗费将达到100亿到200亿美元，因此哪一天倘若真的建成，那么这个月球基地将会是有史以来建造的最昂贵的超级计算机。
建成后的月球电脑将可以和宇宙飞船、地球通信协作，能够将可操作方向的天线悬浮在月球陨石坑上，给离开地球的深太空网络第二个聚焦点。
为什么需要超级计算机在月球上
NASA的一些人早就意识到未来深空网络将会出现信息堵塞的情况，在2006年初，该机构的顶级网络专家曾警告称，未来三十年里航天器的数量至少增加一倍，对数据的需求也将会有数量级的增长。
因此太空科学家们担心现有的深空网络硬件届时会太过时，同时也胜任不了地球外数据传输日益增长的需求。科学家们称，美国太空总署不得不寻找一个计划。
事实上，Ouliang Chang并不是第一个提出将大数据处理设备放在月球上的人，早在2004年，航天系统的研究人员就提出月球数据缓存——外星备援系统，这个系统将使企业在发生类似911恐怖袭击之后能够保持通信能力，同时研究人员还想出了一些赚钱想法，比如月球车部署广告牌等。
尽管如此，Ouliang Chang的想法被《新科学家》报道后，引起航天界的兴趣，因为它解决了一个非常现实而又迫切的空间问题。南加州大学Madhu Thangavelu称，这个想法不仅激发了政策制定者的灵感，同时也给了月球未来一个非常清晰的定位和使命。
系统工程师、NASA格伦研究中心管理人员Kul Bhasin称，虽然月球部署超级计算机看起来非常遥远，但Ouliang Chang的想法激发了更多的灵感。从事于先进外太空网络技术研究的Kul Bhasin还称，其实还有另外一些不错的选择——基于激光的网络通信技术，它可突破深空网络的瓶颈。
此外，麻省理工学院的林肯实验室研究人员明年也将测试一个每秒622M的激光网络，这将使地球和月亮之间的通信能力提高五倍。
最后：值得一提的是，对于Ouliang Chang而言，在月球上部署超级计算机是自然而然产生的想法，因为他是一名超级计算的极客，据他称，他只是把两个流行的概念——太空探索和云计算联系在一起而已。
据美国《福布斯》网站刊登网络性能管理软件提供商SevOne首席执行官迈克·费伦（Mike Phelan）的文章称，“大数据”（Big Data）或将因为提前成为行业标准而迅速消亡。一旦“大数据”变成“普通数据”（Any Data），届时的市场赢家无疑都是较早关注数据收购、分析、存储、分享和具体化方法的公司。
以下是文章内容全文：
在科技产业，热门词汇出现和消失的频率非常高，堪比政治宣传活动媒体每周热词的更新频率。然而，与其他多数热门词不同的是，“大数据”（Big Data）的受追捧程度却一直保持了数年之久。如果不能成为科技产业今年的流行词的话，“大数据”至少已经成为第三季度的热词。从事或拥有“大数据”业务的公司都在击鼓相庆，而那些不从事或没有“大数据”业务的公司也都坚持认为，他们即将拥有“大数据”；或者由于业务重点不同，他们并不需要“大数据”。
然而，似乎没有人表示或意识到，“大数据”时代的末日即将临近，或许还剩几年甚至是几个月的时间。当然，我们也得为此做好准备。
何为“大数据”
如果你还对这个科技产业热词不太熟悉的话，我可以告诉你，“大数据”就是指一套大型且复杂的数据集合体。我们很难用常规数据库和工具来处理“大数据”。由于自身数量庞大，“大数据”难以被捕捉、存储、搜索、分享、分析和具体化。近几年“大数据”的出现和流行要在很大程度上得益于市场上陆续推出的大量数据发生和数据消费产品，包括移动设备、追踪系统、无线射频识别技术（RFID）、传感网络、社交网络、互联网搜索、自动记录系统、视频档案、电子商务等等；此外，还要算上分析所有这些信息所产生的额外信息，而这些信息又会创建出另外一套庞大的数据组。
追逐“大数据”业务的公司看重的则是“大数据”在确定商业趋势、改进研究质量、获得各个产业深入见解等方面所具有的相关性。
那为什么在信息科学领域如此有用的发展趋势却可能会很快消亡呢？
“大数据”的规模总是在变化，但往往都是每年递增。“大数据”在2012年的规模就已经从年初的数十TB（1TB=1,024GB）增长到现在的数PB（1PB=1,024TB）。那又为何增长如此之快呢？举一个简单的例子，据媒体报道，Facebook用户在该网站上张贴出来的照片已达400亿张。而我敢打赌，苹果迷们会疯狂地使用iPhone 5拍摄新的照片，然后使用Siri语音功能就可以将照片直接发到Facebook上。
尽管数据正在以史无前例的速度增长，但该是为“大数据”送上吊唁卡的时间了。
提前成为行业标准
在2012年7月，权威市场研究机构Gartner发布了第一份专为大数据撰写的调查报告《Hype Cycle for Big Data, 2012》。在这份专业报告中，Gartner认为，由于是被“炒作出来的概念”，“大数据”这个热词不会流行很长时间。Gartner指出：“在其他热词的炒作过程中，相关市场研究机构都会每年出版一份流行报告。但我们认为，在未来两到三年里，“大数据”的新来源和新类型都可能遇到困境，而新增数据也将成为‘未知数’。只有宣传才能促进炒作循环（Hype Cycle）。”
2012年9月，在谈到商业数据和消费者网络数据的流量、速度和种类问题时，美国著名投行摩根士丹利（Morgan Stanley）坚持认为，与“大数据”趋势背道而驰的是，“在数据管理方面，我们现在所经历的变化趋势更多是给予用户用于存储和分析任何数据组所需的技术，随时随地为任何类型的用户提供任何类型和大小的数据。”
另一权威市场研究机构IDC预计，在未来十年里，由企业管理的数据量将增长50%，而95%的新增数据都是多重结构数据，其年增速要远远超过结构数据的年增速。摩根士丹利也在报告中坚持认为，“大数据”很快就会变成“普通数据”（Any Data）。摩根士丹利指出：“基于IDC公布的IT市场规模，到2015年，全球数据市场相关支出将增长至1,150亿美元。”
我们对以上相关报告的解读是：“大数据”很快就会变成行业标准。这一发展趋势已经无可争议，在未来不到三年的时间里，大型数据组将非常普遍，只有那些远低于这一行业标准的数据公司才会使用“大数据”这一概念来标示他们的数据库资源。
市场赢家
“大数据”概念存在的最大问题就是对“大”的定义。各大公司都在为应对现有的大流量数据而投入巨资，IT产业的一些专业部门也正在为如何处理庞大的信息量而设计解决方案。摩根士丹利在报告中指出，与中小型企业相比，大型企业管理的平均数据量是前者的20多倍；50%的大型企业都有“大数据”管理项目，而拥有“大数据”管理项目的中小型企业比例仅为20%。换句话说，企业仍处于管理当今大流量数据的发展初级阶段。
一旦“大数据”变成“普通数据”，而且每家公司都找到了处理和使用现有大量数据的方法，我们就会很容易发现该市场的赢家。他们无疑都是较早关注数据收购、分析、存储、分享和具体化方法的公司。他们可能不会是那些为了应对“大数据”概念走俏而进行自我转型后的公司，而是那些从一开始就从事大规模数据处理和分析的公司。
警惕变成热词奴隶
以下是我们的一点忠告：接受“大数据”将很快成为行业标准的现实，并且谨记没有人能给行业标准贴上标签。你可以在午饭时与他人讨论时下的科技热词，但当你真正进入公司会议室后，你就该把注意力放在那些能够帮你处理任何规模数据的公司身上。
如果能够处理“普通数据”，将来你就有能力处理“大数据”。如果你能够尽早抛弃“大数据”的说法，将来你就不会变成那些在多年前就习惯这一称呼但在21世纪仍自诩很“时髦”的IT热词奴隶。
导读：Yahoo CTO Raymie Stata是领导海量数据分析引擎的关键人物。IBM和Hadoop将更多的精力专注在海量数据上，海量数据正在潜移默化的改变企业和IT部门。
越来越多的大企业的数据集以及创建需要的一切技术，包括存储、网络、分析、归档和检索等，这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。
信息技术研究和分析的公司Gartner认为海量数据处理应该是将大量的不同种类以及结构化和非结构化的数据通过网络汇集到处理器和存储设备之中，并伴随着将这些数据转换为企业的商业报告。
海量数据处理的三个主要因素：大容量数据、多格式数据和速度
大容量数据（TB级、PB级甚至EB级）：人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑战，数据的存储和安全以及在未来访问和使用这些数据已成为难点。
多格式数据：海量数据包括了越来越多不同格式的数据，这些不同格式的数据也需要不同的处理方法。从简单的电子邮件、数据日志和信用卡记录，再到仪器收集到的科学研究数据、医疗数据、财务数据以及丰富的媒体数据（包括照片、音乐、视频等）。
速度：速度是指数据从端点移动到处理器和存储的速度。
Kusnetzky集团的分析师Dan Kusnetzky在其博客表示“简单的说，大数据是指允许组织创建、操作和管理的庞大的数据集和存储设施工具”。这是否意味着将来将会出现比TB和PB更大的数据集吗？供应商给出的回应是“会出现”。
他们也许会说“你需要我们的产品来管理和组织利用大规模的数据，只是想想繁杂大量的维护动态数据集带来的麻烦就使人们头疼“。此外海量数据的另外一个价值是它可以帮助企业在适当的时机作出正确决策。
从历史上看，数据分析软件面对当今的海量数据已显得力不从心，这种局面正在悄然转变。新的海量数据分析引擎已经出现。如Apache的Hadoop、LexisNexis的HPCC系统和1010data（托管、海量数据分析的平台供应商）的以云计算为基础的分析服务。
101data的高级副总裁Tim Negris表示海量数据的收集以及存放和利用海量数据实际上完全是两回事。在做任何事前需要大量（准备数据）的工作是像Oracle和大多数数据库厂商所面临的难题之一。我们正是要消除这个难题，并把数据直接交到分析师的手中。Hadoop和HPCC系统做到了这一点。这三个平台都着眼于海量数据并提供支持。
开源的Hadoop已经在过去5年之中证明了自己是市场中最成功的数据处理平台。目前Cloudera的首席执行官和Apache基金会的Doug Cutting是Hadoop的创始人，他曾在Yahoo工作过。
Hadoop将海量数据分解成较小的更易访问的批量数据并分发到多台服务器来分析（敏捷是一个重要的属性，就像你更容易消化被切成小块的食物）Hadoop再处理查询。
“Gartner和IDC的分析师认为海量数据的处理速度和处理各种数据的能力都是Hadoop吸引人们的地方”。Cloudera的产品副总裁Charles Zedlewski说到。
在Cutting和他的Yahoo团队提出Hadoop项目之后，在Yahoo IT系统测试并广泛使用了很多年。随后他们将Hadoop发布到开源社区，这使得Hadoop逐渐产品化。
在Cutting和Yahoo在开发、测试并内部运行代码时，他们了解到使用起来还是很复杂的。这导致他们马上意识到如果在未来提供周边服务（例如提供直观的用户界面、定制部署和附加功能软件）可赚取更多的资金。
在2009年Cloudera作为一家独立公司开始运营，公司产品采用开源并产品化Hadoop分析引擎和Cloudera企业版（Cloudera Enterprise整合了更多的工具，包括Hive、HBase、Sqoop、Oozie、Flume、Avro、Zookeeper、Pig和Cloudera Desktop）。
Cloudera得到了大量投资者的青睐，这其中包括VMware的创始人和前首席执行官Diane Greene、Flickr的联合创始人Caterina Fake、MySQL前首席执行官Marten Mickos、Linkedln总裁Jeff Weiner和Facebook CFO Gideon Yu。
自从Cloudera成立以来，只有少数的顶级公司和初创公司免费提供他们基于Hadoop开放源代码架构制作的自己的版本。
这是一场真正的企业科技的竞争。就像在一场接力赛中，所有选手都必须使用同一种类型的接力棒（Hadoop的代码）。企业竞争主要集中在处理数据的速度、敏捷性和创造性上。这场竞争是迫使大多数企业在海量数据分析市场有所作为最有效的方法。
IBM提供了基于Hadoop的InfoSphere BigInsights（IBM InfoSphere BigInsights 是用于分析和虚拟化海量数据的软件和服务，这款新产品由 Apache Hadoop 提供技术支持。）基本版和企业版。但公司有更大的计划。
IBM CEO Sam Palmisano表示IBM正在将新一代数据分析作为公司的研发重点，IBM在此项目上投资了1亿美元。IBM院士和计算机科学研究室主任Laura Haas表示IBM实验室的研究远远超出了海量数据的范围，并已经着手”Exadata“分析研究。Watson就是IBM在数据海量数据研究的成果，Watson将用于更多用途，包括卫生保健、科学研究等。
其他Hadoop版本
MapR发布了一个分布式文件系统和MapReduce引擎，MapR还与存储和安全的领导厂商EMC合作向客户提供了Greenplum HD企业版Hadoop存储组件 。EMC Hadoop的另一个独特之处在于它没有采用官方版本的Apache代码，而是采用Facebook的Hadoop代码，后者在可扩展性和多站点部署上进行了优化。
另一家厂商 Platform Computing，Platform提供了与Apache Hadoop MapReduce编程模型完全兼容的分布式分析平台，并支持多种分布式文件系统。
SGI（Silicon Graphics International ）提供基于SGI Rackable和CloudRack服务器产品实施服务的Hadoop优化解决方案。
戴尔也开始出售预装该开源数据处理平台的服务器。 该产品成本随支持选项不同而异，基础配置价格在11.8万美元至12.4万美元之间，包含为期一年的Cloudera支持和更新，6个PowerEdge C2100服务器（2个管理节点，1个边缘节点和3个从站节点，以及6个戴尔PowerConnect 6248交换机）。
替代品浮出水面。包括1010data的云服务、LexusNexis公司的Risk，该系统在10年间帮助LexusNexis公司分析大量的客户数据，并在金融业和其他重要的行业中应用。LexusNexis最近还宣布要在开源社区分享其核心技术以替代Hadoop。LexisNexis公司发布一款开源的数据处理方案，该技术被称为HPCC系统。
HPCC可以管理、排序并可在几秒钟内分上亿条记录。HPCC提供两种数据处理和服务的方式——Thor Data Refinery Cluster和Roxy Rapid Data Delivery Cluster。Escalante表示如此命名是因为其能像Thor(北欧神话中司雷、战争及农业的神)一样解决困难的问题，Thor主要用来分析和索引大量的Hadoop数据。而Roxy则更像一个传统的关系型数据库或数据仓库，甚至还可以处理Web前端的服务。
LexisNexis CEO James Peck表示我们认为在当下这样的举动是对的，同时我们相信HPCC系统会将海量数据处理提升到更高高度。
在2011年6月Yahoo和硅谷风险投资公司Benchmark Capital周二联合宣布，他们将联合成立一家名为Hortonworks的新公司，接管被广泛应用的数据分析软件Hadoop的开发工作。
据一些前Yahoo员工透露，从商业角度来看Hortonworks将保持独立运营，并发展其自身的商业版。
在转型时期，Yahoo CTO Raymie Stata成为关键人物，他将负责公司所有IT项目的发展。Stata表示相对于Yahoo，在Hortonworks我们会投入更多的精力在Hadoop的工作和相关技术上，我们认为应加大对Hadoop的投资。我们会将一些关键人员指派到Hortonworks公司，但这既不是裁员也不是分拆。这是在加大对Hadoop的投入。Yahoo将继续为Hadoop的发展做出更大的贡献。
Stata解释说，Yahoo一直有一个梦想，就是将Hadoop变为大数据分析软件的行业标准。但是这必须将Hadoop商业化。Stata表示创建Hortonworks的主要原因是因为Yahoo已经看到了未来企业分析（感谢Hadoop 6年以来的发展）的未来，并知道该怎样去做。我们看到海量数据分析将很快成为企业非常普遍的需求。
我们将Hadoop部署在企业之中，我不认为所有人都否定这样的解决方案。我们要通过Hadoop为我们的股东创造价值。如果某一天Hadoop成为海量数据处理的行业标准，这将是对我们最好的奖赏。