数据挖掘：中国互联网未来的十年——专访党书国
门户解决了web0.5时代的信息匮乏；Google解决了web1.0时代的信息泛滥；Fackbook解决了web2.0时代的社交需求；未来是谁的十年？展望web3.0时代，当高效的社交网络趋于信息量爆炸，我们庞大的社交关系也需要一个”Google”来处理，那就是下一个十年，数据挖掘的十年，网络智能的十年。
数据挖掘：互联网阶段性产物
数据挖掘之所以在近几年颇受关注与互联网发展的阶段有关。随着网页的增多，用户量达到一定规模，就产生了大量用户和网页应用交互的行为，这些数据实际上非常有意义。互联网也因此形成了两条主线结构。一种是以信息为对象的，还有一种是以人为对象。但是人与信息之间不是割裂的，而是时时刻刻交织在一起，而且信息是通过人流动的，人也在流动的信息中构建新的关系，这催生了如Facebook这样类型的网站。数据挖掘被频频提及，并不是资本操作的结果，而是随着互联网发展的进一步深化，原本被大家忽略的数据挖掘的价值逐渐凸显，如何使广告投放更加有效，增加广告投放ROI，如何提高网站的转化率以及用户再次购买的能力，这些都需要数据挖掘在背后做支撑，因此这个领域逐渐被大家重视。
国外数据挖掘的发展要成熟许多。基于历史悠久的邮购业务，国外公司具备目录式的用户库，可以进行数据挖掘。随着互联网的出现，又自然而然过度到网络数据挖掘的阶段。但是中国在互联网出现之前，没有相应的用户库基础，大家对它还没有形成清晰明确的认识，专业人才匮乏，大学里也没有开设数据挖掘的专业。
从事数据挖掘的人员，我个人认为要备有一定的统计学、社会调查等方面的基本素质，而且要充满好奇心。获取数据并不困难，关键是要具有能挑出金子的能力。比如像微博，通过用户大量的互动行为，产生人与信息的交流，交织，不断变化着向前推进。我发一条微博，被评论，然后被转发，再次被转发，有时候会产生类似蝴蝶效应的情况。数据挖掘可能帮助企业更好的预测信息，甚至还有人在互联网上通过数据挖掘，得出2012要毁灭的结论。
数据挖掘：从垃圾里捡金子
数据挖掘的前提是数据量足够庞大。这种大数据是非常诱人的，通过分析可以发现许多含金量很高的信息和趋势。
目前获得用户数据的方式大致有两种。一种是通过和电信运营商合作，在路由器上截取全网数据。这种方式能够在最大限度上掌握用户数据，但是这种全样本在操作上存在问题，国外一般采用以抽样小样本数据推向全局的做法。另一种方法是以cookie的方式植入到用户的机器里，通过连续性的跟踪，生成用户行为的信息流，经过对这些信息的分析，将有效的广告推送给用户。这种方法的技术不断提高，从文本到动画，越来越难被用户清除，因此可以更加完整地呈现用户在互联网上的行为。
这两种不同的获取数据的方法并没有优劣之分，抽样数据对于一些现象或者结果的预测并不一定低于全样本数据。获得全样本数据的代价非常大，如果全样本数据没有进行很好的分解，那么就是垃圾数据而已。
在数据分析结果与预期不符合的情况下，首先要看模型是否设计得合理。比如我经常会遇到自身网站的排名和第三方检测的排名很不一样，这其中有很大程度是因为数据筛选过滤以及模型的差异。通过不同的方法获得的数据结果会有不同，算法不同，实现方法也都会导致数据结果的差异性。
针对两种不同的数据获取方式的数据分解，采用cookie的会更加容易。特别是对于像Baidu这类公司，用户的行为基本覆盖了它的网络广告范围，因此更容易形成对用户的连续印象。在这种情况下，如果掌握了全网的用户，就可以对每一个用户的特点进行描绘，从而给用户打上相应的标签。为每一位用户定义自身标签是一个非常重要的过程。用户的行为在不断变化，因此在标签老化后，需要进行定期的更新管理，一般三个月更新一次标签。在贴标签的时候，需要对分类进行细化。我曾经看见过将一组用户命名为“农林牧副渔”的情况，这是非常可笑的，这种标签对于研究消费者毫无意义，不能起到指导营销的作用。
通过获取数据、分解数据以及将数据赋予标签意义的三个步骤，就可以基本上完成数据挖掘的过程。这些经过筛选的“金子”可以应用各种领域。例如广告投放，虽然互联网广告已经比电视广告更加精确，但是仍然存在着高度浪费的情况。实际上很多广告投放仍然是不精确的，因此先要判断用户的类型，才能决定向其推送广告的类型。此外，例如电子商务网站就可以根据不同的用户类型，将网站页面重组，把相应的内容推送给用户，使得电子货架体系随时根据每个人发生变化。数据挖掘不是以单纯的报告形式存在，而是具有非常广泛的市场应用潜力。
数据挖掘行业还未出现领导者
在数据挖掘与市场营销结合方面，我曾经做过一个关于红孩子电子商务网站的案例，但其实很难定义它是否成功。经过研究，我们的结果是：红孩子通过我们做广告投放，每获得一个有效客户的成本是通过其他渠道的好几倍。有趣的是，用户的购买率却非常高，ROI又比其他公司高许多。我认为这是一个好的案例，因为我们的技术只是帮助客户标定一个用户，在众多用户中寻找到目标客户是非常不容易的，这就导致单位用户获取成本非常高，但是将他引到红孩子的电商平台后，重复购买率却非常高。这种情况与中国目前数据挖掘还不成熟有关。虽然很多公司都对外宣称能够通过大量数据挖掘，达到广告精准营销，但是我并不认为在数据挖掘行业有某家公司已经确立了决定的领先地位，但是有很多公司在这方面或者结合云结算等领域已经颇有建树。
数据挖掘的基础在于数据量的大小和质量。例如淘宝、阿里云等所掌握的数据量都是非常巨大，百度和谷歌会更大，电信运营商的数据量更是不可想象，甚至一些网络广告公司也可以截取网民的全部数据。每个公司从不同角度获取数据，本身就使得结果具有很大差异性。其次，数据服务的对象和产品也使得结果有出入。因此很难说在整个数据挖掘的领域，已经有成熟的市场领导者或者佼佼者不能被超越。也许这个看法是错误的，但是我认为中国的数据挖掘发展还不成熟，甚至单单将新浪微博的数据挖掘做好就可以形成一个特别庞大的公司。
越来越多的公司认识到数据的重要性，同时越来越多的资本也促进了行业发展壮大，一些互联网集团都在加强自己的数据研究和应用水平。例如阿里巴巴的云服务系统，其中很重要的就是数据服务，一些专门做网站流量统计的公司都被阿里巴巴收购，后者在不断巩固自己在数据领域的领先地位。淘宝也新近推出了一些针对数据应用的可视化产品。一些小公司也利用微博的开放平台，获取和挖掘数据，开发出很多有趣的应用产品。
在产业链层面，国外数据发掘的产业链，分工非常明晰。但是中国的现状是，大而全，想延伸和覆盖产业链各个环节。但是随着竞争的加剧，以及越来越多公司的加入，整个行业会逐步分化，慢慢形成一个相对成熟的台式。因此，国内数据挖掘要达到相对成熟的发展阶段还需要很长时间和很大努力。