IT企业利用云计算平台Hadoop的10种方式

日期: 2012-06-10 来源:TechTarget中国 英文

  从Hadoop长长的用户名单中,可以看到Facebook,可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP…国内的公司有淘宝、百度等等。而今天我们要探讨的是,Hadoop 作为基础云计算平台,除了广告,IT公司还用哪些方式在利用Hadoop。

  如果你是世界上广大Hadoop用户的一员,你肯定知道Google曾经靠着分布式计算技术(Hadoop),在搜索引擎和广告方面取得了举世瞩目的成就。现在的Hadoop不仅是当年的老二Yahoo的专用产品了,从Hadoop长长的用户名单中,可以看到Facebook,可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP…国内的公司有淘宝、百度等等。而今天我们要探讨的是,Hadoop作为基础云计算平台,除了广告,IT公司还用哪些方式在利用Hadoop。

  1. 在线旅游

  云计算供应商Cloudera COO Kirk Dunn 表示,目前上80%的世界在线旅游使用了Cloudera 的Hadoop服务。他没有透露具体的名单,但著名的Orbitz Worldwide是我知道的客户之一。

  2. 移动数据

  目前Cloudera为美国70%的智能手机提供Hadoop支持,我们可以确定Dunn讲的是无限供应商支持的移动数据储存和处理。

  3. 电子商务

  Dunn 表示Cloudia为美国超过1000万在线商家提供Hadoop服务,eBay是他们的一个大客户, 因为其要管理一个庞大的个人卖家市场,卖家数量达到1000万以上。而Ebay在用Hadoop服务90天后,纯利润增加了3%。

  4. 能源发现

  雪佛龙代表解释了他们公司利用Hadoop的实例:通过分类和处理海洋地震数据可以预测石油储备状况。

  5. 节能

  雪佛龙代表同时还表示Hadoop还用在节能上,雪佛龙利用Hadoop来支持其节能系统,顾客们按照系统提示节能的同时也节省了不少钱。而相关人士甚至表示这个理念可以用到精确和长期的基金预测上。

  6. 基础架构管理

  越来越多的IT公司在收集和分析他们的服务器数据,在Cloudera讨论会上, NetApp代表表示他们公司利用Hadoop技术从全部的安装点上收集设备logs(超过千万亿的logs数量)。

  7. 图片处理

  创业公司“Skybox图片”正是利用Hadoop来储存和处理图片的,这些图片是卫星根据地理变化的模式有规律地抓取的高清图片。Skybox最近获得了7000万美元的融资。

  8. 欺诈识别

  这是个经典实用的话题,这在财政机构和情报机构非常有市场。Cloudera客户之一Zions Bancorporation表示他们利用Hadoop储存一切可能预示欺骗性的用户交易和异常情况数据。

  9. IT安全

  除了基础架构管理,IT公司们也开始用Hadoop来处理恶意软件和网络攻击数据。去年Trust

  就用Hadoop为各种IP评定分数,然后各大公司就可以决定是否接受那些恶意IP的来访。

  10. 医疗健康

  目前Apixio正使用Hadoop来帮助他们对病人的回答做语义分析,从而帮助医生,护士更好的掌控病情。

  Hadoop定义:

  1. 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。

  2. Hadoop是一套开源的、基础是Java的、目前能够让数千台普通、廉价的服务器组成一个稳定的、强大的集群,使其能够对pb级别的大数据进行存储、计 算。已经具有了强大稳定的生态系统,也具有很多使用的延伸产品。比如做查询的Pig, 做分布式命名服务的ZooKeeper, 做数据库的Hive等等。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐

  • 大数据分析:选对池塘钓大鱼

    谈到大数据分析,毫无疑问,Hadoop是最受企业欢迎的数据分析平台。但Hadoop集群的安装、配置及运行,却有许多地方需要慎重考量。针对Hadoop所存在的这一系列问题,戴尔联合Cloudera推出了Dell Cloudera大数据解决方案。

  • 2016年预测:安全成IT焦点

    根据TechTarget对248位受访者(CIO、CTO、CISO、IT副总裁和总监)进行的2015年度薪酬和职业调查,安全将成为CIO以及IT高层管理人员在2016年的重点关注领域。

  • 如何找出企业内部的“暗数据”?

    本文将探讨什么是“暗数据”以及如何应对“暗数据”,正如作者所言:我们对数据的挖掘还处在一个非常初级的阶段,可将其称之为“黎明前的黑暗”阶段。

  • Spark会成为大数据分析的新里程碑?

    在年初于纽约举行的Spark Summit East大会上,Databrick成为了焦点所在,通过新发布的数据处理云服务,该公司力图将Spark与MapReduce及Hadoop系统划清界限。