科技: 人物 企业 技术 IT业 TMT
科普: 自然 科学 科幻 宇宙 科学家
通信: 历史 技术 手机 词典 3G馆
索引: 分类 推荐 专题 热点 排行榜
互联网: 广告 营销 政务 游戏 google
新媒体: 社交 博客 学者 人物 传播学
新思想: 网站 新书 新知 新词 思想家
图书馆: 文化 商业 管理 经济 期刊
网络文化: 社会 红人 黑客 治理 亚文化
创业百科: VC 词典 指南 案例 创业史
前沿科技: 清洁 绿色 纳米 生物 环保
知识产权: 盗版 共享 学人 法规 著作
用户名: 密码: 注册 忘记密码?
    创建新词条

最新历史版本 :Hadoop主流化 返回词条

  • 编辑时间: 历史版本编辑者:高兴
  • 内容长度:图片数:目录数:
  • 修改原因:
目录

Hadoop主流化回目录

    现在,各类机构的数据量正在快速增长,这些数据每天在其系统内流动;同时,云中的数据量也日益增加。随着数据量的增加,实时处理这些数据的能力已成为大数据的重要挑战之一。2012年,随着云计算应用部署的加快,大数据带来的挑战将更加严峻。

   现在,各类机构的数据量正在快速增长,这些数据每天在其系统内流动;同时,云中的数据量也日益增加。随着数据量的增加,实时处理这些数据的能力已成为大数据的重要挑战之一。2012年,随着云计算应用部署的加快,大数据带来的挑战将更加严峻。

  Informatica是全球首屈一指的独立数据集成软件提供商。现在,世界各地的组织在Informatica公司的帮助下,都能为其主要的业务需求提供及时、相关和可信的数据,使其在当今全球信息经济中获得竞争优势。目前,全球已有超过 4,500 多家企业依靠 Informatica 提供的解决方案访问、集成并信任其位于企业内外及云中的信息资产。凭借对技术和客户应用趋势的准确把握,Informatica对于2012年云和大数据的变化有了非常清晰而深入的掌控。

  2012年,企业对于云解决方案的思维模式将发生变化。首先,在企业以及政府部门中,云将从考虑阶段广泛进入实施。更多的IT机构将从成本中心转向利润中心,这部分是因为采用了云计算。另外,“离群”云集成和点到点应用集成将被更具战略性的、全公司范围的数据集成战略所取代。这个战略跨越了本地部署和云环境,为即使是中型企业提供了一个单一、统一的公司数据视图。

  由于云计算部署的加快,在公共云方面,Gartner预测,到2013年,云计算在整体IT预算中会增长20%或更多,到2016年底,有超过50%的Global 1000公司将在公共云中存放客户敏感数据。在Informatica,我们相信,在2012年,混合环境将成为常态,机构将需要访问和分析在其IT环境中的数据,全面跨越传统的本地部署,以及私有和公共云。

  云部署的加快,对大数据解决方案产生了深刻的影响。Informatica相信,越来越多的客户数据“生存”在完全不同的云环境中,公司向面临更多的对于数据质量的挑战。尽管价值客户的慷慨赠与就在云中,但要得到一个非常理想的其客户的单一视图以告知以客户为中心的营销战略,会更难而不是更容易。

  同时,2012年,法规遵从、风险管理和推动以客户为中心将继续是机构了解和改善其数据状态的推动力。然而,Gartner预测,“到2015年,超过85%的财富500企业将无法有效地利用大数据获得竞争优势。”Informatica相信,尽管有关于大数据的持续的推广,但是大多数的机构将继续为实现他们所访问的数据的1%的潜在价值而努力,需要利用大数据解决方案获得更大的竞争优势。

  在2012年,在大数据解决方案将会如何影响客户服务和关系方面,Gartner预测,“对访问和识别能力的需求,在‘大数据’源,如社交网络中,单个客户、产品和供应商被推荐,以及把他们内部地连接到授权的主数据上,将为改善市场、销售和客户服务提供一个新的机会。”Informatica相信,机构将从理论和计划转向实际部署数据治理和主数据管理(MDM)最佳实践。同时,通过对社交和位置数据的分析获得对客户前所未有的了解,将使得更多的机构放弃大众化营销,转而赞成不仅仅是针对个体的个性化营销,而且针对那些可以影响其他人购买行为的个体进行个性化营销。

  在大数据中即将产生的变化影响IT团队方面,Informatica认为,随着企业不断寻求更高的数据回报,Data Steward的角色将变为主流,很多数据相关的责任业务分析师与IT专家已经非正式地结合在一起形成了一个正式的工作职能。而且,对Hadoop开发者将会有更高的需求,技能短缺将继续且很可能加剧。在明年,Hadoop将继续获得牵引力,但在2015年前都不会成为真正的主流。

  最后,Informatica认为,在2012年,(PaaS)将成为现实,并将成为云提供商的战场,给软件/云/SaaS厂商在软件市场份额方面带来挑战。

Hadoop的出现是否颠覆了传统数据库技术回目录

既然Hadoop可以完成很多传统数据库无法解决的难题,那么,是否意味着Hadoop的出现将是对传统数据库技术的一次颠覆呢?

事实上,并非如此。

Hadoop确实很强大,但他也有自身的弱点。例如,在涉及到一些很严格的交易时,Hadoop就不再适用。这时,传统数据库仍是最佳选择。另外,Hadoop并不能实现高效的分析。而要实现高效的分析,还必须要依赖高端的数据库来进行。

这也是目前Hadoop的最大弱点之一。事实上,虽然已经如此火热,但直到今天,Hadoop仍不是一个实时的在线系统,它更多的还是针对离线的、大规模的、批量的数据处理。虽然如雅虎等企业基于Hadoop做了很多新的技术和优化,已经让这一等待时间变得很短,但即使是这样,用户还是要清楚的知道,Hadoop是一个离线的、批量的数据处理系统。

另外,从数据存储的角度来看,Hadoop也有天然的不足。因为,其最为关键的服务之一HDFS专门针对的是大文件的存储,因此等待时间较长,基本无法做到很高速的随即读写。

这两个天然的缺陷决定了Hadoop很难在一些实时交易环境下得到应用,例如对实时效率要求很高的银行业。“用Hadoop来做实时的银行业务处理,未必很合适,因为Hadoop没有很好的实时性,它的安全性目前来讲跟商业数据库还是没法比的。”雅虎北京研发中心高级经理韩轶平分析道。

Sybase公司中国区技术总监卢东明则表示,在一些场景中,Hadoop确实能够起到很大的作用,但并不是所有。“有些情况下,它们并不是必需品,但现在许多企业都在过度地追捧使用Hadoop,认为Hadoop将会颠覆传统的数据库技术,但这是一个认识误区,将会对产业发展造成不良的影响。”

卢东明认为,现阶段Hadoop还不能代替数据库。“实际上,目前与企业数据仓库相比,Hadoop在实时集成以及健壮的高可用性、安全性等方面都存在着一定的缺陷,用户需要真正的高效分析时还是要交给数据库去完成。”不过,卢东明也坦言,传统数据库和Hadoop都有各自的“甜点”,两者之间有很好的互补性,不能把两者完全对立起来,用户可以根据自身的需求和应用特点来进行选择。“将数据库的甜点和Hadoop的甜点相结合,可能是未来一到三年,对数据进行处理比较现实、经济的解决方案。”

其实,这也正是众多厂商纷纷拥抱Hadoop的主要原因之一。

譬如,Sybase IQ 15.4就采用业内领先的MPP列式数据库和先进的数据库列分析技术,并革命性地加入Map Reduce与Hadoop集成,以应对大数据时代的分析挑战。

而从Hadoop和数据库结合的层面来说,厂商需要从多层次提供“结合点”,才能灵活而高效地让客户“拥抱”Hadoop,实现“1+1>2”的效果。

卢东明表示:“就Sybase IQ的技术来说,可以通过第三方工具来分别调用数据库和Hadoop;也可以直接从数据库内部对Hadoop进行操作;还可以实现从Hadoop到数据库的ETL。”

看来,只有对Hadoop因势利导,方能最大化大数据的价值。

Hadoop给中小开发商带来更多机会

Hadoop的出现,不仅给用户带来了更好的大数据处理方案,同时,也给很多中小型开发企业以及个人开发者带来了更多的机会。

首先,Hadoop是开源的,天生的血统注定了其具有开放性,这也使得更多人有机会参与其中。另外,低成本也降低了企业进入大数据处理市场的门槛。“Hadoop的部署、开发、学习成本都比较低,从这些方面上而言,Hadoop确实有自己的优势。”韩轶平分析说。

除此之外,最重要的一点是,随着大数据处理需求的高速增长,Hadoop和数据库之间的联合应用将越来越多,而在两者之间如何进行数据的调用、查询,怎样保证数据调用和传输的安全,如何更好地对数据进行管理、分析等,都会产生大量的市场机会。

实际上,随着Hadoop受到越来越多厂商和用户的追捧,现在的Hadoop和其诞生之初已经截然不同:从一个单独的开源软件逐渐演变为一个初具规模的生态系统,在这一生态系统中,不同的IT公司扮演着不同的角色:有系统厂商,也有管理监控服务商、数据分析、处理服务商等等。

在这条生态链中,目前各个环节上虽然已经有一些参与者,但距离产业链的完善还有非常大的距离。随着Hadoop在企业应用中的逐渐普及,产业链上各个环节的缺口会越来越大。对于中小开发商而言,这无疑是一个很好的时机:可以根据自身的资源和能力,选择适合的角色和业务进行切入,进而在大数据时代到来时找到自己合适的位置。  

→如果您认为本词条还有待完善,请 编辑词条

标签: Hadoop主流化