二、国外大数据发展现状

（一）发达国家加快战略部署，数据开放成为行动关键

美国、英国、法国、日本、韩国、澳大利亚、爱尔兰等国家纷纷出台大数据发展计划、法规、路线图、技术发展战略等文件，积极推动大数据技术研发、商业模式创新和应用推广。

美国的大数据战略以提高美国的科研、教育与国家安全能力和社会管理能力为重点，其政府将数据定义为“未来的新石油”，认为一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，甚至对数据的占有和控制将成为继陆权、海权、空权之外的另一个国家核心资产。美国政府在2012年3月推出《大数据的研究和发展计划》，宣布投资超过2亿美元，由联邦政府6个部门实施若干项目，旨在利用大数据加速科学、工程领域创新，强化国土安全，转变教育和学习模式；2013年5月，美国发布《实现政府信息公开化和机器可读取化》总统行政命令，加速政府信息资源数字化和开放进程；2014年5月，白宫发布《大数据：抓住机遇，保存价值》，对大数据的作用范围进行总结，提出了构建大数据政策框架的建议；2015年9月，奥巴马政府宣布将向新“Smart Cities”项目投资逾1.6亿美元，以帮助本地社区解决一系列棘手问题，例如降低交通拥堵、打击违法犯罪。

欧盟的开放数据战略以开放数据为核心，以创新、增长和透明治理为引擎。欧盟认为大数据是促进经济增长的重要力量。2010年11月提出《欧盟开放数据战略》，希望使欧盟成为公共部门信息再利用的全球领先者。

英国是大数据的积极拥抱者，在利用大数据革命改造国家治理体系方面谋划的力度非常大。研究显示，英国政府通过高效使用大数据技术，每年可节省约330亿英镑行政开支，相当于英国每人每年节省约500英镑。2013年10月，英国政府发布了《英国数据能力发展战略规划》，旨在使英国成为大数据分析的世界领跑者，并使公民和消费者、企业界和学术界、公共部门和私营部门均从中获益。该战略在定义数据能力以及如何提高数据能力方面，进行了系统性的研究分析，并提出了举措建议（郭歌，2014）。

日本的大数据战略以“开创新市场，促进经济增长”为核心，以务实的应用开发为主，尤其是在和能源、交通、医疗、农业等传统行业结合方面。2013年6月，日本安倍内阁公布新IT战略“创建最尖端IT国家宣言”，全面阐述2013—2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略。

多个国际组织也将大数据列为发展重点。联合国启动“全球脉动（Global Pulse）”项目，促进全球经济发展和公共服务管理。八国集团发布了《G8开放数据宪章》，推动数据开放和利用。

政府数据开放是很多国家进行大数据战略布局的一个关键环节，自2009年美国政府推出data.gov网站，公民可以自由检索并获得联邦政府数据、实现政府透明化以来，世界各地政府纷纷效仿。截至目前，已有英国、法国、加拿大、澳大利亚、新西兰、爱尔兰、新加坡、韩国等40个国家相继建立了政府数据开放网站平台。2011年9月，巴西、印度尼西亚、墨西哥、挪威、菲律宾、南非、英国、美国等8个国家联合签署《开放数据声明》，成立开放政府合作伙伴组织，截至2014年2月，全球已有63个国家加入开放政府合作伙伴组织；2013年6月，法国、美国、英国、德国、日本、意大利、加拿大和俄罗斯八国首脑在北爱尔兰峰会上签署了《开放数据宪章》，承诺在2013年年底前，制定开放数据行动方案，最迟在2015年末按照宪章和技术附件要求向公众开放可机读的政府数据。

（二）IT巨头加紧市场布局与垄断，新兴市场成为必争之地

大数据已成为企业发展的巨大引擎。IBM、甲骨文、EMC、Microso☆、Google、Amazon、Facebook等IT巨头积极布局大数据产业链，通过自主研发和并购，纷纷推出大数据技术、产品和服务。

IBM作为大数据分析的探路者与领导者，从战略资产定义，到实施分析；从阐述大数据分析基本原理，到《分析：速度的优势》的发布，IBM揭示了企业如何从数据和分析中提取价值，并获得显著回报。IBM通过大数据解决方案，帮助企业用户将自身拥有的企业数据与消费者产生的非结构化数据结合起来，从而帮助企业全面监控商业流程，预测和塑造所预期的商业结果，这已在医疗、公安、保险、公共服务等领域拥有成功案例。

EMC推出了数据一体机，包括企业数据协作分析平台、数据库、大数据软件、行业解决方案等，能够提高商业智能效率和进行统一智能管理。

Microso☆在大数据方面的策略是让信息制造流程更加轻松，帮助客户混搭各种格式的数据然后交给BI平台处理，以提高数据的投资回报。Microso☆推出了开源大数据框架REEF，并在其Azure云计算平台上提供Hadoop、机器学习、高性能计算和数据分析服务。

作为数据库行业的领导企业，甲骨文在大数据解决方案方面有着巨大的优势。甲骨文推出的大数据管理系统可以协助客户在短时间内进行数据收集，在相应的分析和预测后帮助企业做出反应和调整策略。

Amazon拥有消费者的真实消费记录，能够以此对消费者的未来购物欲望进行预测；而且凭借在云计算领域的优势地位，推出了一系列大数据产品，包括大数据数据库以及能够与其Web服务协作的规模化并行数据仓储方案。

Google、IBM、甲骨文、SAP等企业通过长期积累的渠道和用户在全球范围内推广自身的大数据产品和应用。特别是随着新兴市场的不断兴起，越来越多的跨国龙头企业凭借技术优势和先行经验进军新兴国家的大数据市场。

（三）数据科学研究不断加强，技术创新发展持续推进

从大数据处理通用技术架构看，目前大数据处理产品普遍采用Hadoop等开源架构。截至目前，65%的分析应用程序和先进分析工具都基于Hadoop。Amazon、Microso☆、IBM、甲骨文等大数据产品供应商均提供了基于Hadoop的大数据处理工具，IBM推出了面向Hadoop的大数据一体机，Intel发布了专为大数据存储、管理、处理和查询等应用而开发和优化的Apache Hadoop发行版软件的最新版本，推动大数据应用落地。

从数据采集技术看，很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集。这些工具均采用分布式架构，能满足每秒数百兆的日志数据采集和传输需求。

从数据库技术看，NoSQL数据库的使用越来越普及，几乎所有的大型互联网公司都在这个领域进行着实践和探索。NewSQL是改进后的SQL（结构化查询语言）系统，是对各种新的可扩展/高性能的SQL数据库的简称，可提供SQL独有的一些特性，同时还具备NoSQL的扩展性。

未来几年，大数据相关技术将会有更多实质性进展，大数据分析、云数据库、Hadoop、内存数据库、数据安全相关技术将受到最多关注。越来越多的第三方供应商和IT服务生态系统将会开始为企业数据仓储和应用市场推出大数据和快速数据工具及解决方案，大数据技术产品的覆盖面和集成技术将成为衡量企业技术水平的重要标准。同时，大数据分析方面有望出现革命性的新方法，基于大数据的数据挖掘、机器学习和人工智能等方面可能会产生重要突破。

在大数据应用的技术需求牵引下，数据科学研究和人才培养引起各国的重视。美国哥伦比亚大学和纽约大学、澳大利亚悉尼科技大学、日本名古屋大学、韩国釜山国立大学等纷纷成立数据科学研究机构；美国加州大学伯克利分校和伊利诺伊大学香槟分校、英国邓迪大学、中国香港中文大学等一大批高校开设了数据科学课程；Facebook等知名企业开始设立数据科学家岗位。

（四）各领域应用逐步深入，产品与服务日益成熟

随着大数据技术和商业模式的进一步成熟，市场的焦点正迅速从概念炒作向实际应用转移，越来越多的成功案例相继在不同的领域中涌现，大数据应用逐渐落地生根。目前，国外应用大数据进行分析预测和辅助决策较多的领域包括政府管理、公共服务、商业分析、企业管理、金融、娱乐和个人服务等。其中，以政府数据和公共数据为基础，以数据汇集和共享为支撑，以提高政务效率和服务能力为目标的政府管理和公共服务领域大数据应用相对成熟和广泛。

城市管理方面，美国西雅图市用大数据节电，通过对四个主要城区的电力管理系统的数百个数据集进行分析，目前已将全市耗电量降低25%；加州电网系统运营中心利用大数据管理，通过可视化界面，用户可以优化利用电力能源；拉斯维加斯城市管网通过大数据应用，能够显示路面和地下的各种管线设施，市政管理者可以对地下关键资产的位置和状况进行实时监控。

安全管控方面，在美国波士顿大爆炸侦破案中，调查人员应用大数据通过比对、查找和分析，最终确定了犯罪嫌疑人；美国多个城市还运用大数据手段，通过指纹、脸像、虹膜、声音、步态、签名等一系列生物识别数据，帮助警察发现犯罪线索、发现犯罪热点地区，提前预防犯罪发生，从而减少发案率、提高破案率；纽约利用大数据防火，从100万栋建筑物相关数据里计算出建筑的火险概率，依此由高到低进行安全排查，大大降低火灾事故发生率。

智能交通方面，美国波士顿应用大数据治理交通问题。通过对历史以及现在的车辆情况、路网情况、司机驾驶习惯等方面的数据进行分析，不仅能够帮助乘客重新调整路线、节省时间、节省汽油，还能有效地缓解停车难等问题。

医疗卫生方面，加拿大多伦多的一家医院通过大数据分析，及时进行医疗干预，可以大大减少婴儿的夭折数量；西奈山医疗中心使用来自大数据公司Ayasdi的技术分析基因序列，研究菌株对抗生素产生抗药性的原因等。

企业级大数据应用逐渐普及，消费者行为分析、精准营销、新业务新产品推广、广告推送、代言人选择、社交媒体、可视化、溢价收益、库存管理、信贷保险等相关应用不断丰富。伴随着一批致力于应用服务的大数据创业企业迅速成长，大数据将被更广泛地应用到各个领域中。

（五）大数据成为投资新宠，融资并购频繁发生

近两年，全球新增大数据创业企业和开展大数据业务的企业数量急剧增加，产品和服务数量也随之增长，但还未出现占据绝对主导地位的企业。市场结构趋向完全竞争，企业间竞争变得更加激烈，变化仍将持续。Google、Amazon、Facebook等互联网企业龙头和甲骨文、IBM、Microso☆等传统IT巨头，通过投资并购的方式不断加强大数据领域布局，初步形成贯穿大数据产业链的业务闭环，并在各行业拓展应用。从融资规模看，已有不少大数据创业公司初具规模和气候，并且获得了海量融资。从融资并购规模上看，2014年有超过10起融资并购事件超过1亿美元，如MongoDB已经募集2.3亿美元，Cloudera融资9亿美元，Hortonworks完成第四轮1亿美元的融资，InsiderSales获得1亿美元融资。Splunk和Tableau等企业成功首次公开募股（Initial Public Offerings, IPO），更成为此波资本热潮的一个注脚。

从收购方向看，成熟的大数据应用或掌握海量数据的公司备受青睐。甲骨文以4亿美元收购用大数据实现精准网络营销的BlueKai、IBM收购云计算公司Cloudant、Google以32亿美元收购智能家居设备公司Nest、苹果收购大数据图书分析BookLamp的员工和技术、Facebook斥资160亿美元收购即时通讯应用WhatsApp等。显然，在大数据领域，IT巨头们依然在用并购的办法来争夺市场的领袖地位。

从投资前景看，对于非结构化的数据进行分析和挖掘并实现其价值将是未来大数据发展的重点，人工智能将成为重要的投资方向。成熟的大数据行业解决方案和可视化也将成为资本追逐的热点领域。

（六）基础设施不断完善，生态环境逐步优化

国外政府、企业和产业组织非常重视建设大数据产业生态和优化环境，不断地通过建设基础设施，制定法律法规、政策体系和数据标准，加强数据安全和隐私保护等方法完善大数据生态环境，进而提升国家对数据资源的掌控能力和核心竞争力。

美国、日本、韩国、澳大利亚等国家在大数据发展战略中明确提出加强数据中心、宽带网络、无线网络、大数据研发中心和实验基地等基础设施建设。其中，美国政府为了提高数据中心的效率和推广云计算，将全国的数据中心进行整合，计划到2015年，联邦数据中心数量从2094个减少到1132个，减少近46%。美国、加拿大、英国等国家具备较为完善的法律法规体系。如美国从最初的《管家法》《行政程序法》，到后来的《信息自由法》《隐私权法》《数据质量法》和《阳光下的政府法》等，以及2009年的《开放政府指令》，美国政府的数据政策和法规体系不断完善。在数据标准方面，美国颁布了空间数据标准、数据传输接口标准、数据加密标准、数字制图数据标准、医疗行业数据标准等，并对Data.gov网站开放数据进行了标准规范。

欧盟委员会正在研究制订数据价值链战略计划，以实现数据的最大价值，重点是通过一个以数据为核心的连贯性欧盟生态体系，让数据价值链的不同阶段产生价值。该计划的重点是培育一个连贯的欧洲数据生态系统，促进围绕数据的研究和创新工作，采纳数据服务及产品，采取具体行动，改善数据价值提取的框架条件，包括基础能力、基础设备、标准以及有利的政策和法规环境。

（七）数据量快速增长，产业规模持续扩大

随着大数据行业解决方案的不断成熟，大数据在政府决策、交通、物流、金融、广告、电信、医疗、娱乐和农业等领域的应用蓬勃发展，全球大数据产业规模增长动力强劲。据IDC预测，全球大数据市场规模年增长率达40%，在2017年将达530亿美元。同时，大数据成为全球IT支出新的增长点，Gartner数据显示，2014年数据中心系统支出达1430亿美元，比2013年增长2.3%。大数据对全球IT开支的直接或间接推动将达2320亿美元，预计到2018年这一数据将增长3倍。

从业务类型看，企业级服务是大数据市场的重要组成部分。据IDG最新的大数据企业调查和预测结果显示：2014年，有70%的大企业和56%的中小企业已经部署或正在计划部署大数据项目，其中各大企业将在与大数据有关的项目上平均花费800万美元。

从数据规模看，全球数据量规模呈现爆炸式增长。根据IDC监测，全球数据量大约每两年翻一番，意味着人类在最近两年产生的数据量相当于之前产生的全部；预计到2020年，全球将总共拥有35 ZB的数据量，且非结构化数据在存储系统中所占据的比例接近80%（唐爱华，2014）。