博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
立下“去O”Flag的AWS,悄悄修炼了哪些内功?
阅读量:5950 次
发布时间:2019-06-19

本文共 2296 字,大约阅读时间需要 7 分钟。

AWS re:Invent 2018大会上,AWS首席执行执行官Andy Jassy 表示到 2019 年底,亚马逊将全面放弃使用 Oracle 数据库,97%的“关键任务数据库”将运行在亚马逊自己的数据库服务上。

如今,2019年已经过去了四分之一,亚马逊的“去O”进程如何了?近日,笔者有幸采访到了AWS数据库服务总经理和AWS Amazon Redshift总经理,并向他们进行了求证:亚马逊整个“去O”进展顺利,可以如期完成。

据悉,亚马逊所有的这些数据库都将迁移到Aurora、Redshift和DynamoDB这三种类型的数据库上,其中OLTP(交易型)迁移到Aurora,数据仓库型迁移到Redshift。

亚马逊去Oracle的想法可以追溯到5年前,当时亚马逊的部分核心购物业务还依赖Oracle技术,其自身的数据库技术暂时还无法规模化地满足亚马逊的性能需求。那么,时至今日,为了“去O”,AWS悄悄修炼了哪些内功呢?

AWS的数据库服务

2015年AWS数据服务的相关功能只有100个,2018年攀升到325个。

据悉,从2015年开始算起,AWS已经总计发布了785个新的数据相关服务,包括数据移动、数据分析等数据服务,关系型、键值型、文件型、内存型、图谱型、时间序列、总帐类型等数据库服务,以及类似于商业洞察、智能洞察等一系列服务。

以Amazon Aurora为例,Aurora是AWS公司历史上增长速度最快的一款服务,是兼容MySQL和PostgreSQL的关系型数据库,其速度和可用性可与Oracle等商业数据库产品相媲美,而成本只有商业数据库的1/10。

而Redshift是AWS 2012年推出的、业界第一款云端数据仓库的云服务,2018年一年,AWS围绕Redshift推出了220个新功能,其中90%都是基于客户需求开发的。

为什么会推出这么多数据服务呢?AWS表示是:“为了满足客户需求”。那么客户使用数据服务到底想要达到什么目的?

  • 第一,希望能够从数据中获得洞见;
  • 第二,希望能够快速打造云端的全新应用;
  • 第三,希望能够把既有的应用直接搬运到云端。

AWS的迁移服务

对于客户来说,数据库迁移服务也是很重要的功能。目前AWS的数据库迁移服务主要有两类:一是将本地数据库迁移到云端,二是实现将一种类型的数据库迁移到另一种数据库。无论是哪种迁移,整个过程中都可以达到零宕机时间。

\"image\"

据AWS方面介绍:“目前通过数据库迁移服务DMS已经完成了超十万个数据库的迁移”。

AWS的通常做法是将关系型数据库迁移到Auraro和RDS,而非关系型的数据库迁移到DynamoDB,数据仓库迁移到Redshift,Hadoop和Spark集群可以迁移到Amazon EMR,运营、分析的可以迁移到Amazon Elasticsearch Service,BI型的应用可以迁移到Amazon QuickSight。

为什么我们要从本地数据库迁移到云数据库呢?一言以蔽之,传统数据库无法满足我们的需求了。

举个例子,之前企业如果要进行数据分析,通常做法是从传统的数据仓库厂商中购买大型的数据仓库,这类产品能够处理的数量级通常是GB级和TB级,PB级数据无法处理,而TB级单位的分析成本要达到一万到五万美元。即使是付出了这样的成本投入,也不能支持所有数据的分析,可能只有10%的数据才能得到分析。而AWS的做法是先将数据导入到数据湖中,然后在数据湖之上提供各式各样的数据库服务来进行数据分析。

除此之外,在传统的企业IT架构中无法弄明白企业内部的有用数据占比,而在云端可以很轻松的启动多项数据分析作业。另外,传统企业中要做数据分析,需要专门的数据库技术人才去做数据处理,而在云上,非数据库技术专业人员也可以使用数据库服务。

  • 根据不同的使用场景提供定制化解决方案;
  • 针对数据服务成本进行经济性的分析,实现成本优化;
  • 实现所有数据服务的可伸缩性。

AWS的云数据库关注点

无论是哪一种技术,在生产环境和落地应用中,其关注点都应该与客户的关注点保持一致。AWS方表示:“我们得到的用户反馈是,他们最关心云数据库的安全性、灵活性和可扩展性。”

而AWS围绕用户需求在数据库方面做的创新主要有两点:

  • 帮助客户以更容易的方式迁移到云端;
  • 帮助客户以更好的方式开发现代化应用;

例如,汇总打包数据库支撑管理的服务,来完成数据库的自我调优和自我运维管理,以实现可扩展性和可伸缩性;当数据从数据库汇聚到数据湖时,治理、合规以及安全方面也需要作出一些创新。

去Oracle的难度到底在哪里?

很多人都将亚马逊去Oracle数据库冠以“商业博弈”的头衔,这里我们暂且不讨论商业方面的内容,只关注于去Oracle的技术。

从技术实施层面来讲,亚马逊去Oracle对AWS自身来说只是一个数据规模比较大的客户而已,与纳斯达克等客户无异,同样需要听取CEO和CTO的意见,在真正实施“去O”之前,已经决定Oracle上的哪些应用应该如何解决。

整个“去O”过程中,AWS面临的最大困难是什么呢?AWS专家称:“亚马逊数据库迁移的复杂程度在于不止需要做数据和数据库本身的迁移,同时还要做数据库上运行的应用迁移,而这些应用既有企业内部开发的也有ISV提供的,甚至有些应用的年代已经非常久远了,如何很好的支持它们,是我们面临的巨大挑战。”

以数据分析为例,该项目最大的难点在于亚马逊的要求不是简单的将原来Oracle上的数据分析功能搬到云上,他们要求更好的分析服务,且这种服务要能够顺应未来十年的技术发展变化。

转载地址:http://qmsxx.baihongyu.com/

你可能感兴趣的文章
zookeeper启动报错(数据目录权限不对)
查看>>
VM 监控信息布局
查看>>
Python Pandas -- Series
查看>>
Shift Operations on C
查看>>
HTTP长轮询和短轮询
查看>>
【BZOJ 1877】 [SDOI2009]晨跑
查看>>
【BZOJ 1013】 [JSOI2008]球形空间产生器sphere
查看>>
Java Decompiler Plugin For Eclipse IDE
查看>>
Python __init__.py 作用详解
查看>>
Python3 GUI开发(PyQt)安装和配置
查看>>
在UnrealEngine中用Custom节点实现径向模糊
查看>>
Linux 套接字通信笔记(一)
查看>>
汉诺塔——各种编程范式的解决
查看>>
poi读写Excel文件
查看>>
Android闹钟开发与展示Demo
查看>>
静态库介绍与简单演练及同名资源冲突解决(.a格式的静态库)
查看>>
layoutSubviews
查看>>
67. Add Binary
查看>>
BZOJ 4247 挂饰 01背包
查看>>
Codeforces Round #432 (Div. 2)
查看>>