在内存计算时代,看阿里如何用Spark来进行实践与探索

  • 时间:
  • 浏览:0
  • 来源:大发5分PK10APP下载_大发5分PK10APP官网















展望未来,Spark将进一步发展。不久,Spark自身将支持ANSI SQL、其性能将接近MPP数据仓库、将落实“一切基于优化”的理念、增加对新硬件如大内存、GPU等的支持如果 更友好地支持云,以拥抱内存计算新时代。















本文PPT来自阿里云技术专家曹龙(花名:封神)于10月16日在2016年杭州云栖大会上发表的《阿里巴巴Spark实践与探索——内存计算时代》。

随着数据爆发式地增长,如保处里几滴 的数据成为一项挑战。在此背景下,一些数据处里技术应运而生,这其中典型的技术有数据治理、作业管理、分布式计算和分布式储存等等。一并,一些优秀的分布式引擎也被让当村里人 儿开发出来,比如Hadoop、Spark、Flink和 Tez。其中Spark的实力不容小觑。



Spark从1.0到2.0经历了重大的架构变化,其链路和核心得到了不断地完善。一并,Spark在阿里也得到了快速的成长,从10年阿里初步尝试Spark,使用10台机器,利用Spark Mllib进行机器学习,到12年的Spark on Yarn, 规模达到80-80台,使用Spark Streaming、Spark Graphx技术;从14年实现内存计算,到现在发展出了E-MapReduce for Spark,现在现在结速对公共云提供服务,你这个 系列的快速的发展是让当村里人 儿儿有目共睹的。目前,Spark不可能 具备了诸多优良的底部形态,如弹性伸缩、与业务系统无缝结合等等,如果 不可能 被部署在一些不同的场景,如机器学习、流式计算、即时查询等等。将场景划分,针对不同场景所消耗的资源的差异来优化,使存储与计算分离,以达到高灵活性、低成本、高性能的目的,这便是Spark在云上的最佳实践。

猜你喜欢

我问一个男生说每个男生都喜欢看美女吗,他说应该是这样,我问你喜欢看美女吗?他说他如果不喜欢的话他自

下载百度知道APP,抢鲜体验展开完整性你对这个 回答的评价是?展开完整性你对这个 回答的评价是?为你推荐: 我来答扫描二维码下载展开完整性展开完整性使用百度知道APP,立

2020-01-20

《自己动手写Docker》书摘之一: Linux Namespace

【技术干货】Docker精华学习资料集锦,老司机快上车《当时人动手写docker》之namespace部门实验《Docker进阶与实战》——3.4节Dockerimage扩展知

2020-01-20

如果一个人经常见经常说我喜欢你是真的喜欢吗?

收起更多回答(7)追答追答为你推荐: 我来答下载百度知道APP,抢鲜体验不一定,真正喜欢4个多 人多数会用行动证明,让他感觉到的。你对什儿 回答的评价是?未必太相信男

2020-01-20

今天打算跟一个男生表白的(我以为他对我有感觉),谁知道他跟我说,我长得有点像他妈???

恩,这一 回答那应该是对你明显的拒绝了,毕竟这一 话女生听见应该是很不开心的吧,有点硬变相的感觉在说楼主长的老,当然,男生也很有肯能是在说你长的比较有亲和力,随后 谁知

2020-01-20

我喜欢一个人他好像也喜欢我但他有女朋友该怎么办

那你还想破坏人家呀扫描二维码下载下载百度知道APP,抢鲜体验刚刚有个男的跟他女友好了三年,认识我后,跟那女孩分了,选者跟我在一齐了你对你这个回答的评价是?为你推荐:展开完整展开

2020-01-20