欢迎进入时动信息网-时动品牌 SNS公众号 移动客户端登录 注册 
时动品牌网
时动品牌网 > 科技 > IT
阿里总部对外解密双11超级工程背后的数据库技术
2018-01-22 14:54:14  来源:时动中国  编辑:SD-Y0526

核心提示:2018年1月19日,阿里巴巴数据库事业部联合技术战略部在阿里西溪园区总部,也是双11技术的发源地,举办了一场线下《双11数据库技术峰会》

2018年1月19日,阿里巴巴数据库事业部联合技术战略部在阿里西溪园区总部,也是双11技术的发源地,举办了一场线下《双11数据库技术峰会》,超过100名企业CTO、CIO和数据架构师到场参加,现场座无虚席。

图片865.jpg

阿里巴巴集团数据库技术总负责人、阿里研究员张瑞做了开场分享。张瑞2005年加入阿里,前两天刚刚满13周年,亲历了阿里整个数据库技术的变迁和发展。数据库理论在上世纪70年代被提出,Oracle抓住了机会,推出了基于磁盘设计的数据库。后来,Flash技术成熟、PC上CPU能力增强,在这两个背后推手下,阿里完成了去IOE的数据库架构升级。随着互联网技术快速发展,分布式大数据也开始冲击着传统的关系型数据库。一直以来,双11是阿里技术的助推剂,阿里通过分布式数据库中间件扩展已经能较好地支持双十一活动,这个背景下,从2016年阿里巴巴开始思考需要的下一代的数据库到底是什么?一个是已经成熟的分布式架构,一个是今天与云结合的很紧密的存储计算分离技术。双11极端的压力下还要优化成本,希望用原来1/10的成本把性能再提升10倍,今天新的硬件也在快速发展,包括内存、FPGA、更高效的网络等等。站在当下看未来,数据库现在又到了技术的最前沿,各种技术百花齐放。最后,张瑞表示,希望和在座的各位一起来探索未来十年数据库的改变与突破。

图片866.jpg

图片867.jpg

阿里资深专家佳毅带来双11黑科技分享《数据库优化之路》。他提到,双11数据库面临三大挑战:数据强一致的问题、性能问题、成本问题。今年使用阿里新一代数据库X-DB来应对这些挑战。X-DB底层使用自研高性能Paxos基础组件X-Paxos,借此解决数据强一致的问题。对于性能和成本,底层使用Batching 和Pipelining技术来大大提升数据库的事务处理能力。同时佳毅也分享了通过ESDB、X-KV等技术解决各种复杂的性能问题,通过容器化与存储计算分离让数据库做到极致弹性,最后佳毅分享了阿里巴巴正在通过CloudDBA产品大大降低DBA服务人力成本的问题。

图片868.jpg

玄惭是云上的数据库性能优化高级专家,同时也是历年双十一RDS的技术保障负责人,他的分享是《云数据库RDS双11最佳实践》。当使用云上的RDS需要支撑类似双11这样的大型活动的时候,玄惭分享了如何从参数优化、链路访问、性能优化、弹性扩容、架构设计,这五个方面去优化数据库,应对高并发的访问。

图片869.jpg

IoT是当前最热门的技术趋势之一,大量IoT设备产生的时序数据该如何存储?在接下来阿里时序数据库高级专家悠你的分享中,以一个典型的工业IoT案例-风电场为案例,介绍了如何使用云端的高性能时序数据库HiTSDB来存储大量的时序数据存储。同时介绍了HiTSDB在时序数据处理上的主要优势,包括聚合查询、实时响应、海量数据存储等方面的优秀技术成果。

图片870.jpg

下午的第一场由阿里资深专家斗佛带来《企业数据安全管理最佳实践》。一直以来,由于数据访问的随意,给企业数据带来非常大的泄露风险,甚至也出现过很多次企业的CEO或者CIO为此而被迫辞职的情况发生。硬件损坏、软件bug、内部数据泄露等等都是企业数据安全的挑战。斗佛介绍了阿里巴巴数据安全解决方案如何解决这些问题。同时他透露,对应的阿里云上即将商业化的“数据管理DMS企业版”将把阿里内部的经验赋能给所有云上的用户。

图片871.jpg

从08年开始,阿里巴巴内部就开始了分库分表技术的探索,10年来,在内部沉淀的分库分表数据库中间件产品叫TDDL,对应的在云上的产品为DRDS。这一次,阿里分布式数据库技术专家梦实给大家带来了全新一代的DRDS引擎,带了数倍的性能提升、更复杂的SQL能力、更具可读性的优化器执行计划等。他还透漏了一个重磅消息,新一代引擎将很快发布,并且在今年会对外完全开源。

图片872.jpg

阿里OLAP数据库高级专家知数在《分析型数据库AnalyticDB2.0双11实践》中为大家介绍了如何使用实时分析型数据库ADS来解决一些在线OLAP型业务问题。比较典型的场景包括营销管理、推荐、预测、安全风控等。知数以阿里双11内部多个场景为案例,展示ADS在这些业务上的表现。

图片873.jpg

随着DT时代的到来,企业占有的数据越来越多,其规模可能达到上百TB甚至PB级,如何以合理的成本管理并维护这样一个数据库也成为各个企业IT管理中的核心问题。阿里云数据库高级专家南仙的分享《云数据库HybridDB HTAP技术实践》介绍了如何通过阿里云数据库团队自研的新型HTAP数据库,同时支持OLTP和OLAP场景,它基于创新的计算存储框架,在一份数据上保证事务的同时支持实时分析,省去了费时的ETL过程。

图片874.jpg

随着企业业务的发展,内部的数据流动会变成一个很大的挑战。阿里数据库架构师西壁带来的《数据实时同步解决方案》介绍双11数据突增时,如何解决阿里内部的数据流动,具体的场景包括异地多活、媒体大屏、缓存更新、实时消息、新零售混合云等。如果是阿里云上的用户,则可以通过数据传输服务DTS来解决类似场景的问题。

图片875.jpg

在最后的圆桌会议环节,多位阿里数据库技术专家畅谈了自己对双11技术、异地多活、分布式数据库、分库分表技术等的展望,同时也回答多个参会者相关的问题。从全国多个城市赶来的参会嘉宾表示不虚此行,直言这是近几年听到最纯正的技术型会议。

声明:本网注明“来源:XXX(非时动、时动中国、时动信息网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
上一篇:和和互娱游戏平台获信息系统安全等级保护三级备案
下一篇:菜鸟进军无人驾驶卡车领域:正进行相关测试
相关文章
国泰航空牵手阿里巴巴、蚂蚁金服 互联网生态助力全球飞、全球游国泰航空牵手阿里巴巴、蚂蚁金服 互联网生
阿里巴巴助力非洲互联网转型,瑞典支付独角兽 Klarna 完成两个月内第三次融资阿里巴巴助力非洲互联网转型,瑞典支付独角
奥凯航空与阿里巴巴达成战略合作奥凯航空与阿里巴巴达成战略合作
热门内容
重现大银幕传奇,日本环球影城(USJ)让你美梦成真
重现大银幕传奇,日本环球
CES2018:爱国者展现自信与担当的“中国情怀”
CES2018:爱国者展现自信与
打造城市“味文化”名片 天猫引领国货升级新趋势
打造城市“味文化”名片
无人便利店开进社区 根据消费习惯调整商品结构
无人便利店开进社区 根据
华为全能本 MateBook D(2018版),你的寒假最佳伴侣
华为全能本 MateBook D(2
明特量化李英浩荣膺“2018胡润新金融年度风云人物”
明特量化李英浩荣膺“201
创新发展结硕果,远东电缆获评“国家知识产权示范企业”
创新发展结硕果,远东电缆
重塑时尚进行时  奢侈品牌连接千禧一代的焦虑
重塑时尚进行时 奢侈品
精彩推荐
直降百元放开抢 用华为随行WiFi过年更开心
直降百元放开抢 用华
阿里总部对外解密双11超级工程背后的数据库技术
阿里总部对外解密双11
“新品效·小米MIUI智能生态大会”在京举行,亨利嘉业荣获“年度最佳服务能力奖”
“新品效·小米MIUI智
北京地铁全线支持刷手机乘车
北京地铁全线支持刷手
电子围栏内看不见共享单车
电子围栏内看不见共享
一点资讯预警大数据:一线城市竟成“后进生”
一点资讯预警大数据:一
热点排行
1“新品效·小米MIUI智能生态大会”在京举行,亨利嘉业荣获“年度最佳服务能力奖” “新品效·小米MIUI智能生态大会”在京举行,亨利嘉业荣
2菜鸟进军无人驾驶卡车领域:正进行相关测试 菜鸟进军无人驾驶卡车领域:正进行相关测试
3阿里总部对外解密双11超级工程背后的数据库技术 阿里总部对外解密双11超级工程背后的数据库技术
4北京地铁全线支持刷手机乘车 北京地铁全线支持刷手机乘车
5在互联网上为科研数据办张“身份证” 在互联网上为科研数据办张“身份证”
关于我们 - 网站声明 - 隐私条款 - 合作伙伴 - 广告服务 -网站地图 - 联系我们
Copyright ©2016-2017 shidongchina.com.cn All Rights Reserved. 北京锦仁信息技术有限公司
京ICP备17008016号-1 技术支持:河南科加