小红书 x TiDB | Meetup 回顾

百家 作者:PingCAP 2019-01-16 13:44:37

在上周六举办的 Infra Meetup No.88 上海站上,来自小红书的郭一、张俊骏两位老师,和我司施闻轩老师一起,为大家带来三个精彩的分享,以下是视频&文字回顾,enjoy~


01 - 小红书的社区架构


<iframe class="video_iframe" data-vidtype="1" data-cover="http%3A%2F%2Fshp.qpic.cn%2Fqqvideo_ori%2F0%2Fz0828e43647_496_280%2F0" allowfullscreen="" frameborder="0" data-ratio="1.7777777777777777" data-w="864" data-src="http://v.qq.com/iframe/player.html?vid=z0828e43647&width=368&height=207&auto=0" width="368" height="207" data-vh="207" data-vw="368" style="display: none; width: 368px !important; height: 207px !important;"></iframe>

郭一 | 小红书

本次分享,郭一老师主要介绍了小红书社区的数据技术。首先介绍了小红书的产品和社区个性化的推荐需要的关键技术。然后对社区的数据技术分别从接入层,业务层,数据服务层和数据仓库层进行了概述。然后讲述了一个利用流计算引擎 Flink 给线上推荐提供用户行为实时的多维度聚合的业务实例。最后对小红书下一年的数据架构发展进行了展望。


02 - TiDB 在小红书的实践案例分享


<iframe class="video_iframe" data-vidtype="1" data-cover="http%3A%2F%2Fshp.qpic.cn%2Fqqvideo_ori%2F0%2Fe0828i67uly_496_280%2F0" allowfullscreen="" frameborder="0" data-ratio="1.7777777777777777" data-w="864" data-src="http://v.qq.com/iframe/player.html?vid=e0828i67uly&width=368&height=207&auto=0" width="368" height="207" data-vh="207" data-vw="368" style="display: none; width: 368px !important; height: 207px !important;"></iframe>

张俊骏 | 小红书

本次分享,张俊骏老师主要介绍了小红书在以下两个场景中对 TiDB 的使用:第一个场景是大促实时看板,在高 QPS 场景下通过最终一致性写入模型完美地满足了需求,且全程保持稳定;第二个是作为分库分表 MySQL 的从库进行 ETL 任务,通过分析分库分表 MySQL 的特性自行开发了同步工具,解决了许多 ETL 任务的痛点。小红书未来还会在 TiDB 的容器化部署、自动化运维、接入更多业务场景等方向上努力。


03 - Vectorized Execution Explained


<iframe class="video_iframe" data-vidtype="1" data-cover="http%3A%2F%2Fshp.qpic.cn%2Fqqvideo_ori%2F0%2Fl0828aa78qd_496_280%2F0" allowfullscreen="" frameborder="0" data-ratio="1.7777777777777777" data-w="864" data-src="http://v.qq.com/iframe/player.html?vid=l0828aa78qd&width=368&height=207&auto=0" width="368" height="207" data-vh="207" data-vw="368" style="display: none; width: 368px !important; height: 207px !important;"></iframe>

施闻轩 | PingCAP

2019 年我们会尝试针对一些主题进行一系列分享,Q1 计划的是查询执行(Query Execution)相关主题。针对这个主题我们会分享当前业界相对前沿的设计和算法,例如 JIT Compilation,向量化,SIMD,NUMA 相关优化等。

本次 Meetup 施闻轩老师的分享主题是「向量化执行」。向量化是随着列存数据库一起成熟的新查询执行模型,诸如 Hive,Vertica,Vectorwise,Clickhouse 等都使用了该技术。向量化也是 TiDB 正在进行的优化之一。本次分享从为何进行向量化,块执行,SIMD 和晚期物化等多个方面阐述向量化引擎的设计和实现。


* 后台回复“88”获取本期 PPT 链接


关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接