酷应用

会议推荐丨如何理解知名社交产品的架构设计？

百家作者：InfoQ 2017-10-18 02:00:36

但是有一天，有人会把整个世界都连接起来 ——马克·扎克伯格

社交的本质在于连接，国内外对“互动”的探索引发了不止微信、Snapchat 等通讯应用的诞生，对“关系”的思考发展了类似微博、Facebook 等社交网络的兴起，对“内容”的需求则创造了诸如知乎、Tumblr 等集聚信息的产品形态。

继而我们会看到，即使是不同形态的社交产品，在面临用户规模化的情况时均需额外考虑架构设计上的严谨设计和突发情况，例如：

Snapchat 大规模个性化推荐引擎有何借鉴之处；
复杂网络环境下，微信如何不断提升整体视频通话质量；
诸多热点事件背后，微博应当准备的应对策略；
知乎首页信息流 PULL 架构如何减少响应时间

在这里，我们邀请了来自 Facebook、Twitter、Tumblr、Snapchat、微信、微博、知乎等知名社交产品的顶级技术专家，简单介绍了各自领域的架构设计。

进一步地，在 12 月份即将到来的 ArchSummit 全球架构师峰会 上，上述技术专家将在北京现场继续剖析其中的核心原理，并且与其他来自 Microsoft、Google、Uber、阿里、腾讯、百度、京东、优酷、爱奇艺、bilibili、清华、复旦等技术专家一起总结 2017 年在架构设计上的思考体会。

如果有你感兴趣的话题，不妨识别下方二维码或点击文末 阅读原文 了解更多的内容，与现场的专家进一步交流。

国内

微博 | 应对突发热点事件的弹性调度实践

微博现拥有超过 3.6 亿的月活用户，然而热点事件往往具有不可预测性和突发性，10 分钟内可能带来流量的翻倍增长，甚至更大。如何快速应对突发流量的冲击，确保线上服务的稳定性，是非常巨大的挑战。

传统的人工值守，手工扩容的运维手段，显然无法满足这一需求。为此，我们的目标是做到 系统的自动扩容，在流量增长达到系统的警戒水位线时自动扩容，以应对任意时刻可能爆发的流量增长，确保服务的高可用性。

微博服务化项目架构师、技术负责人胡忠想的分享提纲如下：

自动化在线压测进行容量评估；
实时的容量评估和扩缩容决策系统；
基于混合云的弹性调度实践；
在线和离线计算资源整合实践

微博 | 深度学习在 CTR 预估业务中的应用

CTR 预估任务是工业界最常见的业务类型，在广告、推荐、排序等领域很多问题都可以转化为 CTR 预估问题。

CTR 预估任务面临着 超大规模特征量 以及 大量稀疏数据 等实际应用问题，很多常规的深度学习模型无法满足实用化要求。

新浪微博 AI Lab 资深算法专家张俊林将介绍 CTR 预估任务中应用深度学习的各种主流模型，梳理模型之间的演化关系和特点，并对优选的模型和训练方法等作归纳。

分享提纲如下：

当深度学习遇到 CTR 预估任务；
factorization machines 模型；
当前主流的深度学习 CTR 预估模型；
优选的模型结构及训练方法；
新浪微博应用环境下的探索

知乎 | feed 流架构演进

背景：知乎首页信息流根据业务类型（实时性，资源节省，算法排序）选择了 PULL 类型的架构，而且系统中存在大量过滤，会产生反复到底层 feed source 拉取的问题。响应时间受到了比较大的影响达到了 1.6s。

解决方案选型：尽量使计算接近存储，节省网络和序列化开销。使用最新的 Redis module 技术，定义针对首页业务逻辑的 Redis 接口。

方案介绍：将一部分计算逻辑迁移到 Redis 内部，使数据（使用 Protobuf 压缩）和计算完全在内存中进行，减少无效网络传输，大大提高计算效率，降低了响应时间。而且 Redis 内部的计算逻辑改变时，不需要重新编译 Redis，只需要动态记载计算逻辑部分即可。

实施后效果说明：响应时间 p95 1.6s - 700ms，节省内存 1T，CPU 500 个，减少首页依赖服务 1/2 的 QPS。

微信 | 数亿微信视频通话背后的视频技术二三事

从 2012 年 7 月微信 4.2 版本首次加入视频通话功能，面对数亿微信用户复杂多样的网络和设备环境，微信多媒体团队如何在每个技术环节上不断提升整体视频通话质量？

微信视频技术负责人谷沉沉将介绍微信视频通话的基本框架，以及在微信视频通话技术发展不同阶段的关键视频技术环节。

并和大家探讨如何打造一个适合移动端视频通话的 实用视频编解码器，如何适应不同网络下的传输，如何适应不同的设备和内容场景进行视频图像处理，以及如何评价海量用户的视频质量等问题。

微信 | 社交广告核心架构与图计算存储

微信广告引擎负责人陈功将会分享微信社交广告系统的架构，这里主要深入区别于传统效果广告部分，即 社交数据的图存储。

以及如何兼顾社交广告传播与合约保量的系统设计，最后介绍微信在社交广告系统上新的探索方向。

国外

Facebook | 数据分析平台的挑战和解决方案

商业智能和商业分析（Business Intelligence & Analytics）在技术领域扮演着重要的角色，尤其是在像 Facebook 这样的数据驱动型企业。

随着公司不断的发展壮大，不同的商业团队根据自身需求和方式进行商业报告，因此伴随着大家对数据的需求越来越大，在 数据一致性、数据查询效率和数据安全层面 上，团队们面临着相似的战略规划和技术挑战。

这个数据递送平台 (Data Delivery Platform) 就是为了对症下药解决这些挑战而建立的。

Facebook 技术经理侯兆炜将介绍团队如何使用查询模版和 Metrics 定义来解决数据一致性问题，利用 Spark SQL 解决数据分发效率的问题。

Twitter | 实时流系统 Heron 的异常检测和恢复

应近年来大规模实时分析的需求，很多流处理系统被开发出来。Twitter Heron 开源系统就是其中的代表项目之一。

这类系统要求在软件或者硬件失败的极端情况下能有较好的服务水平。为了达到这种要求，Twitter Heron 系统 添加了 Dhalion 异常检测和恢复框架来保障 Heron 系统的服务水平。

Dhalion 异常检测和恢复框架使用 polocy（策略）来整合 detector（检测器）和 resolver（执行器）模块。

目前 Heron 整个系统非常灵活，通过替换 policy 或者 detector 或者 resolver 能进行各种检测和恢复任务，包括检测 back pressure（反压）指标并进行扩容，和检测负载指标并重新调度容器等等，Dhalion 框架的应用给 Heron 系统带来了初步的自行规范调整机制。

Twitter 工程师吴惠君博士，将在 ArchSummit 现场和大家进一步详解实时流系统 Heron 的异常检测和恢复技术

Tumblr | 相关性反馈在推荐系统中的应用

相关性反馈是信息检索中的常用技术，Tumblr 将相关性反馈应用在大规模推荐系统中。不但极大提高了推荐系统的效率，而且可以实现对不同推荐算法的自然整合。

Tumblr 数据科学总监李北涛将介绍在 Tumblr 主要产品中实现这一技术所遇到的挑战和具体的实现，以及部署后的效果。

具体分享提纲如下：

相关性反馈
Tumblr 推荐系统架构
多个推荐算法的整合
实时用户反馈和算法优化
数据稀疏性问题
A/B Testing 和效果

Snapchat | 解密个性化推荐引擎

Snapchat 是全球最大的阅后即焚社交网络，每天有超过 1.5 亿年轻人在 Snapchat 上自我表达和交流。

在 Snapchat 这样的大规模阅后即焚社交网络中，信息种类繁多，转瞬即逝。如何在其中让用户体验到他们真正感兴趣的，真切表达他们活在当下的感受的故事 (stories)，是极具挑战的课题。

先进的个性化推荐引擎可以有效的提高用户的长期产品体验，从而增加用户的产品粘性，提高产品收益。

Snapchat Research 研究科学家李延恩将介绍在海量阅后即焚社交网络中进行 大规模故事推荐 的技术方案和实践情况，分享对于大规模社交数据的处理心得。

分享提纲如下：

用户交互日志构造
大规模分布式特征提取
基于深度学习的内容特征提取
基于内存的大规模分布式排序模型学习
在线综合打分以及重排序
离线 / 在线模型评价以及实时监测系统
基于深度学习的多模态推荐模型
基于用户观看时间的推荐模型探讨

深度培训

除了上述分享之外，ArchSummit 邀请了 Twitter 吴惠君博士、知名微服务专家杨波等技术专家为大家准备为期两天的技术培训。

其中吴惠君博士的培训背景如下：

最近，越来越多的企业对于实时数据技术架构感兴趣。从批处理向流计算机构的转型，是企业关于如何使用数据的一次技术革命。但是，实时数据技术栈（包括流计算引擎、数据存储引擎、编程语言和工具）的最前沿现状又是什么呢？在这其中，又有哪些技术挑战？以及这些前沿技术怎么影响流计算的架构和应用呢？本次分享，将围绕这些技术内容讲解 Twitter 在使用 Heron 上的宝贵经验。

培训提纲：