直播回放|探索青云大数据工作台的“能力值”

百家 作者:QingCloud 2022-05-20 23:05:49


昨天,青云大数据工作台新品发布会圆满举行。


围绕「打通大数据全链路」这个主题,青云QingCloud 大数据产品经理刘雄风带来了青云大数据工作台全链路产品能力介绍及智慧工厂案例分享,大数据研发经理迟连义从技术角度解读了大数据工作台的云原生架构在支持混合云交付(公有云服务、私有化部署)方面的优势。


以下是本次发布会的全部内容,您可以观看视频回放,下载演讲 PPT,或加入青云大数据用户交流群了解更多精彩内容



直播视频回放



发布会 PPT 下载


关注「青云QingCloud」公众号,回复关键词「大数据工作台」,获取 PPT 下载链接。



精选Q&A

Q1:大数据工作台支持私有化部署么?

A:支持的。大数据工作台采用“公私一体”的架构,依托云原生 Kubernetes 屏蔽底层基础设施层的能力,支持青云公有云、青云私有云,以及独立部署的方式。

Q2:数据源只支持 MySQL 吗?
A:数据源支持多种类型,不仅支持传统的数据库(如 MySQL),还支持数据仓库、大数据存储、消息队列等,包括:Click House、MongoDB、Elasticsearch、Kafka、HDFS、HBase 等。

Q3:大数据工作台是和青云绑定的么?怎么交付的?
A:不绑定。大数据工作台支持基于 Kubernetes 独立部署交付,基础设施层可以是青云的 IaaS,也可以是其他云平台的 IaaS、裸金属服务器或者是自建的 Kubernetes 集群。

如果用户在使用青云云平台,大数据工作台支持以一个功能模块的形式嵌入到云平台中,同时支持和云平台的其他功能模块进行交互,如对象存储、数据库服务、大数据组件等。

Q4:大数据工作台可以看作是一个数据中台么?如果不是,它与数据中台的区别是什么?
A:数据中台是在 DT 时代的大背景下,为实现数据快、准、省地赋能业务发展的目标,将企业的数据统一整合起来,基于 One Data 方法论,借助大数据平台完成数据的统一加工处理,进而对外提供数据服务的一套能力复用平台。目前市面上的数据中台主要以大项目定制的方式进行私有化交付,成本大、周期长。

大数据工作台采用云原生架构,没有基于传统的 Hadoop 体系的 YARN 来做资源调度,而是基于 Kubernetes 实现资源调度。聚焦于数据使用场景下,解决数据集成、流批一体计算、统一运维、数据服务共享等问题,通过云端一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。

Q5:青云大数据平台的云原生架构有什么优势?
A:通过用户的需求以及我们的重构和迭代,青云大数据平台逐渐发展和演变为现在的云原生架构。这套架构的优势是:

  • 基础设施层:最底层的基础设施,在青云公有云我们是依赖于青云 IaaS 层稳定和功能强大的主机、存储、网络能力。

  • 应用平台层:依托 KubeSphere 对云原生应用支持的能力,天然地屏蔽底层基础设施层,无论是青云的 IaaS,还是各厂商的虚拟机,或裸金属服务器、已有的 K8s 环境,均可以便捷地部署,让大数据平台的部署场景更加丰富。调度也不再基于传统的 Hadoop 体系的 YARN 来做资源调度,而是基于 Kubernetes 实现资源调度。

  • 服务层:这是大数据工作台产品本身,在层级架构中的最上面一层。在这层里,我们有内核层流批一体的计算引擎 Flink,还有调度管理、资源管理、空间管理、数据开发管理、数据集成管理等模块,每个模块内部也会有自己的功能和架构设计,用到各种数据存储,如 MySQL、Etcd、Redis、HDFS 等等。

以上三层的解耦架构,更加灵活,也更加稳定。

Q6:大数据工作台和 Hadoop、Spark 有关系吗?
A:在计算框架领域,有 Flink,有 Spark,有 MapReduce。目前大数据工作台引擎层支持流批一体 Flink,还未支持 Spark 和 MapReduce 框架的可视化开发,未来我们会提供相应的支持

目前在青云云平台上有大数据套件 QingMR,提供 Hadoop、Spark、Flink 大数据原生能力,可以一键部署使用。

未来大数据工作台会支持引擎绑定 QingMR,做可视化开发和调度。

Q7:大数据工作台支持 Kerberos 吗?
A:大数据工作台是一个云上多租户的服务,有独立的账户、角色、权限和配额管理,未使用 Kerberos。

Q8:请问大数据工作台支持哪些商业数据库?比如 Oracle、DB2、SQL Server、Sybase。
A:大数据工作台支持 SQL Server 数据库作为数据源,做数据集成开发。其他的商业数据库,暂未支持。

Q9:在产品视频中,MySQL 的例子是要做数据库之间的数据迁移和同步么?
A:视频里 MySQL 的例子,主要是演示大数据工作台产品里「数据集成」这个功能。这个功能依托 Flink 流批一体引擎,可以做到将多样化的来源数据源,离线或者实时地同步数据到多样化的目标数据源。

比如从 MySQL 离线同步数据到 ClickHouse 中,或者通过 MySQL CDC 实时同步数据到 Kafka 中,均是这个功能的使用场景。有数据同步和迁移需求的企业可以使用大数据工作台的这个功能。

Q10:大数据工作台有日志检索和分析的功能吗?我们目前主要用的是 Kafka 和 Elasticsearch,本地的数据库如何接入到云端?
A:目前大数据工作台还未提供数据分析功能,数据分析在我们的产品规划中。

Kafka 和 Elasticsearch 在青云的云平台上均有提供对应的服务。消息队列 Kafka 和 ELK 集群服务,均是通过 AppCenter 应用平台承载提供的服务,用户可以一键部署来使用。

本地的数据库,需要在云上创建专属私有网络 VPC,绑定 EIP,然后利用大数据工作台的数据同步能力,通过公网,将本地数据库的数据,同步到云端。



目前大数据工作台处于公测阶段,为每位用户提供 12 CU 的免费计算资源,登录青云公有云即可使用。

立即参与公测:
https://console.qingcloud.com/dataomnis/overview

*CU(Computing Unit),是大数据工作台的计算资源单位。1 CU 是 1 核 CPU  4 GB 内存,12 CU 是 12 核 CPU 48 GB 内存。



▼▼▼

加入青云大数据用户交流群

一起探讨大数据的那些事儿





关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接