青云大数据工作台打通全链路，高效与自由兼得

从随手滑动网页时的广告，或是突然收到的银行理财推荐，再到出门在外到处扫一扫的各种“码”，生活中越发能够感受到大数据所带来的变化。企业正试图通过大数据来拉近与消费者间的距离，优化自身生产效率。

据赛迪顾问预计，到2023年，大数据产业规模将达到1万亿元，到2027年，将会达到1.8万亿元。随着产业规模的持续增长，企业机构对于大数据的业务需求也更加深化。

“没有一套完整的系统保证这条链路高效运转的话，就很难保证从数据中提炼出有价值的信息和知识。”青云QingCloud大数据产品经理刘雄风表示“打通大数据全链路”已经成为了客户的重要诉求，而若想实现这种“打通”能力，自然需要在大数据领域的常年积累。

“与大数据时代同频共振，青云大数据一直在行动。”刘雄风介绍称，从2014年到2018年，青云先从广度上实现了数据产品和服务的全覆盖。

自2018年以来，又持续从深度入手，对各个产品性能、服务质量、服务范围等方面进行全方位提升。

截至目前，青云已经推出了近30款数据产品和服务，同时集成优秀的合作伙伴应用，形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储在内的数据产品生态，从而让青云具备了构建一个完整的、可插拔的、全流程的大数据平台的能力。

与此同时，大数据产业也迎来了快速增长。例如中小型互联网或者移动互联网企业开始通过积累大量用户数据，来进行用户画像分析，从而提供匹配个性化需求的内容、资讯、商品信息服务。

智慧工厂通过对物联网设备的实时数据分析来提升生产效率，通过实时风控来提升安全性。科研机构通过分工协作进行多维度计算，实现挖掘实时科研数据、数据处理，并输出科研分析报告。

刘雄风观察到如今客户的需求也从最初的“底层资源”问题逐步进阶到“数据层”问题，例如云平台上已有的数据库、数据仓库、消息队列等服务中的数据，需要数据同步服务来打通彼此之间孤立关系。

数据计算的实时性也与企业的效率越来越呈现正相关，企业希望拥有独立的实时计算平台来加快数据上云后的实时计算速度，进而发挥最大的数据价值。另外在数据开发和作业运维调度层面上也呈现出新的需求。

这种情况下，过往所提供的组件类产品和服务就难以充分满足需求。

基于客户的多种真实需求反馈和实时数据处理的新挑战，青云大数据工作台应运而生。其初衷在于打通大数据全链路，整合青云完整的数据产品和服务，为客户提供一个一站式智能大数据开发和治理平台。

打通大数据全链路的意义在于，大数据技术可以形象的看作对最原始的数据进行集成、处理、加工、提炼，由数据、信息、知识、智慧所构成的金字塔，每上一层数据量就越小，对业务的影响价值却更大更快。

而要从海量“数据”中最终提炼出“智慧”，要经过一条很长的数据流链路，这条链路的高效与否，将最终决定企业的数据掘金效率。

青云大数据工作台包含了数据集成、数据加工、统一存储和服务这三个环节的链路流程，接驳了由数据到智慧的整个过程，为企业数据价值挖掘提供支持。

该工作台基于云原生架构，以 Flink 流批一体的计算引擎为基础，同时兼容多种计算引擎为一体的计算资源服务。提供全生命周期的数据开发服务与高效的数据同步服务，可帮助客户应对丰富的业务场景，包括BI商业智能分析、用户画像、增长分析和数据大屏等应用，能够支持精细化运营分析场景、实时计算场景、可视化开发运维场景、构建数仓场景四大使用场景。

青云大数据工作台所提供的完整功能模块，可以帮助企业轻松完成大数据开发与治理全流程的部署、运行和管理。

数据上云模块可将数据安全地同步到云端，支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8种数据源。

数据上云完成后便可进行数据开发，通过可视化的界面，可以让客户用拖拽的方式部署每一个工作节点，并直观的了解其中的依赖关系。处理完的结果数据可以根据不同特性，存储在不同的存储介质当中，可通过向导式同步或脚本式同步两种方式进行。

接下来的作业运维调度工作中，通过青云自主研发的调度和任务管理模块，可以同时根据任务维护和资源分配维度进行分别监控，实时跟踪计算的饱和度，提醒企业根据需求调整计算资源。

最后通过云端全托管Flink集群，几分钟即可完成计算集群的创建和部署。

在青云大数据工作台未来规划中，广与深的升级理念还将进一步延续，一方面将会加入数据治理和数据资产两大功能模块，完善大数据的全链路流程。

另外还将优化体验，针对不同的开发视角和操作，在客户体验、数据运行、稳定性、容错性方面，进行整体的优化和提升。

提及大数据类产品的版本更迭，很多人都容易想到不少大数据公司在产品架构上越发复杂化的升级，以及缺少一定自由度与弹性的问题。青云大数据工作台则在面世之初，就已经呈现出了明显的比较优势。

作为一家以“云之基石·自由计算”为初心的云计算企业所打造的大数据产品——青云大数据工作台优势也充分体现在此，兼顾了云服务的轻松部署与弹性，同时又开放自由，具有极高的兼容性。

客户一方面可以依托青云公有云提供的天然 Demo，实现开箱即用，几分钟即可完成环境的创建和部署，使用中还能快速进行迭代升级，享受到云平台本身的弹性计费和灵活扩缩容。

而如果是使用大数据公司的产品，往往需要在搭建部署，以及后续升级上花费较长的时间，并缺少在遇到增量波动时的资源灵活性。

另一方面，客户还能如同使用大数据公司的产品一样，获得良好的跨平台兼容性。

青云大数据工作台依托 KubeSphere 云原生容器平台能力，所提供的大数据服务更加自由，可以兼容不同容器平台进行独立部署。通过拥抱开源，青云大数据工作台还实现了百分百兼容Apache Flink，让客户轻松实现迁移。借助生态整合，又能使云平台上的数据流转更加便捷。

同时，面对目前很多大数据产品愈发功能复杂化的趋势，以及一些产品体系中负载越来越重的历史包袱，青云在需求方面，基于真实的客户场景，抽取最大化的公共需求，聚焦业务问题，优化产品使用体验，以极简的操作步骤，解决用户的核心业务问题。

面向最终的场景落地，青云大数据工作台能够与青云的KubeSphere容器平台和IoT平台形成合力，构建“三位一体”的技术方案。

例如，在目前采用该方案的某中国环保行业领导者的实践中，青云大数据工作台能够对工控数据实时处理、分发、脱敏，热数据存储在数据仓库，全量数据存储在对象存储，最后将数据进行应用和展示。

另一工业自动化测试设备与整线系统解决方案厂商也通过与青云合作，建设统一的“物联网+大数据”平台。

针对不同数据源，由IoT平台进行“云、网、边、端”的统一控制，客户可以将数据通过消息中间件统一传输到大数据工作台上，再做原始库数据集成的操作。原始库可单独对外提供数据权限、数据存储和数据查询的服务，或进行二次加工，形成最终结果库。

据悉，通过深耕工业、交通等细分领域，目前青云已经形成了一整套相对标准的体系和方案，未来将会覆盖智慧工业、智慧零售、智慧政务和智慧校园四个“数智”化场景。

青云大数据工作台无疑是青云在与行业“同频共振”的新节点，秉承打通大数据全链路的理念，与行业场景深入适配，展现出不同于以往大数据产品比较优势的全新突破成果。

刘雄风最后这样表示：“我们所追求的是帮助企业激活数据资产，释放数据价值，加速更多企业数智化进程的青云大数据正在路上。”