openLooKeng新版本1.6.0上线!更高的性能提升,更好的服务开发者!

应用 作者:华为开发者社区 2022-04-06 20:59:44



新版本1.6.0正式上线

小荷才露尖尖角,早有蜻蜓立上头,在这个万物生发的季节,openLooKeng迎来全新版本的升级,在openLooKeng开发团队和社区开发者共同努力下, openLooKeng v1.6.0新版本正式发布,新版本1.6.0在原基础上进行了一些优化,并提供一些新功能,来提升引擎性能。


新版本1.6.0在数据持久化、低时延、连接器、Task Recovery等方面做出了优化,无论是性能提升、可靠性、还是创新方面,都是干货满满。下面就带大家快速浏览openLooKeng新版本1.6.0的关键特性。


1

数据持久化

对于数据持久化,新版本1.6.0做了如下一些优化:

特性名称

场景介绍

优化计算过程数据下盘速度和大小

当在HashAggregation(聚合算法)和GroupBy(分组)期间发生溢出时,序列化到磁盘的数据会很慢,而且大小也会更大。因此可以通过减小大小和提高写入速度来提高整体性能。使用kryo序列化可以提高速度并减小溢出写盘文件大小

支持溢出到hdfs上

目前计算过程数据可以溢出到多个磁盘,现在支持溢出到hdfs以提高吞吐量

异步溢出/不溢出机制

当可操作内存超过阈值并触发溢出时,会阻塞接受来自下游运算符的数据。接受数据并加入到现有溢出流程将有助于更快地完成任务

支持右外连接&全连接场景下的溢出写盘

当连接类型为右外连接或全连接时,不会溢出构建侧数据,因为需要所有数据在内存中进行查找。当数据量较大时,这将导致内存溢出。因此,通过启用溢出机制并创建一个布隆过滤器来识别溢出的数据,并在与探查侧连接期间使用它

2

连接器增强

特性名称

场景介绍

PostgreSQL/

openGauss连接器支持更新和删除操作

增强PostgreSQL和openGauss连接器,支持对数据源进行更新和删除操作

3

低 时 延

特性名称

场景介绍

Star Tree

 索引支持

更新

Cube

支持cube更新命令,允许管理员在基础数据更改时轻松更新现有cube的内容

启发式索引优化

优化布隆过滤器索引大小使缩小十倍以上


4

Task Recovery

特性名称

场景介绍

优化执行失败检测时间

当前需要300秒来确定任务失败,然后继续运行。改进这一点将改善执行流程和整体查询时间

快照时间和大小优化

当执行过程中使用快照时,当前直接使用Java序列化,速度很慢,而且需要更多的空间。使用kryo可以减小文件大小并提升速度来增加总吞吐量

注释:Kryo:是一个快速序列化/反序列化工具,依赖于字节码生成机制(底层使用了 ASM 库),因此在序列化速度上有一定的优势


以上便是新版本1.6.0的优化。作为大数据的关键项目,openLooKeng依旧保持着3个月一个版本的迭代速度,致力于为用户提供极速极简的数据体验。欢迎大家使用。


openLooKeng新版本1.6.0下载地址

欢迎扫码体验新版本1.6.0




如果您在使用openLooKeng过程中,有任何疑问与建议, 请在社区代码仓中提Issue,欢迎添加小助手微信,进入openLooKeng技术交流群


openLooKeng代码仓地址:

https://gitee.com/openlookeng

https://github.com/openlookeng


如果您对新版本1.6.0有任何建议,随时欢迎添加小助手微信


社区公众号|openLooKeng

社群小助手|openLooKengoss





戳“阅读原文”,获取更多精彩内容

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接
百度热搜榜
排名 热点 搜索指数