惠车网 > 动态 >

火山引擎ByteHouse推出资源隔离能力,实现稳定与效率“双保障”

来源:电商行业网 时间:2023-10-23 11:29   阅读量:19567   

随着技术的发展和数据库部署规模的持续扩大,资源隔离的应用场景在数据仓库中变得越来越重要。如果数据量过大,ClickHouse无法灵活控制并发,将导致查询迅速占满集群资源,造成报错。同时,由于无法给特定业务预留CPU资源,后续查询的执行时间也会大幅增加。这些问题不仅影响了业务的稳定性,也限制了查询的效率。

火山引擎ByteHouse推出资源隔离能力,实现稳定与效率“双保障”

ByteHouse是火山引擎推出的云原生数据仓库,以开源的ClickHouse为基础,经过字节跳动内部多年的优化和完善,提供了更丰富的功能和更强的性能,主要为用户带来极速的分析体验。

据了解,在字节跳动内部也存在数据量过大,ClickHouse无法满足资源隔离需求的问题。为了解决这一问题,火山引擎ByteHouse推出了Resource Group资源管理组件。

Resource Group资源管理组件的基本思路是将并发、内存、CPU等资源拆分给不同的资源组,通过资源组之间的关系调度共享资源能力。例如,当用户将查询提交给引擎时,依据规则评估是否能执行该查询,如果可以,查询将被直接执行;否则,查询将进入该资源组的等待队列,等待资源的释放。

这种方式存在以下优势:通过将并发、内存、CPU等资源拆分给不同的资源组,可以更加灵活地控制资源的分配,从而避免查询迅速占满集群资源的问题。其次,通过资源组的父子关系,可以实现不同资源组之间的资源共享,提高资源的利用率。

应用前:

应用后:

通过灵活的资源分配策略和高效的资源利用方式,ByteHouse的Resource Group能力可以提高查询的稳定性和效率,为用户提供更好的使用体验。

据介绍,上线前,用户每天的查询平均耗时在2.3s到14.1s之间,抖动剧烈,用户体验较差。而上线后,每天的查询平均耗时则在0.4s到1.7s之间,较好的保证了优先业务的查询资源,并且显著缩短了平均查询返回时间。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

  
  • 华为全面完成5.5G关键技术测试将为6G通信

    华为在5G-A通信技术上,又取得实质性进展。 对此,10月22日,华为相关人士对《证券日报》记者予以确认。他透露,华为在5G-A技术上取得突破,首次将端到端跨层协同技术应用在...

    2023-10-23 08:41

  • 收益缩水、发行规模下滑信托产品“入冬”

    信托产品收益率步入下行通道。10月22日,北京商报记者调查发现,在信托产品销售市场,收益率超过8%以上的产品基本上不见踪影,大部分信托产品收益率在6%-7.4%左右,更有部分产品收...

    2023-10-23 08:14

  • 税延养老保险加速并轨个人养老金产品再扩容

    个人养老金产品再扩容。10月22日,北京商报记者注意到,中国银行保险信息技术管理有限公司公布的个人养老金保险产品名单再次更新,已从9月的69款扩容到78款产品,新增9款产品。 ...

    2023-10-23 08:09

  • 巨人网络发布2023中报:二季度净利润同比增

    回归一线参与《原始征途》研发的巨人网络董事长史玉柱交出了一份高分答卷。记者31日在此间获悉,巨人网络发布的2023半年报告显示,得益于公司旗舰新品《原始征途》上线后的优异表现及各成...

    2023-10-23 03:49

  • 12省份前三季度GDP数据出炉:9省份增速跑

    各省份2023年前三季度经济数据陆续出炉。据澎湃新闻记者不完全统计,截至目前,已有12省区市公布前三季度GDP等相关数据。 国家统计局公布的数据显示,初步核算,前三季度国内生产总...

    2023-10-23 03:31

  • 解读快手直播两大政策迭代:新公会最高87%分

    快手直播推出了迭代后的《娱乐公会视频直播政策》与《优质内容扶持政策》。 两个政策的调整无疑对公会来说是重大利好,新公会的最高分成从70%提高到了87%,此外优质主播最高可享1.8...

    2023-10-23 01:11

  • 东南大学土木工程学科成立100周年纪念大会举

    10月22日,东南大学土木工程学科成立100周年纪念暨高质量发展大会在该校九龙湖校区体育馆举行。大会以“百载砼心结硕果,十秩宏图谱华章”为主题,以《积淀》《传承》《凝聚》《奋进》四...

    2023-10-23 00:18

  • 金融监管总局详解三季度数据:加大粮食领域金融

    “进一步发挥政策性金融粮食收购资金供应主渠道作用”“前三季度普惠型小微企业贷款增量超过去年全年增量”“稳妥降低存量首套房贷利率,目前绝大部分贷款已调整到位”……10月20日,在20...

    2023-10-22 21:51

  • 商务部:将推出更多务实举措帮助外贸企业抓订单

    今年以来,受多重因素影响,我国外贸承压前行。商务部副部长郭婷婷在近日召开的国新办发布会上表示,正会同各地方、各有关部门加大工作力度,推出更多帮助外贸企业抓订单、拓市场的务实举措,努...

    2023-10-22 20:51

  • 一颗苹果的“保险+”,显示农户丰收的新故事

    因为“保险+”,延安的果农不再看天吃饭。 “今年遭了灾,但还能增收不少,估摸还能增收7800元。”赵永东这样感叹。 赵永东是陕西省延安市安塞区高桥镇南沟村苹果种植户,拥有2...

    2023-10-22 19:33