火狐直播在线看:主导Apache社区新一代分布式存储系统Ozone 100发

来源:火狐体育直播平台 作者:火狐体育直播appnba

发布时间:2022-08-19 09:58:56

  刚刚获悉,由腾讯云大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。据了解,经过2年多的社区持续开发和内部1000+节点的实际落地验证,Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。

  Ozone 是Apache Hadoop社区推出的新一代分布式存储系统,它的出现满足了大量小文件的存储问题,解决了Hadoop分布式文件系统在可扩展性上的缺陷。作为Hadoop生态圈的一款新的对象存储系统,能够支持百亿甚至千亿级文件规模的存储。

  腾讯云大数据团队Ozone项目负责人陈怡表示,作为大数据领域的领导厂商,腾讯是国内一线互联网公司中最早加入社区的,目前已经在Ozone项目上已经主导完成了集群网络拓扑感知的开发,以及数据写入Multi-Raft Pipeline功能的开发。同时,主导的StorageContainerManager(SCM) 高可用HA功能也正在开发中。

  以集群网络拓扑感知来说,在传统的大数据构架下,有了网络拓扑结构,计算引擎的调度器可以将任务调度到离数据最近的节点来获取“数据的局部性”。即便是新兴的计算存储分离构架,同样也需要集群网络拓扑信息,来保证数据的故障容错能力和高可用性。

  陈怡进一步介绍说,在Ozone 的Alpha 发布后,腾讯内部的大数据平台上线了Ozone生产集群,承接了一部分业务的数据存储。随着数据服务体量的增加,逐渐发现Ozone写入性能显现出了一定的波动和瓶颈。基于这个发现,腾讯Ozone项目组设计并开发了数据写入Multi-Raft Pipeline功能,显著的提升了Ozone的写入吞吐量和性能。

  此外,为了测试Ozone整体的稳定性和性能,作为部署应用的先锋小队,腾讯内部部署了一个1000个数据节点的集群。进行了长达几个月的稳定性和压力测试。期间团队遇到并解决了各种OOM、节点Crash、性能低于预期等问题。经过全面的优化之后,单集群1000个节点现已能长时间稳定运行,并且所有的数据都校验确认正确无误。

  除了1000个节点集群的测试,1.0.0版本还进行10亿个元数据对象的测试和优化,进一步解决长期困扰HDFS的大量小文件问题。目前Ozone 1.0.0能够轻松支持10亿个10KB小对象的写入,同时元数据节点内存使用不超过64GB。

  未来,腾讯云大数据还将发挥自身技术优势和积累,在Ozone的基础上开发基于SCM的新一代高性能分布式文件系统,并持续推进Ozone在更多腾讯内外部业务的实践落地,部署更大规模的生产集群。同时,进一步拥抱开源,深度参与Hadoop社区,提高Ozone的可靠性、稳定性和性能,将其打造成新一代大数据文件和对象混合存储系统。

  值得一提的是,腾讯大数据团队除了在Ozone 项目上的贡献之外,近年来在开源领域的贡献正在逐步加速,目前已完成了大数据核心能力全开源。同时,还结合实际业务场景推动开源技术加速落地,通过技术实践和创新持续回馈社区贡献开源。在Apache基金会的大数据项目上,腾讯已经为主流的Hadoop、Spark、Flink等项目贡献了大量的特性和patch。(一鸣)

  研究过十几万只蚊子的他,一直有个问题萦绕在心头:为何它们能将病毒传播得如此之快。蚊子可以快速传播疟疾、登革热、脑炎等疾病,短短半年就能让一个城市疫情横行。全球经由蚊子传播的病毒每年甚至可导致十亿人感染。

  这艘“种子方舟”设计库容3万份,目前已入库保存华中地区药用植物种质资源3000余份,涉及500多种药用植物。

  发展数字经济是把握新一轮科技革命和产业变革的新经济战略选择。近年来,江苏实施推进数字乡村建设“五大行动”,截至2021年底,江苏光纤宽带和4G网络已实现深度覆盖,农村宽带接入用户数量超1500万户,同比增长10.2%,居全国第一。

  7月7日,记者从西安交通大学第一附属医院获悉,国际期刊《细胞》子刊《细胞通讯》5日在线发表该院刘冰/王亚文教授团队在噬菌体抑菌领域的最新研究成果,揭示了其首次发现的噬菌体编码细菌糖代谢通路的抑制蛋白并为其自主命名:PEIP。

  天空中绝大多数发光的天体都是恒星,恒星中大约一半位于双星系统,而双星共有包层演化阶段可以比作宇宙中的“双黄蛋”。

  文昌位于海南省东北部,紧邻省会海口,东、南、北三面临海,优美绵长的海岸线让这个城市处处充满了风景和故事。2016年,曾经在西藏开民宿的祝影和丈夫回到文昌龙楼,开了这家名为“云卷云舒”的民宿,过上了“面朝大海,春暖花开”的闲适日子。但让祝影选择文昌的,不仅是这里的美景,更是一个与星辰大海有关的机遇。

  日前,科技部等发布《关于做好科研助理岗位开发和落实工作的通知》,要求统筹推进科技研发、高新技术企业成长、高新技术产业发展和科研助理岗位开发工作,发挥科技计划和创新基地平台依托单位的引领作用,大幅增加科研助理岗位数量。

  国家航天局发布的消息显示,截至6月29日,“天问一号”任务环绕器正常飞行706天,获取了覆盖火星全球的中分辨率影像数据,各科学载荷均实现火星全球探测。

  7月5日,在中国气象局例行发布会上,中国气象局应急减灾与公共服务司副司长王亚伟通报,6月全国平均降水量112.1毫米,较常年同期偏多9.1%;吉林、辽宁、山东降水量为历史同期最多。

  最近,我国慧眼卫星团队在编号为Swift J0243.6+6124的中子星X射线千电子伏的回旋吸收线,其对应的中子星表面磁场强度超过16亿特斯拉。相关研究成果在线发表于《天体物理杂志通讯》。

  近日,中央宣传部、国家卫生健康委联合印发《关于开展2022年“最美医生”学习宣传活动的通知》

  “慧眼”卫星团队最近在编号为Swift J0243.6+6124的中子星X射线千电子伏的回旋吸收线亿特斯拉的中子星表面磁场。

  作为南水北调后续工程首个开工项目,引江补汉工程是全面推进南水北调后续工程高质量发展、加快构建国家水网主骨架和大动脉的重要标志性工程。

  三叠纪末(约2亿年前)生物大灭绝事件是地质历史上五大生物集群灭绝事件之一,但恐龙却幸运地避过了这一劫难,并称霸侏罗纪和白垩纪世界。

  社会的复杂化意味着,在中心聚落或城市会出现大量不从事农业生产的工匠、商人、士兵、统治阶层等非农业人口。那么,什么样的农业策略可以生产足够的粮食来供养这些非农业人口?

  记者4日从中国航天科技集团八院获悉,由该院805所自主研制、配置于长征二号丁遥六十四运载火箭载荷舱上的离轨系统,于6月26日在轨顺利展开离轨帆装置。这是目前国内面积最大的离轨帆产品,也是国际上首次将离轨帆应用于运载火箭舱段。

  启动车床,一个小小的易拉罐在主轴上飞速转动。在车刀与易拉罐接触的刹那,飞舞的丝屑带着表面喷漆一点点剥落,而光滑的罐体却完整无缺。

  日前,祁连山国家公园青海省管理局为祁连山国家公园青海片区内40个管护站配备50台巡护无人机,建立祁连山国家公园首支无人机管护队伍。

  日前,吉林大学考古学院蔡大伟教授团队与西北农林科技大学动物科技学院姜雨教授团队在马属动物古DNA研究领域取得重要进展。

上一篇:应用软件是指(应用软件是指~~) 下一篇:系统软件的核心(计算机中系统软件的核心是( ))
新闻资讯 火狐直播在线看

版权所有:火狐直播在线看_火狐体育平台-火狐体育直播appnba Copyright @ 2016 All rights reserved.

XML地图 粤ICP备100321462号

火狐体育直播平台