商务服务
开源推荐 | 新一代云原生大数据管家,构建起稳定、高效、可弹性伸缩的大数据云原生平台
2024-11-10 01:16

一、项目简介

开源推荐 | 新一代云原生大数据管家,构建起稳定、高效、可弹性伸缩的大数据云原生平台

新一代云原生大数据管家,致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,旨在帮助用户快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

二、开源协议

本项目遵循  Apache-2.0 开源协议发布。

三、功能介绍

DataSophon是什么?

《三体》,这部获世界科幻文学最高奖项雨果奖的作品以惊艳的"硬科幻"风被大家所熟知,其作者刘慈欣更是被誉为"单枪匹马将中国科幻提高到世界级水平"。

作为三体中非常重要的角色,智子(Sophon)是将九维的质子进行二维展开,通过电路蚀刻改造成超级计算机后,再转回到微观的十一维来监控人类的一举一动,并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI实时远程监控和管理平台。

DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

极易部署,用户仅需几步即可完成初始化环境配置,从而快速地完成大规模大数据集群的部署,支持数千个节点规模。

全面兼容开源生态,基于开放式的管理架构,已集成多种常用大数据组件,包括数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。

兼容复杂环境,极简的架构设计,使其极易适配各种复杂环境,支持arm和x86机器混合部署,支持常用的Linux生态操作系统。

便捷运维,基于生产实践展示用户最关心的监控指标,可方便地对集群、节点和服务进行监控和运维操作,助您大幅提升运维工作效率。

安全可靠,DataSophon支持Kerberos身份认证和数据加密,使用Ranger数据访问控制,从而支持数据加密和权限控制,保证数据安全。

便捷告警,支持告警组和告警指标管理,监控指标全面丰富,用户可根据监控指标自定义告警组和告警指标。

四、演示展示

五、技术选型

产品架构:

技术架构:

集成组件:

各集成组件均进行过兼容性测试,并稳定运行于300+个节点规模的大数据集群,日处理数据量约4000亿条。在海量数据下,各大数据组件调优成本低,平台默认展示用户关心和需要调优的配置。

设计思想:

为设计出轻量级,高性能,高可扩的,可满足国产化环境要求的大数据集群管理平台。需满足以下设计要求:

(1)一次编译,处处运行,项目部署仅依赖java环境,无其他系统环境依赖。

(2)DataSophon工作端占用资源少,不占用大数据计算节点资源。

(3)可扩展性高,可通过配置的方式集成托管第三方组件。

Rpc技术选型:

管理端与工作端通信选择akka框架。选型依据如下:

(1)Actor并发模型,支持协程,比线程小很多,高并发性能高。

(2)非常轻量的事件驱动处理机制(1GB内存可容纳约270万个Actor)。

(3)可以以jar包形式集成到现有框架,简洁易用,无其他依赖。

(4)具备容错机制,允许在Actor出错时进行一些恢复或者重置操作。

(5)消息传递支持exactly once。

(6)相对于netty,学习成本,使用成本更低。

运维监控技术选型:

运维监控技术选择prometheus和Grafana。技术选型依据如下:

(1)强大的数据模型,监控数据以metric{labels}的方式存储在内置的时间序列数据库中。

(2)灵活的查询语句(PromQL)。

(3)监控数据的精细程度高,可以精确到1~5秒的采集程度。

(4)良好的可视化,自带Prometheus UI,可以直接输入PromQL查询监控指标,自动成图,并且支持用grafana进行数据呈现。

(5)支持大量的采集器,其他jmx采集器,使prometheus可轻易获取各大数据组件的服务监控指标。

六、源码地址

本项目代码仓库:

    以上就是本篇文章【开源推荐 | 新一代云原生大数据管家,构建起稳定、高效、可弹性伸缩的大数据云原生平台】的全部内容了,欢迎阅览 ! 文章地址:http://fabua.ksxb.net/news/325.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 海之东岸资讯移动站 http://fabua.ksxb.net/mobile/ , 查看更多   
最新文章
PICO启动“全民优化师”活动,征集VR游戏性能优化方案
创作期截至4月16日,评选期则是4月22日至5月9日(映维网Nweon 2025年03月31日)PICO正在举行名为“全民优化师”的活动,邀请你
TOSHIBA代理商东芝手机「TOSHIBA代理商」
TOSHIBA东芝半导体公司,在国际市场上盛名远扬,家喻户晓。在日本之外,东芝拥有100多家子公司和协作公司的庞大全球网络,仅海外
互传手机互传换机助手手机互传「互传手机互传换机助手」
互传手机互传换机助手,一般又称互传换机助手app。互传换机助手app是一款很受网友好评的手机换机工具。可以实现手机之间数据批量
噬心工具箱手机工具箱「噬心工具箱」
噬心工具箱这是一款方便好用的手机工具箱应用,用户可以使用软件轻松处理图片,超多使用功能,让用户生活更方便。噬心工具箱app
儋州清明假期旅游迎来热潮,民俗体验趣味十足
南海网4月6日消息(记者赵航)花落日渐暖,风起正清明,今年清明假期,踏青赏花趣味十足。4月5日,“福暖春日,泉享安康”温泉美
【教程】全民K歌,用手机唱卡拉OK,朋友一起听!手机k歌「【教程】全民K歌,用手机唱卡拉OK,朋友一起听!」
用手机软件来唱卡拉OK,我知道的有两个软件推荐给您,全民K歌和唱吧。两个软件功能都很强,以前年轻人似乎用唱吧的多一些,现在
繁荣“入境游”,“游”出“日常感”是关键
原标题:繁荣“入境游”,“游”出“日常感”是关键年初至今,我国入境游市场持续复苏,到清明节期间迎来小高峰。数据显示,清明
苹果iPhone14和13对比区别是什么 苹果美版值得买吗?手机壳多少钱「苹果iPhone14和13对比区别是什么 苹果美版值得买吗?」
处理器、屏幕、摄像头、内存等不同处理器相同:iPhone14的处理器没有变化,还是iPhone13 Pro上的满血版A15 仿生芯片,只有iPhone
两个人在线观看免费完整版日本手机在线播放「两个人在线观看免费完整版日本」
格式“武神主宰08集”是武神一部出色的武侠古装影片,充斥着大量精彩的主宰空手道、木棉三绝和剑术招式的武神视觉盛宴。它是主宰
北京:“以花为媒”培育新消费
  4月的北京,繁花似锦装点千年古都,满城春色中涌动着勃勃生机。  北京玉渊潭公园樱花绽放,吸引游客慕名赏花;元大都城垣