科技
业界 互联网 行业 通信 科学 创业

青云QingCloud助力Data+AI一体化,KubeSphereMarketplace上新LakeInsight

来源:今报在线 2023-12-15 16:23:33
A+ A-

青云科技(qingcloud.com) KubeSphere Marketplace上新!北京数元灵科技有限公司(简称“数元灵”)旗下 LakeInsight 云原生湖仓实时数据开发正式上架。

关于 LakeInsight

LakeInsight 是企业级一站式实时数据分析和 AI 开发,基于数元灵自研开源湖仓一体框架 LakeSoul 和云原生容器化架构,提供多源数据实时集成、实时数仓建模、BI 指标报表和 AI 开发,实现 Data + AI 一体化。

LakeInsight on KubeSphere

数元灵率先发布了 LakeInsight 湖仓实时数据开发版,支持配置数据源,数据入湖/出湖功能;提供交互式 SQL 数据分析,任务发布功能提供计算作业资源监控;支持多租户权限隔离等功能。

用户可以通过 KubeSphere Marketplace 订阅部署 LakeInsight 湖仓实时数据开发版,快速为 KubeSphere 添加数据湖仓功能。部署完成之后,管理员可在 KubeSphere 导航栏直接进入数元灵数据智能,来进行数据源添加,数据入湖,数据分析,任务管理等操作,也可以添加企业内用户的登录权限,并通过对接 KubeSphere 不同权限级别的用户,来实现数据智能的权限隔离。

通过 KubeSphere Marketplace 进行订阅部署:

在 KubeSphere 导航栏直接进入数元灵数据智能

LakeInsight 用户可在 KubeSphere 导航栏直接进入数元灵数据智能,来进行数据源添加,数据入湖,数据分析,任务管理等操作。

数据源添加

LakeInsight 中支持配置各种类型的数据源,目前支持 Mysql、Kafka 以及 MaxCompute 三类,期还会加入 MongoDB、Oracle 等常用的数据库。数据源配置后,可以在入湖、出湖功能中使用。

数据入湖

支持从 MySQL、Kafka 等数据源实时采集写入湖仓。在界面上选择上面配置的数据源,即可启动自动实时采集任务。LakeInsight 支持多种数据库的整库多表自动实时入湖,同步任务支持自动新表发现、自动 DDL 变更同步,省去人工繁琐的运维操作。

数据开发

提供实时开发,支持 SQL、Python 进行实时增量数据开发。LakeInsight 支持全链路实时增量计算,实时任务会自动监听输入表的更新,自动触发增量计算,降低了数据产出的延迟并且节省资源,同时也不需要传统的定时任务调度。在 SQL 开发 Notebook 中可以进行实时可视化调试,调试完成后,在任务发布页面选择调试好的 Notebook 即可发布上线。

数据开发:

任务发布:

数据查询和出湖

LakeInsight 湖仓中计算好的的数据,可以直接提供查询服务,可以在关于页面查看服务连接地址。同时,也支持将湖仓中的数据导出到外部系统中,通过界面配置,即可启动实时数据导出任务:

监控告警

LakeInsight 集成了作业管理、日志查询和监控。对内运行的计算任务,可以在界面上进行日志查看、启动停止等操作,可以自动采集各项监控指标,并且可以配置自动报警规则。

作业监控:

日志查询:

立即体验

LakeInsight 湖仓实时数据开发版支持免费试用一个月。试用期内,所有功能点、任务数、计算节点、存储规模均无限制,还可享有原厂技术团队在线 5*8 答疑。现在前往 KubeSphere Marketplace,即可免费订阅 LakeInsight 湖仓实时数据开发版。

接下来,数元灵还将推出 LakeInsght 湖仓实时指标报表版和 LakeInsight 湖仓实时 AI 开发版,敬请期待。我们相信,LakeInsight on KubeSphere 将让数据智能触手可及!

 

责任编辑:kj005
文章投诉热线:182 3641 3660  投诉邮箱:7983347 16@qq.com

相关新闻

精彩推荐