Skip to content
/ tis Public

Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI

License

Notifications You must be signed in to change notification settings

datavane/tis

Repository files navigation

Stargazers over time

Stargazers over time tis

TIS介绍

TIS快速为您提供企业级数据集成产品,基于批(DataX)流(Flink-CDC、Chunjun)一体数据中台,提供简单易用的操作界面,降低用户实施各端(MySQL、PostgreSQL、Oracle、ElasticSearch、ClickHouse、Doris等) 之间数据同步的实施门槛,缩短任务配置时间,避免配置过程中出错,使数据同步变得简单、有趣且容易上手 详细介绍

v3.7.2发布(2023/6/01):

https://github.com/qlangtech/tis/releases/tag/v3.7.2

安装说明

速将TIS在分布式环境中一键安装(支持私有云、公有云等环境),方便、快捷 详细说明

架构

tis

tis

核心特性

  • 简单易用

    TIS的安装还是和传统软件安装一样,只需要三个步骤,一、下载tar包,二、解压tar包,三、启动TIS。是的,就这么简单。系统借助底层的MetaData 自动生成脚本,大部份情况下,键盘成为摆设,用户只需轻点鼠标,借助系统给出的提示快速录入配置。

  • 扩展性强

    TIS 继承了Jenkin 的设计思想,使用微前端技术,重新构建了一套前端框架,前端页面可以自动渲染。

    TIS 提供了良好的扩展性和SPI机制,开发者可以很轻松地开发新的插件。具体来说,第三方开发者可在不修改 TIS 底座框架代码的前提下,就能轻松构建一个新的数据端插件。大大增强了 TIS 的生态扩展性,可以让更多第三方开发者加入进来。

  • 基于白屏化操作

    将传统的 ETL 工具执行以黑屏化工具包的方式(json+命令行执行)升级到白屏化 2.0的产品化方式,可以大大提高工作效率。 ​所谓 白屏化1.0,虽然也是基于 UI 界面的,但是交互方式基本上是给一个大大的 TextArea,里面填写的 Json、XML、Yaml 需要用户自己发挥了,这对用户来说执行效率还是太低了,我们暂且称这交互方式的系统为DevOps系统,TIS需要跨越到 白屏化2.0 的DataOps系统。

  • 基于 DataOps 理念

    TIS有别于传统大数据 ETL 工具,它借鉴了 DataOps、DataPipeline 理念,对大数据 ETL 各个执行流程建模。需要产品能够屏蔽底层技术细节,例如,不需要了解底层的数据导入模块的实现原理,只需要告诉系统目标源的配置信息就行。

支持的读写组件

Reader Writer

详细

功能一瞥

批量导入流程设置

选择Reader/Writer插件类型 tis

添加MySqlReader tis

设置MySqlReader目标表、列
tis

添加ElasticWriter,可视化设置ElasticSearch的Schema Mapping tis

执行MySql->ElasticSearch DataX实例,运行状态 tis

开通Flink实时数据通道

添加Flink-Cluster、设置重启策略、CheckPoint机制等 tis

设置Source/Sink组件属性 tis

TIS基于数据库元数据信息自动生成Flink-SQL脚本,您没看错全部脚本自动生! tis

实时数据通道创建完成!构建一个实时数仓就这么简单!!!
tis

相关代码

如何开发

https://tis.pub/docs/develop/compile-running/

许可协议

TIS is under the Apache2 License. See the LICENSE file for details.

反馈

您在使用过程中对TIS有任何不满或者批评都请不惜斧正,您提出的宝贵意见是对我们最大的支持和鼓励,我要提建议