Skip to content

大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习,公共脚本,常用Shell脚本,Java,Scala,离线,实时,采集,计算,存储,可视化】

Notifications You must be signed in to change notification settings

luvx12/SuperBigData

 
 

Repository files navigation

SuperBigData

大数据全栈学习【又名超级大数据项目】

大数据架构图

https://github.com/al1020119/SuperBigData/blob/master/.images/大数据平台架构图v3.5.png

大数据数据流

https://github.com/al1020119/SuperBigData/blob/master/.images/架构.jpg

模块

1. collection【生态组件集合模块】
2. apache-spark【Spark模块】
3. apache-flink-java【Flink Java模块】
4. apache-flink-scala【Flink Scala模块】
5. compute【计算层】
6. storage【存储层】
7. visual【可视化层】
8. warehouse【数据仓库】
9. services【服务模块】
10. off-line【离线模块】
11. real-time【实时模块】
12. common【公共模块】
13. producer【生产者】

About

大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习,公共脚本,常用Shell脚本,Java,Scala,离线,实时,采集,计算,存储,可视化】

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Java 57.3%
  • Shell 39.1%
  • Scala 2.7%
  • Vim Script 0.4%
  • Batchfile 0.4%
  • Python 0.1%