简介：近些年，大数据已经成为各大企业，乃至整个社会关注的重要资源，未来数据管理能力也将成为企业的核心竞争力。正因如此，大数据相关岗位的人员需求和薪资也水涨船高。
如果你是：
—计算机专业在校生，未来准备从事大数据相关岗位的同学；
—想要转行大数据的Java岗位工作者；
—对大数据感兴趣的软件行业从业者，希望在大数据领域有所提升；
那么恭喜，你来对地方了！
想学习大数据，就绕不开Hadoop，它是整个大数据生态体系的基础。本课程为Hadoop3.0入门课程，从0开始，带你手写代码。课程知识点完整详细，采用原理与实践结合的讲解方式，配套互联网企业真实项目进行讲解。
在本门课程中，你可以收获：
—了解Hadoop的核心原理及Hadoop3.0中的新特性
—掌握Hadoop集群的安装部署
—掌握PB级海量日志数据的存储方法
—掌握企业中海量数据的计算方法
—掌握Sqoop在HDFS导出数据至MySQL中的使用
—掌握Hadoop中自定义序列化数据类型在数据分析中的应用
—掌握大数据任务自动化执行脚本的封装和监控
通过本课程的学习，你可以了解Hadoop中的三大核心组件及原理；独立完成Hadoop分布式集群的安装部署；实现大数据中的海量数据存储和海量数据计算。
目前各行各业都处于数据的快速增长期，特别是互联网行业，企业中对大数据的需求会越来越多，本门课程可以帮助大家快速入门大数据，提升自身技术能力。
第1章 课程介绍
本章中会介绍学习内容，演示项目效果，梳理课程中使用到的工具，软件，以及本课涵盖的技术栈、重难点。
第2章 Hadoop整体概述
本章主要是从整体层面上对Hadoop中的核心组件进行了分析，以及Hadoop在整个大数据生态圈中的作用，这样可以帮助学员快速了解Hadoop的核心作用和功能，为后面的深入学习打下基础。
第3章 Hadoop集群部署
本章主要分析了目前企业中大数据集群的选型以及如何使用原生Apache Hadoop搭建集群，还会分析一下Hadoop客户端这个角色的作用，通过本章的学习，学员可以掌握实际企业中如何使用Hadoop集群。
第4章 分布式存储(HDFS)详解
本章主要针对Hadoop中的分布式存储(HDFS)模块进行详细分析，通过本章的学习，学员可以掌握HDFS的工作原理和常见的操作。
第5章 分布式计算(MapReduce)详解
本章针对Hadoop中的MapReduce计算框架进行了详细分析，结合具体案例一步一步分析Map阶段和Reduce阶段的执行流程以及数据变化。通过原理和案例的结合，可以加深学员对MapReduce执行原理的理解和认识。
第6章 资源调度器(Yarn)详解
本章主要介绍了Yarn的三种资源调度器，通过本章的学习，学员可以掌握实际生产环境下大数据集群中资源调度器的选择依据。
第7章 案例：直播平台开播数据统计分析
本章结合互联网公司中的直播平台相关业务数据进行分析统计，可以将前面学习到的理论性知识应用在具体的业务场景中，提高代码实战能力，通过一个完整的项目开发流程来实现，也增加了任务的外围监控、故障重启、失败预警等功能，使项目更加完整，通过本章的学习，可以让学员真正掌握实际企业中大数据任务的开发流程。
第8章 课程回顾与总结
结合思维导图，回顾课程中用到的技术，总结一下经验，提出项目中可以进一步完善的功能。
解锁即可观看《大数据工程师》完整课程视频
大数据工程师
硬核技能带你攻克热点商业项目，从入门直达中级工程师水平，掌握DT时代淘金利器！
【第1周】学好大数据先攻克Linux
【第2周】大数据起源之初识Hadoop
【第3周】Hadoop之HDFS的使用
【第4周】Hadoop之HDFS核心进程剖析
【第5周】Hadoop之初识MR
【第6周】拿来就用的企业级解决方案
【第7周】Flume从0到高手一站式养成记
【第8周】数据仓库Hive从入门到小牛
【第9周】Hive扩展内容
【第10周】快速上手NoSQL数据库HBase
【第11周】数据分析引擎之Impala
【第12周】7天极速掌握Scala语言
【第13周】Spark快速上手
【第14周】Spark性能优化的道与术
【第15周】Spark3.x扩展内容
【第16周】综合项目：电商数据仓库之用户行为数仓
【第17周】综合项目：电商数据仓库之商品订单数仓
【第18周】消息队列之Kafka从入门到小牛
【第19周】极速上手内存数据库Redis
【第20周】Flink快速上手篇
【第21周】Flink高级进阶之路
【第22周】Flink1.15新特性及状态的使用
【第23周】Flink1.15之状态的容错与一致性
【第24周】FlinkSQL(1.15)快速上手
【第25周】FlinkSQL双流JOIN详解
【第26周】全文检索引擎Elasticsearch
【第27周】Es+HBase仿百度搜索引擎项目
【第28周】直播平台三度关系推荐V1.0
【第29周】直播平台三度关系推荐V2.0
【第30周】数据中台大屏
【第31周】实时OLAP引擎之ClickHouse
【第32周】实时数仓-Kafka Eagle+DS
【第33周】实时数仓-Flink CDC数据采集
【第34周】实时数仓-Paimon(数据湖)快速上手
【第35周】实时数仓-Paimon(数据湖)高级进阶
【第36周】实时数仓-湖仓一体项目
【第37周】一站式流式开发平台StreamPark
【第38周】大数据分布式SQL网关Kyuubi