大数据开发学习路线图

作者 : 开心源码 本文共4692个字,预计阅读时间需要12分钟 发布时间: 2022-05-12 共262人阅读

一、入门准备

很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入理解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系

1、linux操作基础

1) Linux的详情,Linux的安装:VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程

2) Linux的常用命令:常用命令的详情、常用命令的使用和练习(文件操作、客户管理与权限、免密登陆配置与网络管理)

3) Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用;

4) Linux启动流程,运行级别详解,chkconfig详解

5) VI、VIM编辑器:VI、VIM编辑器的详情、VI、VIM扥使用和常用快捷键

6) Linux磁盘管理,lvm逻辑卷,nfs详解

7) Linux系统文件权限管理:文件权限详情、文件权限的操作

8) Linux的RPM软件包管理:RPM包的详情、RPM安装、卸载等操作

9) yum命令,yum源搭建

10) Linux网络:Linux网络的详情、Linux网络的配置和维护?防火墙配置

11) Shell编程:Shell的详情、Shell脚本的编写

12) Linux上常见软件的安装:安装JDK、安装Tomcat、安装mysql,web项目部署

13)linux高级文本解决命令cut、sed、awklinux

14)定时任务crontab

2、大型网站高并发解决

1) 第四层负载均衡

????a) Lvs负载均衡 ? ? ? ? i. 负载算法,NAT模式,直接路由模式(DR),隧道模式(TUN)

????b) F5负载均衡器详情

2) 第七层负载均衡

????a) Nginx ????b) Apache

3) Tomcat、jvm优化提高并发量

4) 缓存优化

????a) Java缓存框架? ? ? ?i. Oscache,ehcache

????b) 缓存数据库? ? ? ? ?i. Redis,Memcached

5) Lvs+nginx+tomcat+redis|memcache构建二层负载均衡千万并发解决

6) Haproxy

7) Fastdfs小文件独立存储管理

8) Redis缓存系统? ? a) Redis基本使用 ????b) Redis sentinel高可用 ????c) Redis好友推荐算法

3、Lucene基础

1) Lucene详情

2) Lucene 倒排索引原理

3) 建索引 IndexWriter

4) 搜索 IndexSearcher

5) Query

6) Sort和 过滤 (filter)

7) 索引优化和高亮

4、solr基础

1) 什么是solr

2) 为什么工程中要使用solr

3) Solr的原理

4) 如何在tomcat中运行solr

5) 如何利用solr进行索引与搜索

6) solr的各种查询

7) solr的Filter

8) solr的排序

9) solr的高亮

10) solr的某个域统计

11) solr的范围统计

12) solrcloud集群搭建

5、布式协调服务zookeeper

zookeeper简介及应用场景

zookeeper集群安装部署

zookeeper的数据节点与命令行操作

zookeeper的java用户端基本操作及事件监听

zookeeper核心机制及数据节点

zookeeper应用案例–分布式共享资源锁

zookeeper应用案例–服务器上下线动态感知

zookeeper的数据一致性原理及leader选举机制

6、java高级特性加强

Java多线程基本知识

Java同步关键词详解

java并发包线程池及在开源软件中的应用

Java并发包消息队里及在开源软件中的应用

Java JMS技术

Java动态代理商反射

二、离线计算系统?

1、hadoop快速入门

hadoop背景详情

分布式系统概述

离线数据分析流程详情

集群搭建

集群使用初步

2、HDFS加强

HDFS的概念和特性

HDFS的shell(命令行用户端)操作

HDFS的工作机制

NAMENODE的工作机制

java的api操作

案例1:开发shell采集脚本

3、MAPREDUCE详解

自己设置hadoop的RPC框架

Mapreduce编程规范及示例编写

Mapreduce程序运行模式及debug方法

mapreduce程序运行模式的内在机理

mapreduce运算框架的主体工作流程

自己设置对象的序列化方法

MapReduce编程案例

4、MAPREDUCE加强

Mapreduce排序

自己设置partitioner

Mapreduce的combiner

mapreduce工作机制详解

5、MAPREDUCE实战

maptask并行度机制-文件切片

maptask并行度设置

倒排索引

共同好友

6、federation详情和hive使用

Hadoop的HA机制

HA集群的安装部署

集群运维测试之Datanode动态上下线

集群运维测试之Namenode状态切换管理

集群运维测试之数据块的balance

HA下HDFS-API变化

hive简介

hive架构

hive安装部署

hvie初使用

7、hive加强和flume详情

HQL-DDL基本语法

HQL-DML基本语法

HIVE的join

HIVE 参数配置

HIVE 自己设置函数和Transform

HIVE 执行HQL的实例分析

HIVE最佳实践注意点

HIVE优化策略

HIVE实战案例

Flume详情

Flume的安装部署

案例:采集目录到HDFS

案例:采集文件到HDFS

三、数据迁移工具Sqoop

1) 详情 和 配置Sqoop

2) Sqoop shell使用

3) Sqoop-import ? ?a) DBMS-hdfs ? ? b) DBMS-hive ? ? c) DBMS-hbase

4) Sqoop-export

四、Flume分布式日志框架

1) flume简介-基础知识

2) flume安装与测试

3) flume部署方式

4) flume source相关配置及测试

5) flume sink相关配置及测试

6) flume selector 相关配置与案例分析

7) flume Sink Processors相关配置和案例分析

8) flume Interceptors相关配置和案例分析

9) flume AVRO Client开发

10) flume 和kafka 的整合

五、内存数据库redis

1) redis特点、与其余数据库的比较

2) 如何安装redis

3) 如何使用命令行用户端

4) redis的字符串类型

5) redis的散列类型

6) redis的列表类型

7) redis的集合类型

8) 如何使用java访问redis【a.python访问redis,scala访问redis】

9) redis的事务(transaction)

10) redis的管道(pipeline)

11) redis持久化(AOF+RDB)

12) redis优化

13) redis的主从复制

14) redis的sentinel高可用

15) twemproxy,codis实战

16) redis3.x集群安装配置

六、Storm上下游及架构集成

1) kafka是什么

2) kafka体系结构

3) kafka配置详解

4) kafka的安装

5) kafka的存储策略

6) kafka分区特点

7) kafka的发布与订阅

8) zookeeper协调管理

9) java编程操作kafka

10) scala编程操作kafka

11) flume 和kafka 的整合

12) Kafka 和storm 的整合

? ??七、Storm从入门到精通

1) Storm的基本概念

2) Storm的应用场景

3) Storm和Hadoop的比照?

4) Storm集群的安装的linux环境准备?

5) zookeeper集群搭建?

6) Storm集群搭建

7) Storm配置文件配置项讲解

8) 集群搭建常见问题处理

9) Storm常用组件和编程API:Topology、 Spout、Bolt

10) Storm分组策略(stream groupings)

11) 使用Strom开发一个WordCount例子

12) Storm程序本地模式debug、Storm程序远程debug

13) Storm事物解决

14) Storm消息可靠性及容错原理

15) Storm结合消息队列Kafka:消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API

16) Storm Trident概念

17) Trident state 原理

18) Trident开发实例

19) Storm DRPC(分布式远程调用)详情

20) Storm DRPC实战讲解

21) Storm和Hadoop 2.x的整合:Storm on Yarn

八、scala编程

1) scala解释器、变量、常用数据类型等

2) scala的条件表达式、输入输出、循环等控制结构

3) scala的函数、默认参数、变长参数等

4) scala的数组、变长数组、多维数组等

5) scala的映射、元组等操作

6) scala的类,包括bean属性、辅助构造器、主构造器等

7) scala的对象、单例对象、伴生对象、扩展类、apply方法等

8) scala的包、引入、继承等概念

9) scala的特质

10) scala的操作符

11) scala的高阶函数

12) scala的集合

13) scala数据库连接

九、内存计算体系Spark?

1) Spark详情

2) Spark应用场景

3) Spark和Hadoop MR、Storm的比较和优势

4) RDD

5) Transformation

6) Action

7) Spark计算PageRank

8) Lineage

9) Spark模型简介

10) Spark缓存策略和容错解决

11) 宽依赖与窄依赖

12) Spark配置讲解

13) Spark集群搭建

14) 集群搭建常见问题处理

15) Spark原理核心组件和常用RDD

16) 数据本地性

17) 任务调度

18) DAGScheduler

19) TaskScheduler

20) Spark源码解读

21) 性能调优

22) Spark和Hadoop2.x整合:Spark on Yarn原理

十、SparkStreaming应用实战

Spark-Streaming简介

Spark-Streaming编程

实战:StageFulWordCount

Flume结合Spark Streaming

Kafka结合Spark Streaming

窗口函数

ELK技术栈详情

ElasticSearch安装和使用

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

十一、机器学习算法?

1、python及numpy库

机器学习简介

机器学习与python

python语言–快速入门

python语言–数据类型详解

python语言–流程控制语句

python语言–函数使用

python语言–板块和包

phthon语言–面向对象

python机器学习算法库–numpy

机器学习必备数学知识–概率论

2、常用算法实现

knn分类算法–算法原理

knn分类算法–代码实现

knn分类算法–手写字识别案例

lineage回归分类算法–算法原理

lineage回归分类算法–算法实现及demo

朴素贝叶斯分类算法–算法原理

朴素贝叶斯分类算法–算法实现

朴素贝叶斯分类算法–垃圾邮件识别应用案例

kmeans聚类算法–算法原理

kmeans聚类算法–算法实现

kmeans聚类算法–地理位置聚类应用

决策树分类算法–算法原理

决策树分类算法–算法实现

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 大数据开发学习路线图

发表回复