李玉坤

[Hadoop] Hadoop高级之HDFS&YARN HA部署

Hadoop HA搭建、问题总结

[Hadoop] Hadoop编译支持5种压缩格式

[Hadoop] 分布式资源调度YARN 四

生产如何调优Container参数(container内存、container虚拟核、官方建议、综合memory+vcore、默认规则、假如该节点还有组件)、Yarn调度器和调度算法(FIFO调度器、Capacity Scheduler资源调度器、Fair Scheduler资源调度器)

[Hadoop] 分布式资源调度YARN 三

YARN单机环境搭建、Yarn常用命令介绍、常见基于Yarn的计算框架(MapReduce On Yarn、Spark)

[Hadoop] 分布式资源调度YARN 二

YARN资源调度流程(分步流程图、Yarn各个组件之间的心跳信号、Yarn资源隔离策略)、Yarn容错处理

[Hadoop] 分布式资源调度YARN 一

YARN产生背景、YARN概述、YARN架构、Yarn 基本思想、Yarn 计算资源抽象

[Hadoop] 分布式处理框架MapReduce 三

参数调优(Map Task和Reduce Task数目调整)、MapReduce优点和缺点、MapReduce编程(WordCount案例开发Java版本、Combiner、Partitoner)、jobhistory开启

[Hadoop] 分布式处理框架MapReduce 二

MapReduce 源代码解析(Hadoop Mapper 定义、Hadoop Reducer 定义、Hadoop Partitioner 定义和默认实现)、MapReduce执行机制、MapReduce 容错性、数据本地性问题、参数调优

[Hadoop] 分布式处理框架MapReduce 一

MapReduce概述、MapReduce计算场景、MapReduce编程模型(MapReduce编程模型之通过wordcount词频统计分析案例入门)、MapReduce Java API(MapReduce-Map、MapReduce-Reduce)、MapReduce执行步骤(整体 Example 图、Word Count Example 图、Map 数据输入、Reduce 数据输入、Word Count中的shuffle图、Shuffle、Shuffle Map端、Shuffle Reduce端、Combiner、Combiner Example图、核心概念)、MapReduce架构(1.X、2.X)

[Hadoop] 分布式文件系统HDFS 三

shell、Java API