HADOOP构建数据仓库与实战分析
本书特色
[
本书从Hadoop背景、特性、安装等开始，逐步讲解其配置、解决方案、元数据解析等内容。本书共10章，主要内容包括：Hadoop简介，Hadoop的安装与配置，HDFS HA及解决方案，HDFS元数据解析，Hadoop的元数据备份方案，Hadoop的BackupNode方案，MapReduce设计理念与基本架构，MapReduce编程模型，YARN设计理念与基本架构，YARN基础库。本书可作为高等院校计算机等相关专业的大数据或相关课程的教材，也可供大数据领域的工程技术人员学习、参考。
]
内容简介
[
本书从Hadoop背景、特性、安装等开始，逐步讲解其配置、解决方案、元数据解析等内容。本书共10章，主要内容包括：Hadoop简介，Hadoop的安装与配置，HDFS HA及解决方案，HDFS元数据解析，Hadoop的元数据备份方案，Hadoop的BackupNode方案，MapReduce设计理念与基本架构，MapReduce编程模型，YARN设计理念与基本架构，YARN基础库。本书可作为高等院校计算机等相关专业的大数据或相关课程的教材，也可供大数据领域的工程技术人员学习、参考。
]
作者简介
[
小牛学堂是在线教育平台，网站内建设有在线学习行业课程专栏体系，通过用户基础推荐合适的学习方案，关联推荐课程，并通过大数据行为轨迹定位进行学员学习跟进。主要提供以SAP项目、云计算及大数据项目、Unity3D游戏开发项目的在线学习，直播互动，免费学习课程等服务。
]
目录
目 录第1章 Hadoop简介 11.1 Hadoop相关介绍 11.1.1 Hadoop概述 11.1.2 Hadoop的历史 11.1.3 Hadoop的功能与作用 11.1.4 Hadoop的优势 21.1.5 Hadoop的应用现状与趋势 21.2 Hadoop的项目 21.3 Hadoop的体系结构 41.4 Hadoop与分布式开发 51.5 Hadoop计算模型 81.6 Hadoop的数据管理 81.6.1 HDFS的数据管理 81.6.2 HBase的数据管理 101.6.3 Hive的数据管理 111.7 Hadoop集群安全策略 12思考练习 14第2章 Hadoop的安装与配置 152.1 在Linux上安装与配置Hadoop 152.1.1 安装JDK1.6 152.1.2 配置SSH免密码登录 162.1.3 安装并运行Hadoop 172.2 在Mac OSX上安装与配置Hadoop 192.2.1 安装Homebrew 192.2.2 使用Homebrew安装Hadoop 192.2.3 配置SSH和使用Hadoop 192.3 在Windows上安装与配置Hadoop 192.3.1 安装JDK1.6或更高版本 192.3.2 安装Cygwin 202.3.3 配置环境变量 202.3.4 安装sshd服务 202.3.5 启动sshd服务 202.3.6 配置SSH免密码登录 202.3.7 安装并运行Hadoop 212.4 安装与配置Hadoop集群 212.4.1 网络拓扑 212.4.2 定义集群拓扑 222.4.3 建立和安装Cluster 222.5 日志分析及几个小技巧 28思考练习 29第3章 HDFS HA及解决方案 303.1 HDFS系统架构 303.2 HA定义 313.3 HDFS HA原因分析及应对措施 313.3.1 可靠性 313.3.2 可维护性 323.4 Hadoop的HA解决方案 323.4.1 Hadoop的元数据备份方案 323.4.2 Hadoop的SecondaryNameNode方案 333.4.3 Hadoop的CheckpointNode方案 333.4.4 Hadoop的BackupNode方案 343.4.5 DRDB方案 343.4.6 Facebook的AvatarNode方案 343.5 方案的优点与缺点比较 35思考练习 36第4章 HDFS元数据解析 374.1 概述 374.2 内存元数据结构 374.2.1 INode 374.2.2 Block 384.2.3 BlockInfo和DatanodeDescriptor 394.2.4 小结 394.2.5 代码分析—元数据结构 394.3 磁盘元数据文件 434.4 format情景分析 454.5 元数据应用场景分析 56思考练习 57第5章 Hadoop的元数据备份方案 585.1 运行机制分析 585.1.1 NameNode启动加载元数据情景分析 595.1.2 元数据更新及日志写入情景分析 675.1.3 Checkpoint过程情景分析 735.1.4 元数据可靠性机制 955.2 使用说明 95思考练习 96第6章 Hadoop的BackupNode方案 976.1 BackupNode概述 976.1.1 系统架构 976.1.2 使用原则 976.2 运行机制分析 986.2.1 运行机制 986.2.2 元数据操作情景分析 1136.2.3 日志池机制 1196.2.4 故障切换机制 1226.3 实验方案说明 1246.4 构建实验环境 1246.4.1 网络拓扑 1246.4.2 系统安装及配置 1246.4.3 安装JDK 1316.4.4 虚拟机集群架设 1326.4.5 NameNode安装及配置 1336.4.6 BackupNode安装及配置 1336.4.7 DataNode安装及配置 1346.4.8 Clients安装及配置 1346.5 异常解决方案 1346.5.1 异常情况分析 1346.5.2 NameNode配置 1346.5.3 BackupNode配置 1396.5.4 DataNode 配置 1416.5.5 NameNode 宕机切换实验 1436.5.6 NameNode 宕机读/写测试 148思考练习 153第7章 MapReduce设计理念与基本架构 1547.1 Hadoop MapReduce设计目标 1547.2 MapReduce编程模型概述 1547.2.1 MapReduce编程模型简介 1547.2.2 MapReduce编程实例 1567.3 Hadoop基本架构 1577.3.1 HDFS架构 1587.3.2 Hadoop MapReduce架构 1597.4 Hadoop MapReduce作业的生命周期 160思考练习 162第8章 MapReduce编程模型 1638.1 MapReduce编程模型概述 1638.1.1 MapReduce编程接口体系结构 1638.1.2 新版与旧版MapReduce API比较 1648.2 MapReduce API基本概念 1658.2.1 序列化 1658.2.2 Reporter参数 1668.2.3 回调机制 1668.3 Java API解析 1678.3.1 作业配置与提交 1678.3.2 InputFormat接口的设计与实现 1708.3.3 OutputFormat接口的设计与实现 1748.3.4 Mapper与Reducer解析 1778.3.5 Partitioner接口的设计与实现 1808.4 非Java API解析 1818.4.1 Hadoop Streaming的实现原理 1818.4.2 Hadoop Pipes的实现原理 1848.5 Hadoop工作流 1878.5.1 JobControl的实现原理 1878.5.2 ChainMapper/ChainReducer的实现原理 1898.5.3 Hadoop工作流引擎 191思考练习 192第9章 YARN设计理念与基本架构 1939.1 YARN产生背景 1939.1.1 MRv1的局限性 1939.1.2 轻量级弹性计算平台 1949.2 Hadoop基础知识 1959.2.1 术语解释 1959.2.2 Hadoop的版本变迁 1969.3 YARN基本设计思想 1989.3.1 基本框架对比 1989.3.2 编程模型对比 2009.4 YARN基本架构 2009.4.1 YARN基本组成结构 2009.4.2 YARN通信协议 2029.5 YARN工作流程 2039.6 多角度理解YARN 2049.6.1 并行编程 2049.6.2 资源管理系统 2049.6.3 云计算 204思考练习 205第10章 YARN基础库 20610.1 YARN基础库概述 20610.2 第三方开源库 20610.2.1 Protocol Buffers 20610.2.2 Apache Avro 20910.3 底层通信库 21110.3.1 RPC通信模型 21210.3.2 Hadoop RPC的特点概述 21310.3.3 RPC总体架构 21310.3.4 Hadoop RPC使用方法 21410.3.5 Hadoop RPC类详解 21510.3.6 Hadoop RPC参数调优 21910.3.7 YARN RPC实现 21910.3.8 YARN RPC应用实例 22110.4 服务库与事件库 22510.4.1 服务库 22510.4.2 事件库 22610.4.3 YARN服务库和事件库的使用方法 22610.4.4 事件驱动带来的变化 22910.5 状态机库 23010.5.1 YARN状态转换方式 23010.5.2 状态机类 23010.5.3 状态机的使用方法 23010.5.4 状态机可视化 23310.6 源代码阅读引导 233思考练习 234参考文献 235
封面
书名:HADOOP构建数据仓库与实战分析
作者:小牛学堂
页数:248
定价:¥49.0
出版社:电子工业出版社
出版日期:2019-05-01
ISBN:9787121365393
PDF电子书大小:32MB 高清扫描完整版