大数据平台部署与运维

大数据平台部署与运维云计算、大数据、人工智能系列

主编 :王苗，刘骥

定价 :54.00

书号 :978-7-313-34860-9

印刷色 :双色

出版社 :上海交通大学出版社

出版/修订日期:2026.7

分享到 :

微信扫码进入微店购买

产品介绍样书申请

目录
项目一大数据平台认知
任务一掌握大数据特征 3
任务二认识大数据平台 4
一、什么是大数据平台 ……………… 4
二、核心组件详解 ……………………… 4
三、大数据平台的主要目标 ………… 5
任务三了解大数据平台及其应用前景 5
一、大数据平台 ………………………… 5
二、大数据平台的应用前景 ………… 8
项目二大数据虚拟主机环境搭建
任务一虚拟机环境认知 21
一、虚拟机基本概念 …………………… 21
二、虚拟机工作原理 …………………… 21
三、虚拟机类型 ………………………… 22
四、主流虚拟化软件介绍 ……………… 23
五、虚拟机在大数据平台中的作用 … 24
任务二虚拟机环境搭建 25
一、虚拟机软件选择 …………………… 25
二、VirtualBox 安装与配置………… 25
任务三网络设置 29
一、网络模式介绍 ……………………… 29
二、桥接模式配置 ……………………… 31
三、NAT 模式配置 …………………… 32
四、仅主机模式配置 …………………… 33
五、测试方法 …………………………… 33
六、高级网络配置选项 ……………… 34
任务四配置虚拟机 35
一、操作系统优化 ……………………… 35
二、关闭不必要的服务 ……………… 35
三、调整内核参数 ……………………… 36
四、软件安装与配置 …………………… 36
五、配置环境变量 ……………………… 37
六、磁盘分区与格式化 ……………… 37
七、文件系统选择 ……………………… 38
项目三 Hadoop 集群环境搭建及运维案例
任务一 Hadoop集群环境认知 46
一、Hadoop 集群概述 ………………… 46
二、Hadoop 集群的核心组件功能 … 47
任务二 Hadoop集群环境搭建及配置 49
一、伪分布式环境部署与配置 ……… 49
二、分布式环境部署与配置 ………… 50
任务三 Hadoop集群运维与管理 58
一、集群监控体系构建 ………………… 58
二、节点全生命周期管理 ……………… 59
三、资源与作业精细化管理 …………… 60
四、数据安全与存储策略 ……………… 61
项目四 Hive 数据仓库部署及运维案例
任务一 Hive数据仓库认知 76
一、Hive 数据仓库的基本概念 ……… 76
二、Hive 的体系架构解析 ……………… 76
三、Hive 作业执行原理 ………………… 77
四、Hive 的功能与优势 ………………… 79
五、Hive 与传统数据仓库的对比 … 80
任务二 Hive数据仓库安装部署 82
一、环境准备 …………………………… 83
二、安装 Hive 软件包 ………………… 84
三、解决依赖冲突 ……………………… 84
四、配置 Hive 核心参数 ………………… 85
五、启动 Hadoop 集群与创建 HDFS 目录 … 86
六、初始化 Hive 元数据库 ……………… 87
七、启动与验证 ………………………… 87
任务三 Hive数据仓库基本操作 88
一、Hive 的数据模型 …………………… 88
二、Hive 的数据定义语言 ……………… 89
三、Hive 的数据操作语言 ……………… 90
四、Hive 的数据导入导出 ……………… 91
任务四 Hive数据仓库运维 92
一、Hive 的日常运维操作 ……………… 92
二、Hive 的性能优化策略 ……………… 93
三、Hive 的备份与恢复策略 …………… 94
四、Hive 的安全配置 …………………… 95
项目五 HBase 列式存储数据库部署及运维案例
任务一 HBase列式存储数据库认知 115
一、HBase 的技术定位与发展背景 … 115
二、HBase 核心概念与数据模型 …… 115
三、HBase 架构设计与组件分工 …… 116
四、HBase 工作原理与核心流程 …… 118
任务二 HBase列式存储数据库安装部署 119
一、环境准备与规划 ………………… 119
二、HBase 安装与基础配置 ……… 120
三、集群启动与验证 ………………… 124
四、高可用配置、集群扩容与缩容 … 126
任务三 HBase列式存储数据库基本操作 126
一、HBase Shell 核心命令详解 …… 126
二、表结构设计最佳实践 …………… 129
三、Java API 操作示例………………… 130
四、数据导入导出与生态集成 ……… 133
任务四 HBase列式存储数据库运维 135
一、集群监控与健康检查 …………… 135
二、性能优化策略 …………………… 136
三、数据备份与恢复 ………………… 138
四、安全配置与权限管理 …………… 139
项目六 Sqoop 数据转移工具部署及运维案例
任务一 Sqoop数据转移工具认知 156
一、Sqoop 的技术定位与发展背景… 156
二、Sqoop 的核心概念与架构设计… 157
三、 Sqoop 的工作原理与数据传输机制 … 158
四、 Sqoop 与其他数据传输工具的对比 … 160
任务二 Sqoop数据转移工具安装部署 160
一、环境准备与规划 ………………… 160
二、Sqoop 安装与配置………………… 161
三、集群模式部署（多节点协同）… 165
四、部署常见问题与解决方案 ……… 166
任务三 Sqoop数据转移工具基本操作 166
一、 Sqoop 导入操作（从关系型数据库到Hadoop）… 166
二、 Sqoop 导出操作（从 Hadoop 到关系型数据库）… 168
三、增量同步操作 …………………… 169
四、脚本化与调度 …………………… 171
任务四 Sqoop数据转移工具运维 173
一、日常运维操作 …………………… 173
二、性能优化策略 …………………… 174
三、安全配置 ………………………… 176
四、常见故障与解决方案 …………… 177
项目七 Spark 大数据计算引擎搭建及运维案例
任务一 Spark大数据计算引擎认知 189
一、Spark 的技术定位与发展背景 …… 189
二、Spark 的核心概念与架构设计 …… 190
三、 Spark 的工作原理与数据处理机制 … 191
四、 Spark 与其他大数据计算引擎的对比 … 192
任务二 Spark大数据计算引擎安装部署 193
一、环境准备与规划 ………………… 193
二、 Spark 安装与配置（Standalone模式）… 194
三、YARN 模式部署 ………………… 198
四、本地模式部署 …………………… 199
五、部署常见问题与解决方案 ……… 199
任务三 Spark大数据计算引擎基本操作 200
一、Spark Shell 的使用 ……………… 200
二、Spark Core 操作…………………… 201
三、Spark SQL 操作…………………… 204
四、Spark Streaming 操作 …………… 207
五、Spark 应用程序提交 ……………… 209
任务四 Spark大数据计算引擎运维 210
一、日常运维操作 …………………… 210
二、性能优化策略 …………………… 211
三、安全配置 ………………………… 213
四、常见故障与解决方案 …………… 213
项目八大数据平台综合运维案例
任务一大数据交通安全数据分析平台架构与搭建 235
一、平台架构与组件协同 …………… 235
二、综合监控体系搭建 ……………… 236
三、常见故障与跨组件排查 ………… 239
任务二大数据交通安全数据分析平台性能优化及运维 243
一、平台性能优化 …………………… 243
二、自动化运维与灾备 ……………… 244
参考文献 262

世纪宏图免费样书、课件申请表

尊敬的老师：

您好！欢迎您领取本书样书，高校教师免费领取，包邮，每人1-3本。提交申请样书信息后，由对应区域负责人安排邮寄，1-3天内寄出。如有其他问题，请联系：薛老师 13810412048 （微信同号） QQ: 2301407762 进行咨询和处理。

*1.样书申请人

姓名
电话
学校/院系/职务
邮箱
邮寄地址

2.样书申请

申请样书情况
申请样书书名	大数据平台部署与运维
申请样书作者	王苗，刘骥
申请样书出版社	上海交通大学出版社

*3.本学期使用教材

课程名称
教材书名
作者
出版社
全校使用数量
使用年限

4.评价建议

	很不满意	不满意	一般	满意	很满意
知识体系完整性
内容新颖
数字化资源配套
习题解答配套
教师教学便利性

5.申请课件情况

验证码

换一张

提交申请