CDH是Cloudera的开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。
1.1.1 Cloudera Manager的功能
1）管理：对集群进行管理，例如添加、删除节点等操作
2）监控：监控集群的健康情况，对设置的各种指标和系统的具体运行情况进行全面的监控
3）诊断：对集群出现的各种问题进行诊断，并且给出建议和解决方案
4）集成：多组件可以进行版本兼容间的整合
1.1.2 Cloudera Manager架构原理
cloudera manager的核心是管理服务器，该服务器承载管理控制台的Web服务器和应用程序逻辑，并负责安装软件，配置，启动和停止服务，以及管理上的服务运行群集。
1.1.3 Cloudera Manager 组成结构
Cloudera Manager Server由以下几个部分组成:
Agent：安装在每台主机上。该代理负责启动和停止的过程，拆包配置，触发装置和监控主机。
Management Service：由一组执行各种监控，警报和报告功能角色的服务。
Database：存储配置和监视信息。通常情况下，多个逻辑数据库在一个或多个数据库服务器上运行。
Cloudera Repository：软件由Cloudera 管理分布存储库。
Clients：是用于与服务器进行交互的接口。
Admin Console ：基于Web的用户界面与管理员管理集群和Cloudera管理。
API ：与开发人员创建自定义的Cloudera Manager应用程序的API。
2.1.1 机器准备
服务器配置 14核 128G内存 2.8T磁盘
账号密码
root/1~8
admin/1~8
虚拟机名称
主机名
IP地址
配置
根用户
管理员
部署软件
cdh-data-center-00
cdh-manager
192.168.2.109
2核16G 200G
root12345678
admin12345678
- Mysql
- cloudera-scm-server
- cloudera-scm-agent
cdh-data-center-01
cdh-agent01
192.168.2.111
2核16G 200G
root12345678
admin12345678
- cloudera-scm-agent
cdh-data-center-02
cdh-agent02
192.168.2.113
1核8G 200G
root12345678
admin12345678
- cloudera-scm-agent
cdh-data-center-03
cdh-agent03
192.168.2.114
1核8G 200G
root12345678
admin12345678
- cloudera-scm-agent
cdh-data-center-04
cdh-agent04
192.168.2.107
1核8G 200G
root12345678
admin12345678
- cloudera-scm-agent
cdh-data-center-05
cdh-agent05
192.168.2.115
1核8G 200G
root12345678
admin12345678
- cloudera-scm-agent
cdh-data-center-06
cdh-agent06
192.168.2.116
1核8G 200G
root12345678
admin12345678
- cloudera-scm-agent
cdh-data-center-07
cdh-agent07
192.168.2.117
1核8G 200G
root12345678
admin12345678
- cloudera-scm-agent
cdh-data-center-08
cdh-agent08
192.168.2.118
1核8G 200G
root12345678
admin12345678
- cloudera-scm-agent
cdh-data-center-09
cdh-agent09
192.168.2.119
1核8G 200G
root12345678
admin12345678
- cloudera-scm-agent
此集群用于数据智能实验室--大数据平台
备注
账号信息
- Mysql root/12345678
- CDH admin/admin | http://192.168.2.109:7180/
1. 配置主机静态IP
一：使用语句：cd /etc/sysconfig/network-scripts/
二：找到ifcfg-cns*,把NOBOOT改为yes,然后配置静态IP和网关
三：然后重启网卡，输入：service network restart
2. 配置主机和解析
3. 重启个主机节点
4. 配置免密登录
1、十台机器分别在root用户下执行以下命令
2、将cdh-agent01、cdh-agent02、cdh-agent03、cdh-agent04、cdh-agent05、cdh-agent06、cdh-agent07、cdh-agent08、cdh-agent09的公钥拷贝到cdh-manager主机
3、在cdh-manager主机执行以下命令，分别把authorized_keys拷贝到各代理节点
2.1.2 JDK 安装
尽量不要使用Linux自带的OpenJDK。
查看指令：
rpm -qa|grep java
卸载指令：
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
1 创建软件目录
mkdir -p /opt/software
2 复制文件到软件目录
可以使用远程复制命令scp拷贝安装包文件到cdh-manager节点
scp -r /xxx/xxx/ root@192.168.2.109:/opt/software/
3 解压文件到指定目录
tar -zxvf /opt/software/jdk-8u241-linux-x64.tar.gz
4 设置环境变量(在 /etc/profile.d目录中增加环境变量脚本--推荐)
添加内容如下：
5 JDK 文件分发和环境变量设置
2.1.3 关闭防火墙（每个节点都执行）
2.1.4 关闭 SELINUX
2.1.5 配置时间同步服务
2.1.6 调优系统swappiness参数
vm.swappiness 参数可以调整机器使用内存、交互分区的比例。vm.swappiness 的取值范围在 0-100 之间，当 vm.swappiness 为 0 时，表示最大限度地使用物理内存，而后使用 swap 空间；当 swappiness 为 100 时，表示最大限度地使用 swap 空间，把内存中的数据及时搬运到 swap 空间中去。
2.1.7 关闭透明大页面
大多数 Linux 平台都包含一个称为透明大页面的功能，该功能与 Hadoop 工作节点的交互很差，并且会严重降低性能。查看透明大页是否启用，[always] never 表示已启用，always [never] 表示已禁用。
2.1.8 安装python2.7
Centos7 默认已经安装了 Python 2.7.5 版本，如果系统没有安装，或者没有安装则使用以下命令安装：
[root@cdh-manager software]# python -V Python 2.7.5 # 各节点执行相同操作 如果系统没有安装python执行(yum install -y python275)
2.1.9 安装MySQL5.7
2.1.10 拷贝 JDBC 驱动包到指定目录
注：文件放置在/opt/cloudera/parcel-repo/目录下以后，在后续的界面安装各个服务时，在目录中找到版本文件，可以自动匹配到安装文件，无需连外网下载。