大数据集成环境是非常博杂的,快速创建集成环境对于个人开发学习会比较友好,cdh虽然已经慢慢进入历史阶段了,不过对于个人开发者来说其产品是非常友好的。本文描述如何基于docker构建cdh5的大数据集成开发环境。
安装过旧版本的Docker,可以使用下面命令卸载
yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine docker-ce
安装yum工具
yum install -y yum-utils device-mapper-persistent-data lvm2 --skip-broken
设置docker镜像源
更新阿里源,否则能慢出树懒的感觉
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
安装docker
yum install -y docker-ce
安装cdh5 image
docker pull cloudera/quickstart
启动容器
docker run
-idt
--hostname=quickstart.cloudera
--privileged=true
-p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075
-p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002
-p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888
-p 7187:7187 -p 11000:11000 -p 8888:8888
--name=cdhdev
cloudera/quickstart /usr/bin/docker-quickstart
进入容器
docker exec -it cdhdev bash
启动Cloudera Manager
/home/cloudera/cloudera-manager --enterprise && service ntpd start
查看管理页面
cloudera 的时代过去了,不过它的确是一款非常优秀的大数据集成平台。
页面更新:2024-03-01
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号