分类 Hadoop 的文章 累计 4 条

dhso dhso 统计中 2016-11-15 21:54

hdfs基础命令

创建目录

hdfs dfs -mkdir -p /dsdc/input

运行jar

hadoop jar /mnt/MacNum.jar com.dsdc.JobRun

查看结果

hadoop dfs -cat /dsdc/output/part-r-00000
[ 阅读更多 ]
dhso dhso 统计中 2016-11-15 21:47

一步一步搭建docker+hadoop平台(3)

启动hadoop容器

docker run -itd --net=hadoop -p 50070:50070 -p 8088:8088 -p 8020:8020 --name hadoop-master --hostname hadoop-master -v /data:/mnt kiwenlau/hadoop:1.0

进入hadoop容器

docker exec -it hadoop-master bash

停止hadoop再启动

$HADOOP_HOME/sbin/stop-all.sh
$HADOOP_HOME/sbin/start-all.sh
[ 阅读更多 ]
dhso dhso 统计中 2016-11-09 19:17

一步一步搭建docker+hadoop平台(1)

下载系统文件

去centos官网http://101.96.10.38/isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1511.iso下载最小版本的ios文件,并使用UltraISO制作U盘启动盘。

制作启动盘

使用UltraISO软件制作

  • 文件 > 打开 > 选择iso文件
  • 启动 > 写入硬盘镜像
  • 弹窗 写入方式选择为“USB-HDD+” > 写入 > OK

安装系统

  • 使用U盘启动,启动界面下按上键使第一项install centos7高亮.
  • 看屏幕下方的提示,使用e键或者b键修改启动方式
  • vmlinuz initrd=initrd.img inst.stage2=hd:LABEL=CentOS\x207\x20x86_64 quiet
    改为 vmlinuz initrd=initrd.img inst.stage2=hd:/dev/sdb4 quiet
  • 按下ctrl+x键进入安装图形界面
    *在分配磁盘的时候,建议不要使用LVM模式,而使用标准模式

配置网络

vim /etc/
[ 阅读更多 ]
dhso dhso 统计中 2016-11-09 10:06

docker+shipyard+hadoop部署方案

相关链接

shipyard官网

https://shipyard-project.com/docs/deploy/automated/

tuicool文章

http://www.tuicool.com/articles/FnmeuuN

segmentfault文章

https://segmentfault.com/a/1190000002464365

github--hadoop-cluster-docker

https://github.com/kiwenlau/hadoop-cluster-docker

kiwenlau的博客

http://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/

[ 阅读更多 ]
博客介绍
写好程序在于点滴积累,多做笔记!
热评文章
最新评论