博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
DKHadoop安装的环境准备介绍
阅读量:6041 次
发布时间:2019-06-20

本文共 914 字,大约阅读时间需要 3 分钟。

前几天去参加了一个线下的聚会,参加聚会的基本都是从事互联网工作的。会上有人提到了区块链,从而引发了一场关于大数据方面的探讨。我也是从去年才正式接触大数据,一直在学习hadoop。相信接触过hadoop的人都知道,。单独搭建hadoop里每个组建都需要运行环境、修改配置文件、测试等过程,每个组件几乎都有坑,尤其是让新手甚是苦恼。此前有在微博上与一些博友了解过他们的配置过程,有的配置了好几天愣是没成功。

Hadoop运行环境配置的坑只有走过的人才懂,不过发现了一个比较有意思的国产hadoop发行版——大快的DKH发行版DKHadoop。DKHadoop将开源社区里多种常用组建包括:HDFS,Hbase,Storm,Flume,Kafka,Mahout,ES等都集成到了这一个平台里,所以整个运行环境的配置安装就大大被简化了。

a153c8b35a82b43118f2a3d5ab2fe49655e15f0d 

我把此前安装的过程整理了一下分享给感兴趣的朋友,主要分为:准备阶段、服务器操作系统配置、DKH系统安装、常见问题解决方法四个部门。由于文章偏于较长,本篇重点为大家分享第一部分——准备阶段。

第一部分:准备工作

1ã 大数据平台所需配置:

(1) 系统:CentOS 6.5 64位(需默认安装Desktop)

(2) CPU :intel E3及以上。

(3) 内存:建议最小8G,用图计算建议32G,推荐128G。

(4) 硬盘:256G以上,推荐使用固态硬盘。

(5) 系统分区要求: 如无特殊需求,除swap分区外,可将剩余空间全部分配 到/ (根) 分区

(6) 网络要求:如无特殊情况,尽量可以接入外网。

(7) 至少三台服务器(三台服务器名字任意起,密码须一致)。

  (8)安装使用root用户作为默认用户

2ã 远程上传和远程连接工具:

ï¼1ï¼Â 若直接使用个人PC开启的虚拟机作为服务器的基础,直接拷贝到虚拟机下即可。

ï¼2ï¼Â 若是使用机房服务器作平台搭建的服务器,如若不能直接接触到服务器,则需要使用远程工具连接并发送安装包

第一部分的主要是安装前的准备工作,除了做好上述这些,还需要去下载一下DKH安装版本。需要的朋友也可以搜索主要一下,如果没有找到可以留言给我。

转载地址:http://uolhx.baihongyu.com/

你可能感兴趣的文章
导入HDFS的数据到Hive
查看>>
Microsoft Windows Workflow Foundation 入门:开发人员演练
查看>>
RHEL系统下安装atlassian-jira-5
查看>>
1.5 MySql建表
查看>>
JIT与可见性
查看>>
java中用中国网建提供的SMS短信平台发送短信
查看>>
rails中validates_confirmation_of验证方法无效的解决办法
查看>>
Qt Creator介绍
查看>>
MS SQL 迁移数据库文件
查看>>
Design Pattern: Adapter 模式 - Object Adapter
查看>>
Robot Framework自动化测试(三)---Selenium API
查看>>
解密短信木马为何屡杀不尽--android手机短信木马的攻与防
查看>>
设计模式六大原则(4):接口隔离原则
查看>>
MJRefresh用法
查看>>
LoadRunner参数化详解
查看>>
Java 理论和实践: 了解泛型 识别和避免学习使用泛型过程中的陷阱
查看>>
[翻译] DZNSegmentedControl
查看>>
[转] iOS 动画库 Pop 和 Canvas 各自的优势和劣势是什么?
查看>>
5招教你把握Java性能监控(转自51testing)
查看>>
10-穿墙代理的设置 | 01.数据抓取 | Python
查看>>