[Hortonworks Data Platform] HDP 2.x 설치

* 설치 순서만 기록 해놓았기 때문에 개념은 적지 않았습니다. 

* 추가적인 업데이트 할 예정입니다.

* 호튼웍스 ambari를 이용한 설치로, 설치 방법은 홈페이지 doc를 참고하였습니다.   

* 테스트 할 목적으로 4대로 구성하였습니다. 

[1] 구성 환경 및 사전 준비 작업

- 테스트할 서버 준비( 호스트 네임 설정)

- 각 노드(하나의 물리 서버)들이 인터넷이 될 수 있도록 설정 

- Java 설정

- NTP 설정, 각 노드들이 인터넷이 안 될 경우 마스터 노드에 NTP 올려서 사용

- DNS설정

- SELINUX 설정 off

- IPTABLES off

1. 테스트 할 서버 준비 (호스트 네임 설정, FQDN설정 포함)

  - CentOS6.4, 1GB memory

  - hadoop01 hadoop02 hadoop03 hadoop04

/*hadoop01*/
   hostname hadoop01
   vim /etc/sysconfig/networks -> hadoop01
   
   vim /etc/hosts
   10.10.1.2 hadoop01 hadoop01.test
 

 /*hadoop02*/
   hostname hadoop02
   vim /etc/sysconfig/networks -> hadoop02
  
    vim /etc/hosts
   10.10.1.3 hadoop02 hadoop02.test


 /*hadoop03*/
   hostname hadoop03
   vim /etc/sysconfig/networks -> hadoop03
   
   vim /etc/hosts
   10.10.1.4 hadoop03 hadoop03.test


 /*hadoop04*/
   hostname hadoop04
   vim /etc/sysconfig/networks -> hadoop04
   
   vim /etc/hosts
   10.10.1.5 hadoop04 hadoop04.test

 

2. java 설치

  - jdk 1.7 설치

yum install java

3. NTP 설정

vim /etc/ntp.conf

4. DNS설정

- 테스트 용도로 pdns-recursor를 설치 하여 구성.

- 한 서버에만 pdns-recursor 설치하고 DNS구성 후, 다른 서버들이 pdns-recursor서버를 바라보도록 설정함

/*hadoop01 서버에 DNS 설정*/
vim /etc/hosts
10.10.1.2 hadoop01 hadoop01.test
10.10.1.3 hadoop02 hadoop02.test
10.10.1.4 hadoop03 hadoop03.test
10.10.1.5 hadoop04 hadoop04.test

yum install pdns-recursor -y

vim /etc/pdns-recursor/recursor.conf
export-etc-hosts 설정 (/etc/hosts를 export하도록)
local-address = 0.0.0.0

vim /etc/resolv.conf
nameserver 127.0.0.1

5. Selinux off

setenforce 0

6. IPTABLES off

chkconfig iptables off
service iptables stop

7. SSH 공개 키 설정

* 기준이 되는 서버에서 공개키를 만들어 나머지 서버에 배포

* .ssh 디렉토리의 경우 퍼미션 설정을 700

* 공개 키의 경우 600으로 설정

/*hadoop01 */
ssh-keygen -t rsa
cd ~/.ssh/
cp id_rsa.pub authorized_keys

/*나머지 서버들*/
cd ~
mkdir .ssh
chmod 700 .ssh
vim authorized_keys  //publickey 값 붙여 넣기

[2] Hortonworks Ambari 설치

1. 저장소 설치

wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.5.1/ambari.repo
cp ambari.repo /etc/yum.repos.d

2. ambari 설치 및 세팅

* ambari의 경우 한 서버에만 설치 하시면 됩니다.

yum install ambari-server
ambari-server setup
ambari-server start
ps -ef | grep ambari

3. web console 로그인

* http://hostipaddress:8080

* admin/admin

4. 차례대로 설정

후기

- 설치를 하는 도중에 트러블 슈팅 해야할 일들이 조금 생기는 경우가 있음.

- meta database를 저장하는 데이터 베이스로 mysql을 설정 할 경우, 자동으로 데몬 실행시 오류가 발생하는데, 

  service mysqld start  // 이부분에서 오류가 발생

  ln -s mysql mysqld를 설정하여 위 문제를 해결함.

- 하둡 서비스를 실행시 수동으로 시작해줘야 올라오는 경우가 있으므로, 약간의 수작업이 필요함.