Hadoop single node install 설치

Before Hadoop install

우분투 이미지

apt-get install curl -y

자바설치

apt-get install openjdk-8-jdk -y
echo "export JAVA_HOME = /usr/lib/jvm/java-8-openjdk-amd64" >> /etc/profile
source /etc/profile

Hadoop Single node install

apt-get install ssh -y
apt-get install pdsh -y # --> 안해도 될듯

# Hadoop 다운 및 설치
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzf hadoop-3.3.1.tar.gz -C /usr/local && mv /usr/local/hadoop-3.3.1 /usr/local/hadoop


# etc/hadoop/hadoop-env.sh 파일 JAVA_HOME 설정
echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh
source /usr/local/hadoop/etc/hadoop/hadoop-env.sh

환경설정

파일명	설명
etc/hadoop/core-site.xml	클러스터 내 네임노드에서 실행되는 하둡 데몬에 관한 공통 설정
etc/hadoop/hdfs-site.xml	하둡 파일시스템(HDFS)에 관련한 환경 설정
etc/hadoop/yarn-site.xml	Resource Manager,Node Manager 에 관한 설정
etc/hadoop/mapred-site.xml	맵리듀스에 관한 설정

 

1. core-site.xml

네임노드에서 실행되는 Hadoop데몬에 관한 설정

HDFS와 MapReduce에서 공통적으로 사용할 정보들을 설정한다.

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 fs.default.name의 value는 NameNode의 hostname을 적어주어 네임노드의 위치를 알려준다.

2. hdfs-site.xml

Hadoop파일시스템에 관한 설정

namespace와 트랙잭션 로그를 저장 할 네임노드와 데이터 노드의 저장 경로를 지정하고, 데이터 복제 개수를 설정해줍니다.

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

dfs.replication 파일을 몇개로 복사할것인지 설정

 

SSH인증 설정

# ssh인증키 생성
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# 인증키 등록
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 권한 변경
chmod 0660 ~/.ssh/authorized_keys

service ssh start

 

Hadoop 명령어

# 네임네드 포맷
bin/hdfs namenode -format
# 재시작
sbin/start-dfs.sh
# 접속 가능:NameNode - http://localhost:9870/

# Jvm위에 실행되는 프로세스 확인
jps

# 정지
sbin/stop-dfs.sh

테스트

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root
bin/hdfs dfs -mkdir input
bin/hdfs dfs -put etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount input/* output

bin/hdfs dfs -cat output/*

 

 

 

---

 

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

Apache Hadoop 3.3.1 – MapReduce Tutorial