하둡 설정 (name node)

1. sudo mkdir -p /prj/data/hadoop/tmp (하둡 임시 파일 경로, hadoop/conf/core-site.xml에서 hadoop.tmp.dir 경로를 선택할 수 있음)
2. sudo mkdir -p /prj/logs/hadoop (하둡 로그 경로, hadoop/conf/hadoop-env.sh 에서 설정을 바꿀 수 있음)
3. hadoop/conf/hadoop-env.sh 파일에 export HADOOP_LOG_DIR=/prj/logs/hadoop 추가
4. hadoop/conf/masters에 네임노드서버 주소입력
5. master에서 core-site.xml, hdfs-site.xml, mapred-site.xml 3개의 파일을 수정
   • core-site.xml의 현재 설정
     

     <configuration>
         <property>
             <name>fs.default.name</name>
             <value>hdfs://svr1.example.com:54310</value>
         </property>
     
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/prj/data/hadoop/tmp</value>
         </property>
     </configuration>
     

   • mapred-site.xml
     

     <configuration>
         <property>
             <name>mapred.job.tracker</name>
             <value>svr1.example.com:54311</value>
         </property>
         <!--
         <property>
             <name>mapred.local.dir</name>
             <value></value>
         </property>
         -->
         <property>
             <name>mapred.map.tasks</name>
             <value>40</value>
         </property>
     
         <property>
             <name>mapred.reduce.tasks</name>
             <value>40</value>
         </property>
     </configuration>
     

   • hdfs-site.xml (콤마로 분리해서 원하는 디렉토리를 설정해 줄 수 있다. 디렉토리 권한을 체크)
     

     <configuration>
         <!--
          // default value is 3
         <name>dfs.replication</name>
         <value>4</value>
         <property>
             <name>dfs.name.dir</name>
             <value>/prj/data/hadoop/name</value>
         </property>
     
         <property>
             <name>dfs.data.dir</name>
             <value>/prj/data/hadoop/data, /disk2/data</value>
         </property>
         -->
     </configuration>