안단테 안단테

하둡 hdfs 명령어 정리 하둡(Hadoop)의 파일시스템인 HDFS의 명령어를 모두 정리해 보려고 합니다. 하둡의 명령어는 다음과 같은 구조를 가지고 있습니다. hadoop fs -cmd cmd가 지정한 파일 명령어이고 는 각 명령에 따른 인자들을 나타냅니다. hadoop fs를 제외하면 일반적인 리눅스 명령어와 유사하다고 볼 수 있습니다. 그럼 정리해보도록 하겠습니다. (도서 "거침없이 배우는 하둡"의 부록을 참고했습니다.) cat hadoop fs -cat FILE [FILE ...] 파일의 내용을 나타낸다. 압축된 파일을 읽기 위해서는 fs 대신에 text 명령어를 사용해야 한다. chgrp hadoop fs -chgrp [-R] GROUP PATH [PATH ...] 파일과 디렉토리에 대한 그룹..

하둡을 설치하고 하둡 명령어를 사용할때 다음과 같은 에러가 나올 수 있다. 다음과 같은 이유 때문이며 well, your problem regarding ls: '.': No such file or directory' is because there is not home dir on HDFS for your current user. Try hadoop fs -mkdir -p /user/[current login user] hadoop fs -ls 위와 같이 실행을 하게 되면 정상적으로 실행이 될것이다.

하둡(haddop)에서 사용하는 용어 정리이다. [JPS] - Java Virtual Machine Process Status Tool. 시스템에서 실행 중인 자바 프로세스를 출력합니다 [Jobtracker] - jobtracker는 사용자와 프레임워크간의 상호작용이 이루어지는 접점이다. - jobtracker는 map, reduce 작업들이 tasktracker들에 할당되는 것을 관리한다. - 작성될 TaskTracker와 종속 작업의 수를 결정하여 각 하위 작업을 TaskTracker에 할당한 후 각 TaskTracker가 상태를 보고하면 완료된 작업은 JobTracker로 돌아간다. [Tasktracker] - tasktracker는 jobtracker가 지시한 작업을 수행하고 map 과 reduc..

1. 하둡(Hadoop) 설치 Hadoop / Big Data 1. 하둡(Hadoop) 설치 안녕하세요. 정말 오랜만에 포스팅을 하는거 같습니다. 요새 바쁜척좀 하느라 그랬구요. 오늘부터 시간될때마다 하둡에 관한 정보를 포스팅하겠습니다 ㅎㅎ. 저도 공부하는중이라 모르는부분이 너무나 많아요.. (이해부탁드려요) 아파치 하둡(Apache Hadoop, High-Availability Distributed Object-Oriented Platform)은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자유자바 소프트웨어 프레임워크이다. 원래 너치의 분산 처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이다. 분산처리 시스템인 구글 파일 시스템을 대체..