목록IT 기술/BigData (38)
안단테 안단테
보통 작은따옴표(') 로 하는데 큰따옴표(")로 하면 될 때가 있다
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.collect.MapMaker.keyEquivalence(Lcom/google/common/base/Equivalence;)Lcom/google/common/collect/MapMaker; at com.google.common.collect.Interners$WeakInterner.(Interners.java:68) at com.google.common.collect.Interners$WeakInterner.(Interners.java:66) at com.google.common.collect.Interners.newWeakInterner(Interners.java:63) ..
cannot find symbol 또는 cannot resolve symbol 지정된 변수나 메서드를 찾을 수 없다는 뜻으로 선언되지 않은 변수나 메서드를 사용하거나, 변수 또는 메서드의 이름을 잘못 사용한 경우에 발생한다. 자바에서는 대소문자 구분을 하기 때문에 철자 뿐 아니라 대소문자의 일치여부도 꼼꼼하게 확인해야 한다. ';' expected 세미콜론';'이 필요한 곳에 없다는 뜻이다. 자바의 모든 문장의 끝에는 ';'을 붙여주어야 하는데 가끔 이를 잊고 실수하기 쉽다. Exception in thread "main" java.lang.NosuchMethodError : main 'main 메서드를 찾을 수 없다.'는 뜻인데 실제로 클래스 내에 main 메서드가 존재하지 않거나 메서드의 선언부 'p..
Glad to help. In the following, I list each exception and the jar file which fixed it. (1) Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration Fixed by adding hadoop-common-2.2.0.jar (2) Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging..
1. HBase란? 빅데이터에 관심이 있는 사람들은 한번쯤 hadoop, hbase라는 단어를 들어봤을 겁니다. 저는 아마 이쪽으로 공부를 계속 해나아거 같고... 제가 공부한 내용을 하나하나 정리해볼 예정입니다!. 굵직 굵직 하게 HBase란 무엇인가 먼저 정리를 해보려고해요~ HBase는 용량이 큰 데이터에 대해서 온라인으로 처리해주는 빅데이터 처리를 이용할때 아주 좋은 도구?? 중에 하나입니다. 랜덤하게 액세스 하는것과 업데이트가 즉각적이며, 컬럼기반, 동적스키마 MapReduce Join, 확장 가능한 데이터 저장소이고, Hadoop 분산파일 시스템(HDFS) 상의 데이터 위에서 동작을 하게 됩니다. HBase에 어떻게 저장 되는지 한 번 확인을 해보겠습니다. 위에 그림 처럼 HBase는 되어 있..
4. 하둡 hdfs 명령어 정리 ================================================================================================= 하둡(Hadoop)의 파일시스템인 HDFS의 명령어를 모두 정리해 보려고 합니다. 하둡의 명령어는 다음과 같은 구조를 가지고 있습니다. hadoop fs -cmd cmd가 지정한 파일 명령어이고 는 각 명령에 따른 인자들을 나타냅니다. hadoop fs를 제외하면 일반적인 리눅스 명령어와 유사하다고 볼 수 있습니다. 그럼 정리해보도록 하겠습니다. (도서 "거침없이 배우는 하둡"의 부록을 참고했습니다.) =======================================================..
3. Hadoop 2.2 Installation `.' no such file or directory 하둡을 설치하고 하둡 명령어를 사용할때 다음과 같은 에러가 나올 수 있다. 다음과 같은 이유 때문이며 well, your problem regarding ls: '.': No such file or directory' is because there is not home dir on HDFS for your current user. Try hadoop fs -mkdir -p /user/[current login user] Then you will be able to hadoop fs -ls 위와 같이 실행을 하게 되면 정상적으로 실행이 될것이다.
2. Hadoop 관련 용어 정리 [JPS] - Java Virtual Machine Process Status Tool. 시스템에서 실행 중인 자바 프로세스를 출력합니다 [Jobtracker] - jobtracker는 사용자와 프레임워크간의 상호작용이 이루어지는 접점이다. - jobtracker는 map, reduce 작업들이 tasktracker들에 할당되는 것을 관리한다. - 작성될 TaskTracker와 종속 작업의 수를 결정하여 각 하위 작업을 TaskTracker에 할당한 후 각 TaskTracker가 상태를 보고하면 완료된 작업은 JobTracker로 돌아간다. [Tasktracker] - tasktracker는 jobtracker가 지시한 작업을 수행하고 map 과 reduce 단계 사이의..
1. 하둡(Hadoop) 설치 안녕하세요. 정말 오랜만에 포스팅을 하는거 같습니다. 요새 바쁜척좀 하느라 그랬구요. 오늘부터 시간될때마다 하둡에 관한 정보를 포스팅하겠습니다 ㅎㅎ. 저도 공부하는중이라 모르는부분이 너무나 많아요.. (이해부탁드려요) 아파치 하둡(Apache Hadoop, High-Availability Distributed Object-Oriented Platform)은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자유자바 소프트웨어 프레임워크이다. 원래 너치의 분산 처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이다. 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템(HDFS: Hadoop Di..
시퀀스 파일은 하둡에서 제공하는 압축 포맷을 이용해 압축된 바이너리 파일을 말하는데요. 맵리듀스에서 출력 포맷을 시퀀스파일로 설정하면, 맵리듀스 출력 데이터를 시퀀스 파일로 만들어 줍니다. 시퀀스 파일이 생성되면 index와 data라는 두개의 파일이 생성되는데, data에는 압축된 데이터 내용이 바이너리로 기록되고, index에는 data의 시퀀스 즉 인덱스 정보가 기록됩니다. 참고로 시퀀스 파일은 "./bin/hadoop fs -text 시퀀스파일폴더"를 하시면 디코딩한 내용을 볼 수 있고요.텍스트로 보관하는 것보다는 압축된해서 보관하는 게 용량이 작으니까 실무에서 활용하면 좋을 것이라 생각됩니다.