안단테 안단테

11. HBase 소개 - 4 - 아파치 주키퍼 주키퍼는 디렉토리와 파일에 대한 팡리 시스템과 비슷한 접근 방식 제공(파일 해당 요소 znode) 분산 시스템에서 소유권을 협상하거나, 서비스를 등록하거나, 갱신 상황을 고나찰하는데 사용 모든 리전서버는 주키퍼에 자신의 임시노드 생성 마스터에서 가용한 서버를 차례로 가려내는데 사용 임시 노드는 서버 고장이나 망 분할을 감지하는 데에도 사용 임시노드는 주키퍼와 그 임시노드를 생성한 클라이언트 사이의 세션에 의존 세션에 고장이 보고되면 주키퍼에서 죽은 것으로 선언하고 이와 연관된 임시 노드 삭제 HBase는 마스터가 단 한대만 실행되도록 함 리전 검색을 위한 부트스트랩 위치를 저장하는 리전 서버의 등록 Zookeeper 없으면 HBase 사용 안됨 HBase는..

10. HBase 소개 - 3 로우키로는 어떤 바이트 배열이든 사용할 수 있으며, 반드시 사람이 읽을 수 있어야 할 필요는 없다. - 컬럼패밀리 데이터를 의미적, 주제별로 분류 그룹화된 데이터에 압축이나 메모리 상주 같은 특정 기능을 적용 컬럼패밀리 안의 모든 컬럼은 HFile이라는 하나의 저수준 저장 파일에 함께 저장 컬럼은 '패밀리:퀄리파이어' 형태로 표현 컬럼패밀리는 수가 제한되지만 컬럼의 수는 제한이 없다 모든 로우와 컬럼은 테이블 상황정보 내에서 정의되는데 테이블에 포함되는 모든 컬럼패밀리에 대해 몇 가지 개념이 추가된다 모든 컬럼값, 즉 cell은 타임스탬프를 가짐 SortedMap 테이블 컬럼패밀리 리스트 - 웹테이블 인터넷을 크롤링하는 도중 수집되는 웹페이지들을 저장 RowKey는 URL을..

9. HBase 소개 - 2 1.3 비관계형 데이터베이스 시스템. Not-only SQL인가 NoSQL인가? NoSQL 데이터 저장소에 SQL과 비슷한 쿼리를 제공하는 도구들이 존재하며, 이를 이용하여 관계형 DB에서 사용하던 복잡한 쿼리를 만들 수 있음 RDBMS와 NoSQL의 실질적인 차이는 스키마가 고정되어 있지 않아서 애플리케이션과 보조를 맞추어 저장 구조를 발달시킬수 있음 - 일관성모델 DB에서 수행되는 모든 연산은 하나의 일관된 상태를 지니고 다음 연산에 전달되야 한다는 개념 1. 엄밀한 일관성 : 데이터에 가해지는 변경 사항은 원자성을 가지며 즉시 반영되는 것처럼 표시 2. 순차적 일관성 : 모든 클라이언트가 모든 변경 사항을 적용한 순서대로 동일하게 바라봄 3. 인과적 일관성 : 인과적으로..

8. HBase 소개 - 1 1.1 빅데이터의 여명 하둡같은 시스템은 이제 기업들이 페타바이트급의 데이터를 수집하고 보유할 수 있게 해주었고, 지금보다 훨씬 더 많은 데이터를 수집해야 할 필요성은 새로운 기계학습 알고리즘의 발달과 함께 점차 증가하는 추세 이제는 기업에서 생산되는 모든 의미있는 데이터를 저장하고 분석할 필요성이 점점 증가 예쩐에는 수집된 데이터를 보유하려면 데이터의 일부를 잘라내는 수밖에 없었다. 구글 - 범용하드웨어 기반에서 확장성 있는 저장소 및 처리 시스템을 구축(HDFS, 맵리듀스) hadoop - 임의적, 반구조적, 구조가 없는 데이터도 저장 - 사용자가 데이터를 분석하는 시간에 그 데이터를 어떻게 해석 할지 스스로 결정 - 데이터를 분류하는 방식을 언제든지 변경가능 - 데이터를..

ERROR zookeeper.RecoverableZooKeeper: ZooKeeper exists failed after 3 retries 15/04/10 23:26:24 WARN zookeeper.ZKUtil: hconnection Unable to set watcher on znode /hbase/master org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/master 이런 에러 뜨게 되면 아래 처럼 바구러ㅏ Hi, J-D, I just made summary about the experiences to set up a pseudo-distributed mode..

보통 작은따옴표(') 로 하는데 큰따옴표(")로 하면 될 때가 있다

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.collect.MapMaker.keyEquivalence(Lcom/google/common/base/Equivalence;)Lcom/google/common/collect/MapMaker; at com.google.common.collect.Interners$WeakInterner.(Interners.java:68) at com.google.common.collect.Interners$WeakInterner.(Interners.java:66) at com.google.common.collect.Interners.newWeakInterner(Interners.java:63) ..

cannot find symbol 또는 cannot resolve symbol 지정된 변수나 메서드를 찾을 수 없다는 뜻으로 선언되지 않은 변수나 메서드를 사용하거나, 변수 또는 메서드의 이름을 잘못 사용한 경우에 발생한다. 자바에서는 대소문자 구분을 하기 때문에 철자 뿐 아니라 대소문자의 일치여부도 꼼꼼하게 확인해야 한다. ';' expected 세미콜론';'이 필요한 곳에 없다는 뜻이다. 자바의 모든 문장의 끝에는 ';'을 붙여주어야 하는데 가끔 이를 잊고 실수하기 쉽다. Exception in thread "main" java.lang.NosuchMethodError : main 'main 메서드를 찾을 수 없다.'는 뜻인데 실제로 클래스 내에 main 메서드가 존재하지 않거나 메서드의 선언부 'p..

Glad to help. In the following, I list each exception and the jar file which fixed it. (1) Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration Fixed by adding hadoop-common-2.2.0.jar (2) Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging..

1. HBase란? 빅데이터에 관심이 있는 사람들은 한번쯤 hadoop, hbase라는 단어를 들어봤을 겁니다. 저는 아마 이쪽으로 공부를 계속 해나아거 같고... 제가 공부한 내용을 하나하나 정리해볼 예정입니다!. 굵직 굵직 하게 HBase란 무엇인가 먼저 정리를 해보려고해요~ HBase는 용량이 큰 데이터에 대해서 온라인으로 처리해주는 빅데이터 처리를 이용할때 아주 좋은 도구?? 중에 하나입니다. 랜덤하게 액세스 하는것과 업데이트가 즉각적이며, 컬럼기반, 동적스키마 MapReduce Join, 확장 가능한 데이터 저장소이고, Hadoop 분산파일 시스템(HDFS) 상의 데이터 위에서 동작을 하게 됩니다. HBase에 어떻게 저장 되는지 한 번 확인을 해보겠습니다. 위에 그림 처럼 HBase는 되어 있..