Hbase Region Merge

하둡을 운영하고 모니터링 하면서 데이터 양이 증가함에 따라 Hbase Region들이 늘어나고 있는 것을 발견했다.

CDH Manager에 접속하여 Hbase Region Server 설정 파일 쪽을 보면

 - hbase.hregion.max filesize 라는 설정이 있는데 이 부분 설명을 살펴보면 

(HStoreFile 의 최대 크기로, 열 패밀리 HstoreFile 중 하나라도 이 값을 초과하면 HRegion이 두개로 분할 됩니다.) 라고 나와있다. 

즉 테이블 사이즈가 저 사이즈를 초과하면 Region이 분할 되어 저장 된다는 것이다. 

* 이 값을 너무 크게 잡아도, 너무 작게 잡아도 문제인 터라 운영하면서 조정을 해야한다. 

현재 Region의 수가 지속적으로 증가하는 터라 (이전 데이터는 지워 졌음에도 Region 카운트 수가 줄어 들지가 않는다.) 이걸 Merge해줘야 할 것 같아 간단하게 메모를 남긴다.

먼저 RegionServer에 접속 후
> hbase shell
> merge_regions 'REGION ENCODENAME', 'REGION ENCODENAME'

여기서 REGION ENCODENAME은 hbase region server WEB UI에 가면 확인 가능하다.
WEB UI 에서 TABLE을 클릭하면 리젼들 분할된 정보를 볼 수 있고, 
Table Regions의 Name부분 <테이블명,StartKey,??,ENCODENAME> ENCODENAME을 확인하여 명령어를 실행한다.
* END Key -> StartKey 순서대로 머지 하도록 한다. 중간 것을 건너 뛰고 머지 할 시 에러가 발생

Merge양이 많아지면 많아질 수록 수동으로 merge하는데에 어려움이 생긴다. 이부분은 개발을 생각해봐야 할 듯 하다.