빅데이터 분석을 위한 하둡의 중요성이 점차 커지는 가운데, 하둡 배포판으로 어떤 것을 활용해야 하는지에 대해 선택이 중요해지고 있다.
김병곤 클라우다인 대표는 한양대 오픈소스SW사업단의 하둡 재직자 지원과정에서 하둡 배포판과 배포판별 특징에 대해 소개했다. 김병곤 대표는 “현재 하둡 배포판은 아파치 배포판, 호튼웍스, 클라우드데라, 맵알(MAPR) 등 4개로 구성돼 있다”면서 “운영진의 생각과 여러 기업 상황에 따라 적절하게 선택해야 한다”고 말했다.
배포판별 특징을 보면 클라우데라 CDH는 관리시스템이 우월하다는 점. 임팔라(Impala) , 스파크(Spark) 등을 전략적으로 포함했으며, 관리가 중요하다고 하면 클라우데라 CDH를 사용하는 것이 권장된다. 또한 가장 오픈소스처럼 사용하는 것을 중요하게 생각한다면 선택해야 할 배포판은 호튼웍스 HDP다. 가장 오픈소스다운 배포판으로 인정받고 있으며, 버전업이 빠른 것이 장점이다. 단순하게 커스터마이징해서 사용하고자 한다면 아파치 하둡이 적당하다. 또한 파일시스템의 성능이 중요한 선택 조건이라고 하면 맵알(MAPR)을 사용하는 것이 좋다.
레퍼런스를 보고 선택을 해야 한다면 피보탈HD를 쓰는 것이 좋다. 피보탈HD는 EMC 어플라이언스 기반으로 국내 딜리버리가 이루어져있다. 하둡 배포판 중에는 국내 가장 큰 레퍼런스를 다수 보유하고 있다. 삼성반도체, 삼성SDI, 삼성디스플레이, 삼성전자 MSC 등이 바로 주요 구축 사이트다.
김병곤 클라우다인 대표는 “하둡 배포판을 갖다 쓰는 것은 모두 무료”라면서 “그러나 파는 것은 조금 다를 수 있다”고 말했다.
한편 김병곤 대표는 이번 강연에서 호튼웍스의 데이터 플랫폼과 클라우데라 CDH의 주요 장점 및 특징에 대해 상세히 소개했다.
* 조직 및 환경에 따라 배포판 선택이 중요
아파치 하둡(Hadoop)
클라우데라(Cloudera)
호튼네트웍스(Hortonworks)
피보탈(Pivotal)
맵알(MAPR) 등
