“빅데이터 프로젝트를 하는 분들이 대부분이 진단분석을 안한다. 개별 데이터 집계 내고 통계 내는 것까지는 하는데 거기까지만 한다. 거기에서 나타나는 연속적인 변화가 무엇인지를 알아야 하며, 그 변화 값이 패턴이다. 이 패턴을 찾는 진단분석을 잘 해야 빅데이터 분석이 효율적으로 진행된다.”이현종 빅스터 대표는 한양대 오픈소스SW사업단, 서울산업진흥원이 주최한 빅데이터 재직자 교육에서 데이터 분석 4단계에 대해 설명했다. 이 대표는 “빅데이터 하는 분들이 패턴 찾는 것을 못하고 있다”면서 “패턴을 못 찾으니 모델이 안 나오고, 모델이 안 나오니 시스템을 못 만드는 것”이라고 덧붙였다.이현종 대표는 “빅데이터의 가장 큰 축은 패턴”이라면서 “하둡 등 툴을 잘 이용하기 위해서는 데이터가 갖고 있는 패턴을 찾아내려는 노력이 있어야 한다”고 강조했다. 그는 연속된 것에는 패턴이 반드시 존재한다면서 이러한 일정한 규칙을 찾는 노력들이 분석가가 해야 할 일이라고 소개했다.이 대표가 말한 데이터 분석 4단계는 현황분석, 진단분석, 예측분석, 최적화분석 등이다. 첫 번째인 현황분석은 개별 데이터를 분석하는 것이다. 이 데이터가 인식이 되면 시간적으로 혹은 관계적으로 연속선상으로 펼쳐놓게 된다. 그러면서 패턴을 찾게 되는데, 패턴을 찾는 분석이 2단계인 진단분석이다.이 진단분석을 하게 되면 패턴이 도출되고 일반화된 공식으로 만들어내는데 이것이 모델링이다. 모델링이 된 규칙이 정해지면 새로운 데이터를 입력하게 되면 공식에 의한 예측된 값이 나오게 되는데 세 번째 분석단계인 예측분석이 여기에 해당된다. 예측분석 결과가 나온 뒤 어떻게 행동을 하느냐가 마지막 단계인 최적화 분석이다.이현종 대표는 “현황분석만 하고 패턴만 찾는 것까지만 분석을 하는 경우가 많다”면서 “데이터 분석을 해놓으면 그 다음 어떻게 해야 할지를 알아야 하는데, 새로운 미래를 미리 알게끔 하자는 것이 빅데이터”라고 소개했다. 즉 빅데이터의 핵심은 예측 분석이다. 예측을 한번만 하는 것이 아니라 지속적으로 자동적으로 해야 하는데 그것이 바로 머신러닝이다.
2017/01/19 오후 1:40:52
