Big Data Predictions for 2013

Big Data Predictions for 2013

원문: http://java.dzone.com/articles/big-data-predictions-2013 

2013년에 빅데이타 분야에서 어떤 부분들을 주목해야 할지 잠깐 살펴 보도록 하겠습니다. 

Real-Time Hadoop

첫번째 소개할 내용은 ImpalaDrill 등,빅데이터 오픈소스 플랫폼을 리얼타임으로 사용 할 수 있도록 지원 하는 솔루션 입니다. 기존의 빅데이터 기술이 batch system 위주 였다면, 이제 앞에서 언급된 기술들을 바탕으로 기존 빅데이터 기술을 실시간 형태로 진화 할 수 있도록 지원합니다. 유의해야 할점은 앞서 말씀드린 실시간의 범위와 실제 활용할 때 발생하는 제약 사항은 확인 필요 하다고 판단됩니다. 자세한 내용은 구글을 통해 2010년에 오픈된 Dremel paper 를 통해 내용을 확인하실 수 있습니다. 참고로 Impala 블로그에 자세히 나와 있습니다.

Cloud-Based Big Data Solutions

두번째는 빅데이터 솔루션의 클라우드화 입니다. 온라인 마켓의 지존인 아마존은 EMR(Elastic Map Reduce)을 사용 중 입니다. 빅데이터 솔루션 역시 사용한 많큼 지불 한다는 것입니다. 기존 밴더들도 사용한 만큼 지불하는 라이선스 방식으로 전환 중이며, 2013년엔 많은 빅데이터 솔루션이 클라우드 화 되기를 기대해 봅니다.

Big Data Appliances

빅데이터를 플랫폼 구축시 고가의 장비를  활용할 수 있지만, 좀더 저렴한 비용으로 구축 될만한 희소식들이 몇가지 있습니다.  GPUs를 서버에 올려 Virtual OpenCL 과 같은 GPU 가상화 클러스터 솔루션으로 만들수 있습니다. 이러한 솔루션은 home-made 버전으로 이미 존재합니다. 또하나 기대 할 만한 것은 모바일에 사용되는 ARM 프로세서를 서버로 전향 하는 것입니다. Dell,HP등 이 이미 시도를 하고 있습니다. 마지막으로 Parallella는 16코어 수퍼 컴퓨터를 99달러에 제공할 수 있다고 합니다.   2013 supercomputer challenge 에 주목해야할 만한 내용이네요. 로드맵은 64부터 1000개까지 계획중이라고 합니다. 향후에는 저비용의 Parallel Clusters를 기대해 볼수 있겠내요. 하드웨어 제조 비용이 내려 갈수록 당연히 빅데이터 구축에 필요한 서버 장비의 단가를 낮추는 효과를 가져 올 것이며, 기능 역시 업그레이드 됨에 따라 빅데이터 분야의 발전역시 가속화 되리라 예상됩니다.

Distributed Machine Learning

추천시스템으로 유명한 마하웃은  Machine Learning 분야의 훌륭한 오픈소스 플랫폼 이지만 Batch 처리 위주의 Map Reduce가 최선의 선택인지는 의심해 볼 여지가 있습니다. 실제 Daisy에 적용중인 Mahout은 M/R사용시 비효율적인 부분들이 존재 합니다.이러한  부분을 개선한 분산 머신러닝 시스템인Jubatus가 있습니다. 가장 주목할만한 내용은 스트리밍 형태의 머신러닝 기능을 수용할수 있다는군요. 이를 활용하면 실시간 추천이 가능 할 것이라 예상됩니다. 빅데이터 분야가 점점 실시간쪽으로 전환되어 가고 있다는 느낌을 주는 내용입니다.

Easier Big Data Tools

마지막으로 오픈소스로 공개된 빅데이터 플랫폼은 무료라는 장점이 있지만 상용에 비해 사용자 인터페이스가 떨어진다는 단점이 있습니다. 빅데이터의 내용을 분석에 좀더 집중할수 있더록 드래그앤 드랍형태와 같은 기능들을 포함된  빅데이터 오픈 소스 플랫폼들이 나올것이라 예상 하고 있습니다.Radoop(RapidMiner + Mahout), TableauDatameer과 같은 이미 상용화된 툴을 오픈 소스로 만나볼 수 있도록 기대해 봅니다.

맺음말

짧지만 간략한 내용을 읽어보고 느낀점은, Big Data 분야는 정말 끈임없이 빠르게 진화 중 이라는 것 입니다.이제까지 빅 데이터 분야는 대용량 데이타의 분산 처리가 화두였다가 2013년을 기점으로 실시간 분야로 전환하지 않을까 조심스례 추측 해봅니다. 또한 클라우드화 역시 가속화 될 것으로 보입니다.  기술의 발전 방향은 시대가 요구하는 방향으로 점점 맞추어 가고 있으며, 기업들 역시 이러한 흐름을 거스를 수 없고, 그런 기업들에 속한 우리들 역시 기술이 선회하는 방향을 미리 파악하여 대처할 필요가 있다고 생각 됩니다.