빅데이터는 방대한 양(Volume), 실시간 처리가 필요한 빠른 속도(Velocity), 텍스트 · 오디오 · 비디오 등의 다양한 데이터 형태(Variety)의 ‘3V’를 가진 데이터이다. 기존의 데이터베이스와 데이터 프로세싱 SW로는 처리할 수 없는 새로운 데이터를 뜻한다.

이런 복잡한 데이터가 왜 중요할까? 과거에는 상상할 수 없었던 새로운 사업 기회를 만들어 내고 이전에는 해결할 수 없었던 문제를 해결하는 데 빅데이터를 사용할 수 있기 때문이다. 글로벌 거대 IT기업이 빅데이터로 승자독식의 비즈니스 세계를 이끌어가는 것을 목도한 때문이기도 하다.

구글이 전 세계에서 매일 생성되는 웹페이지를 인덱싱해서 자사 내에 3~4배의 데이터로 쌓아놓고 연관 검색과 번역에서 탁월한 성능을 보일 때, 넷플릭스와 유튜브에서 내 취향의 비디오와 오디오를 파악해 제공할 때, 그리고 아마존에서 내가 앞으로 무엇을 살지 알고 미리 쿠폰을 보내줄 때 빅데이터의 위력을 느낄 수 있다. 오늘날 빅데이터가 ‘돈’이라거나 빅데이터는 ‘21세기의 원유’라고 하는 것이 바로 이런 현실에 기인한다.

최근에는 기술 혁신으로 데이터를 저장하고 처리하는 비용이 급격히 낮아지면서 일반 기업에서도 빅데이터를 관리하고 활용하는 것이 가능해졌다. 바로 ‘하둡(Hadoop)’이라고 하는 오픈소스(open source) 소프트웨어들로 구성된 빅데이터 플랫폼을 활용하면 된다.

빅데이터 플랫폼 : 빅데이터 기술을 잘 활용할 수 있도록 준비된 ‘환경’으로 하드웨어(Infra)와 여러 개의 소프트웨어로 구성되며 빅데이터 저장과 처리가 가능함.

플랫폼(환경) : 그 위에서 다른 작업(시각화, 분석, SW개발 등)을 할 수 있게 하는 기반. 하둡(Hadoop) : 좁은 의미로는 데이터 저장(HDFS, 하둡 파일시스템)과 데이터 프로세싱(MapReduce) 및 리소스(서버, VM)를 관리하는 영역.

하둡 에코시스템 : 다양한 소프트웨어를 포함해서 빅데이터를 처리할 수 있는 환경을 구성하는데, 대표적으로 Hbase(데이터베이스)와 Pig/Hive/Mahout(데이터베이스에 쿼리와 입력하는 언어들) 그리고 Zookeeper(서버에 데이터 업무 분산하는 분산처리, 분산환경 관리)으로 구성됨. 오픈소스이므로 무료.

그렇다면 빅데이터의 역사, 데이터는 어떻게 진화했을까. 빅데이터는 2000년대에 나타난 비교적 새로운 개념이지만, 대용량 데이터는 관계형 데이터베이스(RDBMS)가 처음 개발된 1960∼1970년대로 거슬러 올라간다.

2005년 무렵에는 페이스북을 비롯해 유튜브와 다양한 온라인 서비스를 통해 전 세계 사람의 데이터가 기하급수적으로 늘어났고 같은 해에 오픈소스인 하둡이 개발됐다. 이 시기에 DB 역사에서 중요한 NoSQL(1998년 개발)도 부각됐다. 최근에는 사람만이 엄청난 양의 데이터를 생성하는 것이 아니라 사물인터넷(IoT)이 도래하면서 센서와 장비도 데이터를 쏟아내고 있고, 머신러닝(기계학습)이 출현하면서 더 많은 데이터를 생성해 고객의 사용 패턴과 제품 성능에 대한 데이터를 수집하고 있다.

빅데이터는 10년이 넘었지만, 그 유용성은 이제 시작에 불과하다. 빅데이터의 목적은 결국 ‘분석’이다. ‘분석’이라는 기업의 목표가 우선이고 이때 빅데이터의 저장 표준인 ‘하둡’이 유용한 도구가 될 수 있을 것이다.

■ profile
•현 한국오라클 상무, 컨설턴트
•MIT 로지스틱스, SCM 공학석사
•FIT 패션바잉, 머천다이징 AAS
•서울대 의류학과 학사, 석사, 박사

이 기사는 패션비즈 2021년 11월호에 게재된 내용입니다.
패션비즈를 정기구독 하시면
매월 다양한 패션비즈니스 현장 정보와, 패션비즈의 지난 과월호를 PDF파일로 다운로드받아 열람하실 수 있습니다.

■ 패션비즈 정기구독 Mobile버전 보기
■ 패션비즈 정기구독 PC버전 보기