김은희 l 한국오라클 컨설턴트
빅데이터의 뉴 패러다임 ‘데이터 메시’

최근에 빅데이터 관리에서 새로운 패러다임으로 부상하고 있는 것이 ‘데이터 메시(Data Mesh)’다. 데이터 메시는 2020년 봄에 등장해서 차세대 데이터통합 플랫폼으로 정의하는 개념이다. 최근의 데이터는 멀티 클라우드와 온프렘의 다양한 시스템에 분산돼 있는 환경인데, 기존의 데이터 외에도 실시간 데이터까지 바로 처리해서 빅데이터의 분석과 활용을 해야 할 때 ‘데이터 메시’에서 상호연결과 분산처리가 가능해야 한다는 것이다.

빅데이터 시대에 상품과 서비스를 만들 때 단순히 자본과 노동력만 투자해서는 성공할 수 없다는 것이 ‘데이터 캐피털(Data Capital)’이다. 데이터는 단순히 원유(자연자원)처럼 발굴해서 사용하는 것을 넘어서 자본처럼 꼭 투자해야 하는 요소가 됐는데, 그렇다면 이때 빅데이터를 어떻게 관리하고 사용해야 할 것인가가 중요하다. 즉 기존의 방식만으로는 안 된다는 것이다. 이런 배경에서 데이터 통합에 대한 많은 글이 ‘데이터 패브릭’ ‘스트림 프로세싱’ ‘데이터 메시’라는 용어를 포함해서 나아갈 방향을 보여줬다.

‘데이터 메시’는 2016년 가트너의 보고서 ‘데이터 관리 혁신과 데이터 메시 네트워크와의 통합’에서 처음 등장했는데, 2000년대 포레스트의 애널리스트 노엘 유하나(Noel Yuhanna)가 빅데이터 분석 프로젝트를 할 때 데이터 처리의 애로점을 해결하기 위해서 ‘데이터 메시’가 중요하다고 한 이후에 2019년 Thoughtworks 컨설턴트 자막 데가니(Zhamak Dehghani)가 ‘모놀리식 데이터 레이크를 넘어서 분산된 데이터 메시로의 전환’이라는 보고서에서 다시 사용하면서 널리 퍼지게 됐다.

‘데이터 메시’는 ‘메시’가 코를 떠서 매듭(node)을 만들면서 망이 되듯이 데이터를 각 노드(node)에서 처리할 수 있도록 하는 분산된 아키텍처를 말한다. 예전처럼 중앙 집중화 전략을 사용해서 데이터를 데이터 레이크, DW(데이터 웨어하우스), DM(데이터 마트) 등에 우선 저장한 후에 접속해서 사용할 수 있는 것이 아니라 중앙저장하지 않아도 어느 원천 위치에 있는 데이터라도 접속해서 처리하고, 분석할 수 있는 환경을 만드는 것이다. 예를 들면 에지 로케이션에서 실시간 ioT 데이터를 처리해서 모니터링하는 모델을 돌릴 경우, 날씨에 맞춰 점포별 배송물량을 결정할 때 실시간으로 날씨 데이터를 추가해 모델을 생성해야 할 경우 데이터 메시를 사용할 수 있다.

단순하게 개념적으로 설명하자면, 데이터 메시의 기본 단위인 노드(매듭)가 데이터(메타 데이터 포함), 프로세싱 인프라, 데이터 처리 코드 등으로 구성된 것이므로 데이터를 처리할 수 있는 기본 단위이고 현재 구성된 데이터리 플랫폼에 추가적으로 데이터 노드를 연결해 데이터 메시를 만들면 실시간, 스트리밍 데이터까지 처리해서 기다리지 않고 빅데이터 분석과 활용이 가능하다는 것이다.

단어대로 데이터 자체의 메시라기보다는 데이터 서비스의 메시라고 하겠다. 이와 비교되는 단어인 ‘데이터 패브릭’은 데이터 저장소, DW, DM, 데이터 레이크 등 이질적인 환경에서 중앙집중적 데이터의 통합단일 관리를 위해서 관리할 수 있는 가상화된 층을 의미한다. 이제 데이터 관리는 중앙집중적인 모놀리식(monolithic)만으로는 부족하며 분산된 데이터 처리 환경인 메시를 통할 때 빅데이터 분석의 애로점이 해결될 실마리를 찾을 수 있게 됐다.


이 기사는 패션비즈 2022년 1월호에 게재된 내용입니다.
패션비즈를 정기구독 하시면
매월 다양한 패션비즈니스 현장 정보와, 패션비즈의 지난 과월호를 PDF파일로 다운로드받아 열람하실 수 있습니다.

■ 패션비즈 정기구독 Mobile버전 보기
■ 패션비즈 정기구독 PC버전 보기