빅데이터 머신러닝 활용 사례 - bigdeiteo meosinleoning hwal-yong salye

빅데이터와 인공지능(AI)에 대한 기업의 관심사가 더욱 커지는 가운데 오는 9월 9일에는 서울에서 국내 언론사가 주최하는 ‘2021 AI & Big Data Smart Convergence’ 무료 온라인 콘퍼런스가 열릴 예정이다.

4차 산업혁명의 핵심인 인공지능과 그 연료가 되는 빅데이터의 절묘한 조합은 그동안 알고리즘이 해결하지 못한 문제들을 척척 해결하면서 기업들의 인기를 얻고 있다.

무한한 바다와 같은 빅데이터 저장소 안에서 인공지능은 마치 보물을 찾는 탐험자처럼 가치있는 패턴을 찾아내기 위해 나날이 진화하고 있다.

데이터베이스 전문 IT 어드바이저 ‘클리프 스탠턴(Cliff Stantan)’은 지난 19일 전 세계 AI 기술 뉴스를 전달하는 아이토리티(AiThority)에 “인공지능이 데이터 캡처를 혁신하는 방법”이란 제목의 칼럼을 썼다.

이 칼럼에서 스탠턴은 빅데이터의 유일한 문제점이 크기라고 지적했다. 즉, 여력이 있는 기업들은 빅데이터를 통해 정확한 예측을 할 수 있지만, 중견기업들은 앞에 놓인 수많은 데이터에 어떻게 해야 할 지 자주 당황한다는 것이다.

하지만 이 문제를 해결한 것이 바로 인공지능(AI)이며, 빅데이터 캡처의 새로운 가능성을 열면서, 방대한 데이터셋의 수집, 처리, 분석을 자동화할 수 있는 시대가 열리고 있다고 그는 설명했다.

스탠턴에 따르면, AI가 빅데이터 분석에 혁명을 일으키고 있는 4가지 방법은 다음과 같다.

우선, 복잡한 데이터 캡처 속도를 향상시킬 수 있다. 지능형 데이터 캡처(IDC)에 AI를 사용하면, 지루하고 시간이 많이 소요되는 수동 데이터 입력없이 다양한 이질적인 소스로부터 데이터를 가져와 분석에 필요한 형식으로 변환할 수 있다.

수동 데이터 입력이 사라지면서, 더 많은 데이터 소스를 마이닝하는 동시에 직원을 수익 창출 작업에 투입하고, 수동 오류 위험을 줄일 수 있다는 설명이다.

다음으로, 데이터 품질이 향상된다. AI 데이터 추출은 수동 데이터 입력 오류의 위험을 줄일 뿐만 아니라 데이터 유효성 검사를 수행해 데이터의 품질을 더욱 높이고 다른 소스 또는 여러 유사한 데이터 세트와 비교할 수 있는 것이다.

또 데이터 컨텍스트를 추가시킬 수 있다. 제공되는 비즈니스 데이터셋이 많을수록 통찰력이 높아지며, AI 데이터 캡처는 상황별 정보를 보존해 데이터 중심 통찰력의 범위를 넓히고, 더 많은 활용 사례와 관련시킨다.

마지막으로, 데이터 분석을 간소화시킬 수 있다. AI와 머신러닝(ML)이 등장하기 전에는 데이터와 분석이 별개였지만 증강 분석이라고 불리는 AI 분석 도구가 이를 통합해 모든 것을 변화시켰다고 스탠턴은 설명했다.

AI, 빅 데이터의 모든 요소와 호환 가능

인포비전(InfoVision)의 혁신 책임자(CTIO) ‘치트레이 마니(Chithrai Mani)’는 지난해 10월 20일 포브스에 쓴 빅데이터 분석과 관련한 글에서 “빅데이터가 기업들의 성공의 배경이란 점은 더 이상 비밀이 아니지만 갈수록 빅데이터를 효율적으로 사용하는 것이 어려운 과제가 되고 있다”라고 주장했다.

그러나 그 해결책 역시 인공지능이라고 그는 강조했다. 즉, 데이터는 머신러닝 시스템에 호재이며, 더 많은 데이터를 받을수록 머신러닝은 더 잘 배우기 때문에 기업들은 빅데이터 분석에 머신러닝 채택 가능성을 극대화하고 있다는 것이다.

치트레이에 따르면, 빅데이터 분석은 추세와 패턴을 파악해 데이터를 이해할 수 있는데 머신러닝은 의사결정 알고리즘을 통해 이 프로세스를 가속할 수 있다. 입력되는 데이터를 분류, 패턴을 인식하며, 데이터를 유용한 통찰력으로 변환할 수 있는 것이 바로 머신러닝이란 설명이다.

머신러닝 알고리즘의 장점은 또 있다. 데이터 레이블 지정 및 세분화, 데이터 분석 및 시나리오 시뮬레이션을 비롯한 빅데이터 운영의 모든 요소에 구현할 수 있기 때문이다.

치트레이는 다음의 몇 가지 사례를 들어 그 둘의 관계를 설명했다.

시장 조사와 고객은 모든 사업의 초석으로 기업은 잠재 고객의 마음 속에 파고들어 통찰력 있는 데이터를 제공할 수 있는 시장 조사를 수행해야 한다. 이에 머신러닝은 지도 및 비지도 알고리즘을 사용해 소비자 패턴과 행동을 정확하게 해석, 이런 기업의 비즈니스 업무를 돕는다.

머신러닝은 고객들의 행동을 탐구하고, 그들의 탄탄한 프레임워크(기본 개념 구조)를 만들 수 있다. 사용자 모델링으로 알려진 이 머신러닝 시스템은 빅데이터에서 중요 정보를 채굴해 비즈니스 기업이 현명한 결정을 내리도록 지원한다.

빅데이터와 머신러닝은 컨텍스트를 사용자 행동 예측과 결합해 온라인 활동을 기반으로 사용자 환경에 영향을 준다. 이를 통해, 고객이 흥미를 느끼는 올바른 제안을 할 수 있다. 일례로, 넷플릭스는 머신러닝 기반의 추천 시스템을 활용해 시청자에게 올바른 콘텐츠를 제안한다.

또 머신러닝 알고리즘은 빅데이터를 사용해 미래 트렌드를 학습하고, 이를 예측해 기업에 전달한다. 머신러닝 네트워크는 상호 연결된 컴퓨터의 도움으로 매일 매일 학습해 분석 능력을 향상시킬 수 있다.

머신러닝은 시계열 분석 기술을 사용하는데 이는 미래에 관한 결정을 쉽게 내리도록 돕는다. 특히 소매업체는 이 머신러닝 강화 방법을 사용해 매우 정확하게 미래를 예측해낸다.

마지막으로, 머신러닝은 데이터를 해독하는 데 매우 효율적이다. 예를 들면, 의료 및 의약품과 같은 부문은 많은 데이터를 처리해야 하는데 머신러닝의 경우, 초기 단계에서 환자들의 질병을 식별하기 위한 데이터 분석에 효율적인 것으로 알려져 있다.

빅 데이터와 AI를 활용하는 글로벌 브랜드들

B2B 전자 상거래가 일반화된 오늘날 기업이 온라인 구매 과정에서 겪는 고충은 한둘이 아니다. 의류를 예로 들 때, 신뢰성 여부가 불명확한 상품, 브랜드마다 다른 사이즈, 체형과 다른 제품, 빠른 패션 트렌드로 인한 구매 감소 등 수없이 많은 돌발 상황이 발생한다.

그러나 글로벌 브랜드 기업들은 일찍부터 빅 데이터와 인공지능을 활용해 다변화하는 고객 트렌드에 맞춘 경영을 하고 있다.

전 세계 수많은 과학자의 연결 고리인 콜랩트리(Kolabtree) 블로그에 지난 2018년 6월 11일 AI/빅 데이터 저술가 ‘네이던 사이크스(Nathan Sykes)’는 스타벅스, 버버리 등 글로벌 브랜드 기업들이 빅데이터와 AI를 활용해 실적을 높이고, 매출을 증대한 혁신적인 방법들 소개했다.

다음은 네이던이 전하는 빅데이터와 AI를 활용해 매출을 높이고, 맞춤형 경험을 전달하는 몇 가지 실제 사례다.

스타벅스는 고객이 카운터에 도착하기도 전에 모바일 앱과 빅데이터를 사용해 바리스타에게 선호하는 주문을 표시해 준다. 특히, 가장 바쁜 시간대에 주문과 서비스 시간을 단축시켜준다.

스타벅스 리워드 프로그램과 모바일 앱의 회원들은 음료 주문과 더불어 앞으로의 주문도 요청한다. 이와 동시에 이 고객 습관과 구매 선호도에 대한 많은 정보가 수집돼 빅데이터에 저장된다.

스타벅스는 이 정보를 사용해 더욱 적절한 마케팅 캠페인과 프로모션을 구축하고 신규 매장 또는 잠재적 사업 위치를 결정하며, 심지어 향후 메뉴 업데이트도 결정할 수 있다.

영국의 유명 패션 브랜드 버버리도 빅데이터와 AI를 활용해 실적과 매출, 고객 만족도를 높이는 기업으로 유명하다. 버버리의 고객들은 모바일 앱을 통해 충성도와 보상 프로그램을 이용한다.

버버리 직원과 영업 보조원들은 특정 고객에 대한 구매 제안 및 추가 정보를 제공하는 회사 소유 태블릿에 액세스할 수 있다. 이들은 고객의 구매 내역, 선호도 및 소셜 미디어 활동까지 볼 수 있다. 고객은 이 데이터를 사용해 보다 개인화된 경험을 제공받을 수 있다.

패스트푸드 전문점 맥도날드의 최신 업데이트된 모바일 앱을 통해 고객은 거의 전적으로 모바일로 주문하고 결제할 수 있다. 더 즐거운 경험을 위해 그들은 독점 거래도 이용한다. 편의에 대한 대가로 맥도날드는 청중들에 대한 필수적인 정보를 수집한다.

고객이 어떤 음식과 서비스를 주문하는지, 얼마나 자주 또는 심지어 드라이브스루에 방문하는지, 아니면 안으로 들어가는지도 알 수 있다. 이렇게 수집된 빅데이터를 통해 보다 타깃화된 프로모션과 제안을 할 수 있다.

AI 챗봇은 최고의 빅 데이터 수집기

최근 들어 많은 기업들이 빅데이터를 이용해 고객 서비스 및 마케팅 전략을 개선하고, 투자수익률(ROI)을 높이고 있다. 과거에는 이러한 정보를 수집하기 위해 이메일 마케팅과 다양한 소셜 미디어 플랫폼에만 의존했다. 그러나 챗봇의 발명은 데이터 수집의 혁신을 가져왔다.

지난 2019년 8월 13일 마크 테드슨(Mark Tedson)은 ‘유어스토리 미디어(YourStory Media)’에 기업이 빅데이터와 챗봇을 사용해 차별화하는 전략을 소개했다.

마크에 따르면, 빅데이터 수집은 볼륨, 속도 및 다양성 등의 세 가지 요소를 기반으로 한다. 이를 충족시킬 수 있는 것이 바로 챗봇이라고 마크는 주장했다.

24시간, 365일동안 일할 수 있는 챗봇은 다양한 방법으로 빅데이터 수집을 가속하고, 쉽게 해주기 때문이다.

마크는 “시리, 알렉사, 구글 미니 등과 같은 챗봇들이 모바일 앱과 마찬가지로 고객 경험을 높이기 위해 기업들 사이에서 인기를 끌고 있다”고 밝혔다.

마크의 설명에 의하면, AI로 작동하는 챗봇은 필요할 때마다 사용자의 질의에 응답하고, 도움말과 정보를 제공하는 최고의 AI 에이전트다. 한 번에 여러 개의 쿼리(질의)를 처리할 수 있으므로 직원들의 시간과 노력을 절약해준다.

따라서 챗봇은 최고의 빅데이터 수집기라고 그는 주장했다. 챗봇은 자료를 수집한 후, 이를 분석해 더 나은 서비스를 제공하고, 고객 경험을 향상시킨다는 것이다.

챗봇은 감성 분석을 통해 사람의 감정반응을 문자메시지를 통해 파악할 수 있다. 이러한 챗봇 데이터는 이용자의 정서를 파악하는 데 활용되며, 서비스 개선으로 이어지는 정보를 제공한다. 이 모든 것은 빅데이터와 챗봇의 협업을 통해 가능하다고 마크는 설명했다.

고객과의 대화에서 챗봇의 기능은 두 가지다. 하나는 대화 캐쳐 역할이며, 또 하나는 회사가 모든 상호작용을 기록하는 데에도 도움을 주는 것이다. 자연어 처리를 이용하면 고객이 원하는 것에 대한 통찰력을 얻을 수 있는 실제 데이터 저장소를 만들 수 있다고 마크는 주장했다.

또 챗봇을 통해 검색된 데이터는 전용 비즈니스 인텔리전스 툴을 만드는 데 도움이 된다. 대부분의 챗봇은 패턴 인식을 사용해 텍스트를 분류하고, 고객에게 적합한 응답을 제공하기 때문이다.

결론적으로, 마크는 “데이터는 실행가능한 통찰력으로 변환되지 않으면, 아무 소용이 없다”고 강조했다. 이에 대해 챗봇은 고객 데이터 및 예측 분석의 도움으로 고객 경험을 높일 수 있는 맞춤형 응답을 제공해 고객에 대한 통찰력을 높이는 데 도움을 준다고 마크는 답했다.

AI타임스 조행만 객원 기자  

[관련 기사]"의료 데이터 개방, 계속 지연되면 의료 AI 기업 영속 어렵다"

[관련 기사]한국·싱가포르·영국 손잡고 의료 AI 사용 가이드 개발...KAIST가 주도