[하루 10분 성장의 습관] 빅테스트 분석
2022.2.21 | 423호 | 구독 | 지난호
안녕하세요!
실리콘밸리에 나와있는

살면서 때로는 이런 망(상)상을 할 때가 있을 거에요. "아우! 내가 수능시험 문제를 미리 알았더라면" "로또 번호를 미리 알았더라면" "내일 구매자가 희망하는 단가를 미리 알았더라면" 등등등. 인생은 사실 무수히 많은 선택의 실타래로 연결돼 있는데요. 우리는 무엇이 정답인지 몰라 우왕좌왕 할 때가 많아요. 전 지금도 그래요. 그래서 그런지 좋아하는 영화 중에는 장르가 타임루프물인 것이 종종 있더라고요.


A를 선택할래, B를 선택할래. 잘못된 선택을 하면 다시 돌아가서 또 다른 선택을 해보는 그런 영화말이에요. 영화 어바웃 타임은 2013년 제작된 달달한 영화인데요. 모태솔로인 팀(도널 글리슨)은 아버지(빌 나이)로부터 시간을 되돌릴 수 있는 가문의 비밀이 있다는 말을 듣고 깜짝 놀라요. (우리 가문은...)
이미지 클릭하면 어바웃타임 트레일러

그러던 어느날 런던에서 연극배우 메리를 만나 한눈에 반해 버리고, 그녀를 설득(?)하기 위해 온몸을 다해 시간을 되돌리는 능력을 써버리죠. 한 장면만 소개한다면?

 

  • 🧑팀: (드디어 메리의 전화번호를 받았어! 야호 )
  • 👩메리: 엉엉.
  • 🧑팀: 근데 왜 우세요
  • 👩메리: 주연배우가 대사를 암기하지 못해, 완전 망쳤어요.
  • 🧑팀: 걱정마세요 제가 도와드릴게요. 잠시만요
  • (휘릭~ 후후 이제 됐겠지)
  • 🧑팀: 헉 근데 전화번호가 사라졌다!!! 깜빡하고 전화번호를 받기 이전으로 되돌아갔네.🥶

 

선택이란 것은 늘 개인에게 있어서나 기업에 있어서 매우 중요하죠. 결과를 알면 좋을 텐데 말이죠. 한데, 영화처럼 무수히 많은 선택의 실타래 중에서, 올바른 선택을 골라서 사는 방법이 전혀 없는 것은 아니에요. 마케터님들은 많이 아실 텐데요. 바로 그로스 해킹입니다. 오늘은 실리콘밸리 몇몇 빅테크들이 실행하고 있는 Three Big Way에 대해 조금 더 자세히 알려드릴까 합니다.

오늘의 에디션 

  1. 미라클 브리핑
  2. 아마존 일부러 사고낸 이유
  3. 큰성공 뒤엔 늘 빅테스트
  4. 넷플릭스가 제왕이된 까닭
  5. (집단지성 코너) 미모사
    👆클릭하면 현장소식으로!
    아마존 일부러 사고낸 이유
    A/B 테스트의 중요성
    A/B 테스트로 발전한 아마존 홈피

    오늘날 아마존을 키운 것은 8할이 테스트였어요. A/B테스트라는 것은 마케팅 기법 중 하나인데요. 일종의 대조 실험이에요. 통계학적으로는 표본 가설 검정의 한 형태고요. 음... 예를 들어 미라클 상사라는 회사에서 홈페이지 개편을 하고 있다고 한다면? 내부적으로 논쟁이 붙겠죠? “A가 좋아""B가 좋아"하고 말이죠. 전통적인 방식이라면 의견이 팽팽할 때는 사장이나 임원들이 '픽'을 하는데, A/B 테스트에선 고객들이 결정을 해요.

     

    "고객이 전부다"

    일부에게는 A홈페이지를, 또 다른 일부에게는 B홈페이지를 보여주고 페이지뷰가 더 많은 홈페이지를 선택하는 방식입니다. 이를 응용하면, 세 개 이상의 테스트를 할 수 있고, 요즘에는 A/B 테스트를 매번 할 수 있는 툴들도 많아졌어요. 마케팅 분야에서 근무한다면 다 아시는 내용일 텐데요.

     

    아마존을 창업한 제프 베이조스는 2010년대만 하더라도 A/B테스트를 회사의 주요 핵심 지표로 삼았어요. 당시 그는 매년 실적발표를 하면서 주주서한을 보냈는데요. 2011년에는 546회, 2012년에는 1092회, 2013년에는 1976회에 달한 A/B 테스트를 했다고 자랑을 했어요. 그만큼 수많은 A/B 테스트야말로 회사를 발전시킬 수 있는 원동력이라고 본 것이죠.


    기묘한 실험

    또 실제로 2000년에는 DVD 할인폭을 갖고 실험을 하다 소비자 분노를 불러일으키기도 했어요. DVD 타이틀 68개에 대해 딱 5일간 할인폭을 20~40% 달리해, 어떤 할인 가격에서 소비자들이 많이 사는지 확인을 한 것이죠. 물론 실험이 끝나고 높은 가격에 DVD를 구매한 소비자에게 일부 환분을 했습니다. 당시 아마존은 "돌이켜보면 ... 고객에게 불확실성과 복잡성을 야기한 실수였다"고 사과를 했지만, 의도된 것이었죠.

     

    한데 이런 고민을 할 수 있을 것 같아요. "작은 기업은 그렇다 쳐도, 큰 기업들은 A/B테스트를 하면서 A를 보여주고 B를 보여줄 때마다 서버를 멈추는 것 아니야 하고요." 

    "선택은 넘넘 어려워 (giphy)"

    오늘날은 클라우드를 넘어선 클라우드 네이티브 시대에요. 클라우드 네이티브는 애플리케이션(앱)을 커다란 하나의 개체로 다루는 것이 아니라, 레고 블록처럼 여러 개의 독립된 '컨테이너'로 만들어 조각화하는 방식인데요. 한쪽이 이상하다고 전체를 고치는 것이 아니라 망가진 '컨테이너'만 교체할 수 있어요.

    실시간 테스트

    클라우드 네이티브를 사용하는 대표적인 기업은? 메타(페이스북)입니다. 특정 서비스를 업데이트할 때 사용자 90%에는 예전 서비스를, 10%에는 신규 서비스를 선보이고, 만약 반응이 좋으면 단번에 90%에도 새 서비스를 제공하고 그렇지 않으면 감추고 있어요. 여러분이 모르는 사이 페이스북은 매번 실험을 하고 있는 것이죠.

    큰성공 뒤에는 늘 빅테스트
    스캇의 Three Big way
    스캇 브링커 이온테크놀러지 창업주

    오늘 집중적으로 전해 드리고 싶은 스토리는 사실 스캇 브링커가 말하는 세가지 큰 길이에요. 스캇님은 프로그래머인데요, 광고에 관심이 많아 이온테크놀러지라는 애드테크도 창업을 한 바 있어요. 스캇님은 하버드 콜럼비아대 MIT에서 학사 석사 박사를 전공할 정도로 스마트한 분이지만, 그를 유명하게 만든 것은 Chief Martech라는 블로그를 운영하면서 입니다.

     

    그의 명언중 가장 유명한 것은 "조직은 절대 기술적 발전을 따라가지 못한다"인데요. 이른바 마테크의 법칙이에요. 즉, 어떤 성공을 거두려면 조직 내부의 속도 싸움에서도 이겨야 한다는 논리! 해킹 마케팅을 비롯해 스캇님의 글들중 제가 읽고 느낀 점을 재구성 해볼게요.


    Big idea

     

    • 😀 안녕하세요! 빅아이디어 빅테스트 빅딜을 주장하셨는데... 자세히 설명해주실래요
    • 👨‍🦳 사실 혁신의 씨앗은 빅데이터가 아닌 빅아이디어에서 출발해요. 다만 이 작은 씨앗은 고객을 대대적으로 참여시킬 방법을 찾아내거나, 비즈니스에 대한 새로운 가설을 검증 할 때만 위대해져요. 스티브 잡스가 "다르게 생각해! (Think Different!)"라고 말했는데, 왜 그랬을까요?

    • 🥱 글세요...(왜 물어봐)
    • 👨‍🦳 빅아이디어로 빅테스트를 하라는 뜻이에요. 사실 홈페이지를 갖고 A/B테스트를 하는 것은 스몰 테스트에요. 빅 테스트는 이러한 A/B테스트를 전사적으로 하는 것을 말해요. 어렵죠? 쉽게 말해 고객이 선택할 수 있는 모든 아이디어를 다 동원해 차트를 그려놓고 최접점을 그려내는 것이에요. 수많은 AB 테스트를 통해 더 이상 좋은 결과를 도출하기 어려울 때까지 테스트를 계속하면서 나아가는 것을 말해요.

    • 🤔 근데, 그러다 실패하면요.
    • 👨‍🦳 빙고! 실패를 통해 교훈을 얻는 것이죠. 이런 과정에서 실패를 하면 최소한 하나는 얻죠 "아 이건 안 되는 방식이구나" 실패를 한다면 최소한 고객들이 이 서비스를 원치 않는 구나라는 사실을 알 수 있어요.

    • 😶 빅아이디어 꼭 필요한가요?
    • 👨‍🦳 큰 아이디어를 내는 것은 매우 매우 어려운 일이지만, 이를 통해 경쟁 우위를 찾을 수 있어요. 그래서 브레인 스토밍을 하면서 쓸데 없는 아이디어들을 쏟아내는 것이 필요해요. 누구나 아는 결과의 실험 보다는 전혀 가보지 않은 실험을 하는게 중요해요.
    빅테스트를 실행하는 방법

    Big test


    스캇님은 빅테스트를 위해서는 조직 전체가 빅텐트를 쳐야한다고 말했어요. 단순히 마케터만이 A/B테스트를 하는 것이 아니라 전 조직원이 참여해야한다는 것이죠. 왜 이런 짓을 하냐고요? 모든 직원들이 참여한다는 것은 조직이 "우리 조직은 혁신이 없어"라는 생각을 예방하는데 특효약! 때문에 더 큰 에너지를 위해서는 빅텐트가 필요하대요. 또 이러한 빅테스트는 브랜드에 직접적인 타격을 주는 가격과 같은 요소를 빼고는 동시 다발적으로 실험을 할 수 있어요. 만약 가격을 갖고 테스트를 한다면, 매우 매우 높은 수준에서 실험을 해야해요.

     

    다만 이런 빅테스트를 관리하고 교육하는 팀은 분명 있어야해요. 이들의 역할은 단순히 숫자를 취합하는 조직이 아니라 전체 직원들을 상대로 A/B 테스트에 대해 교육 하는 역할을 병행해요.


    Big deal


    정말 정말 중요한 것은 빅테스트에서 경영진의 절대적 지원이에요. 조직 전체를 실험하려고 하는데 있어서 경영진들이 리스크를 감수할 수 있어야해요. 특히 직원들이 실험을 하는 것을 매우 매우 당연하다고 생각을 해야해요. 심지어 이건 그냥 의무라고!! 정도?

     

    만약 이런 일이 벌어진다고 해도, 빅테스트의 원칙은 지켜야해요.

     

    • 🤓 어 김대리 내 경험상 이건, 안해야할 것 같아
    • 😤 테스트 해보셨나요?

     

    빅 테스트에 있어서 제일 중요한 것은 기획이 아니에요. 특정 상사가 결정을 내리는 문화는 곧 빅테스트에 큰 적이에요. 중요한 것은 고객의 의견이거든요.


    때문에 대표이사라고 할지라도, "자 이거 해와"라고 하면 안되고 "자 이건 내 생각인데, 한 번 테스트해 볼 수 있나"라고 해야해요. 심지어 스캇님은 근거 없는 명령에 대해서 "최고 급여를 받는 사람들의 일개 견해일 뿐"이라고 일축했어요.

     

    🔎 크게보기

    물론 모든 실험이 성공을 거두는 것은 아니에요. 100개중 딱 10개만 성공. 하지만 매년 1000개의 실험을 한다면, 최소 100개의 개선이 이뤄진다는 뜻. 다시 요약하면, 빅테스트를 위한 세가지 원칙이 있어요

     

    1. 빅아이디어 의지!
    2. 팀단위가 아닌 회사 전체에 걸쳐 테스트할 수 있는 빅텐트
    3. 빅딜을 만들어낼 수 있도록 테스트를 승락해줄 경영진
    넷플릭스가 제왕이 된 까닭
    "실험하고 실험하고 실험해라"
    넷플릭스의 A/B 플랫폼 ABlaze

    빅테스트를 가장 많이 하는 실리콘밸리 기업 중 하나로는 넷플릭스가 꼽혀요. 넷플릭스는 비단 마케팅뿐 아니라 자막이나 경영 전반에서도 A/B테스트를! 대표적인 예제를 하나 풀어볼게요.

     

    사실 콘텐츠 비즈니스가 어려운 것 중 하나는 90초내에 시선을 받지 못하면 독자들이 이탈하는 것인데요. 그래서 비쥬얼이 매우 중요! 넷플릭스 홈페이지에 들어가면 이미지, 제목, 영화등급, 시놉시스, 평점 등등 정보가 쏟아져요.


    넷플릭스는 독자들이 가장 먼저 보는 것을 이미지라는 사실을 경험적으로 판단! 그래서 테스트를 해보기로 결정했었어요. 우선 가설을 짜야합니다.

    넷플릭스 이미지 테스트 결과

    📜 가설1: 이미지를 바꾸면 독자들의 클릭수가 더 늘어날 것이다.

     

    그다음에 하는 것은 실험 대상을 실험군과 대조군으로 나누는 것이에요. 대상 영화는 "The Short Game" 이었어요. 음.. 내용은 평범! 초등학생들이 골프를 치면서 영감을 준다는 내용! 그래서 위 그림처럼 이미지를 총 3개를 동원했습니다. A/B/C를 테스트 해보니, B 이미지를 보여준 고객들이 클릭이 14% 더 많았어요.

     

    📊 결론1: 이미지에 매우 민감하다.

     

    하지만 여기서 끝낼 순 없죠. 그래서 블록버스트 영화와 그렇지 않은 영화를 포함해 보다 광범위한 실험을 진행했어요.

     

    📜 가설2: 독자별로 선호하는 이미지를 보여주면 스트리밍 시간이 늘어날 것이다.

    📊 결론2: 콘텐츠들의 조회수가 크게 늘었고, 총 스트리밍 시간 또한 증가 야호!

     

    하지만 빅테스트는 계속 이어집니다. 넷플릭스는 이미지를 계속 바꾸면 독자들이 계속 봐줄지, 뷰포트(아주 짧은 시간이라도 이미지를 클릭하고 멈춘 시간)까지 포함해서 결과값에 넣어야할지 등을 테스트 했어요.

     

    🔎 크게보기

    한데, 넷플릭스한테는 내부적으로 항상 이런 고민이 있어요. 중요한 것은 신규 고객 아니야? 받는 구독료는 많이 본 사람이나 적게 본 사람이나 똑같잖아. 차라리 이탈하려는 고객들이 원하는 프로그램을 더 편성하는게 A/B테스트 보다 좋지 않나?


    그래서 넷플릭스는 인터리빙 A/B테스트를 하고 있어요. 매번 실험군과 대조군을 바꾸면서 최적의 고객 목소리를 듣는 것이죠. 또 참여도가 낮은 고객과 그렇지 않은 고객간 균형을 맞추는 알고리즘도 가동!

    라클 두모여 생각하는 람들

    🌼 미모사는 "미라클 모두모여 생각하는 사람들"의 줄인말로, 미라클러님들이 참여해서 집단 지성을 발휘하는 코너입니다. 또 미모사는 봄을 알리는 꽃!

    미라클레터가 또 다른 도약을 위해 고민하는 것이 하나 있어요. 바로 열심히 응원해 주시는 분들을 위해 후원 모델을 도입해 보면 어떨까 하는 것인데요. 그러면서 저희 내부적으로 토론이 매우 활발한 상태에요. 후원자분께는 무엇인가를 드려야하는데, 무엇을 드리면 좋지? 하고요.

    • 👨‍🦰 시중에 없는 책을 써서 드리자
    • 👸 요즘은 디지털 시대잖아 그걸 누가봐. 디지털 책으로 드리자!
    • 🤴 요즘 책을 누가봐! 그거 말고 차라리 네트워크 파티에 초대를 하는게 어때?
    • 👼 손에 쥐는게 없잖아! 미라클레터 굿스는 어떨까?

    그래서 독자님들께 한번 직접 물어보자라는 소심한 결론! 문항이 얼마 안되니 꼭꼭 참여 부탁드릴게요! 

    성공의 방정식은 회사나 개인이나 동일한 것 같아요. 우리가 살면서 실수를 할 때가 많지만 그 실수가 꼭 실패는 아니라고 믿어요. 과거에 대해 후회를 하기 보다는 매순간 최선을 다하고, 그 결과에 대한 교훈을 얻어 미래를 향해 매순간 전진하는 것이 바로 삶의 빅테스트가 아닐까 합니다.

     

    미국 마케팅 업계에는 이런 속담이 있다고 해요. "신성한 소가 때로는 1등 햄버거를 만든다" (출처 해킹마케팅) 힌두교에서는 소를 먹는 것을 터부시하는데요. 우리 곳곳에 터부시 되는 것을 깨고, 새로운 아이디어로 빅테스트를 한다면 어쩌면 생각하지 못한 빅딜을 이뤄낼 수 있다는 메시지입니다.

     

    삶이 영화 어바웃타임 처럼 과거로 돌아갈 순 없겠지만 그래도 우리는 미래로는 갈수 있잖아요. 그래서 살아 볼만 한 게 인생 아닐까 합니다. 아직 우리는 그 곳을 향해 있는 힘을 다해 끝까지 달려 보진 않았으니까요. 그럼 또 인사드릴게요.

    진심을 다합니다
    이상덕 드림
    오늘 레터를 평가해주세요!
    Team MIRAKLE

    서울 중구 퇴계로 190 매경미디어센터
    매경미디어그룹
    miraklelab@mk.co.kr
    02-2000-2167