[디독] 🙌A/B 테스트 5단계로 바로 시작하기

#A/B Test #Usability #Data

✍️ A/B 테스트 5단계로 바로 시작하기

👀예지's 큐레이팅 멘트

UX 관련 글을 발행하는 UX booth에서 발행한 A/B 테스트에 대한 아티클입니다. A/B 테스트에 대해 전반적으로 알려주고 어떻게 해야할지 간단하게 훑어볼 수 있습니다. 디독에서도 뉴스레터 제목으로 A/B 테스트를 진행해보기도 했었는데요, 더 깊이 알고 싶다면, 원문 하단에 링크들을 통해 더 많은 가이드와 사례, 툴 등을 볼 수 있어요.

원문 바로 보기

📖 목차

A/B Test : 기본 정의
왜 A/B 테스트를 할까?
A/B 테스트 5 단계
추측하지 말자. 테스트하기!

+ 더 알고 싶다면

그 논의는 웹 사이트의 툴바에 맞는 가장 최상의 컬러에 관한 것이다. 디자인팀은 특정한 색조의 파란색을 좋아한 반면에 프로덕트 매니저는 더 초록빛 나는 컬러를 주장했다. 두 입장 모두 그렇게 선택한 확고한 의견을 가지고 있었다. 누가 결정할까? 그 선택은 옳았을까? 그게 정말로 논의할 만큼 중요한 문제였을까?

이런 결정들은 종종 협업, 권위 혹은 의견에 근거해서 결정된다. 위에서 이야기되는 논란들은 주로 구글과 같은 큰 기업들로부터 이야기된다. 그리고 이 이야기는 어떤 것을 유저들이 선호하는지 알기 위해서 41개의 다른 색조의 파란색 그라데이션으로 테스트했기 때문에 오래 지속할 수 있었다. 왜냐고? 사용성이나 사용자 경험 이상으로 중요하기 때문이다. 어찌 되었든, 클릭률을 높이는 디자인을 선택하는 것은 수익 흐름에 영향을 준다. 구글 같은 기업들은 의견이나 추측이 아닌 데이터를 활용해 올바른 방향을 결정하기 위해 A/B 테스트 같은 실험을 한다.

목표가 랜딩 페이지나 콜 투 액션 버튼을 개선하는 것이든 아니든 간에, A/B 테스트는 UX팀과 마케터들이 시간이 지나면서 점 점 달라지는 것을 볼 가장 좋은 방법이다. 잘 설계된 A/B 테스트는 팀이 두 버튼이나 두 폰트, 심지어 두 개의 마이크로사이트 중 하나를 결정할 때 유용하다.

A/B 테스트는 어떤 것이 더 맞을 가능성이 있는지를 알려주기보다, 어떤 것이 잘 맞지 않는지, 잘 맞는지 알려준다.

A/B 테스트는 더 나은 디자인에 대한 가능성 보다, 실제로 더 나은지, 아닌지를 알려준다.

요약하자면, A/B 테스트의 결과는 단순히 의견이 아니라 데이터를 활용하여 얻은 정보를 기반한 결정을 내리는 것으로 이어질 수 있다.

그래서 어떤 요소들이 우리가 A/B 테스트를 주저하게 하는 걸까?

정보를 기반으로 하는 실험을 막는 장애물은 복잡함에 대한 오해, 무수히 많은 숫자에 대한 두려움, 가능성을 테스트하는 것 자체를 이해하지 못하는 것 등이 있다. 이 아티클에서 나는 A/B 테스트를 이해하기 쉽게 설명해주고, 간단하게 테스트를 시작하는 기본 단계를 제공할 것이다.

1. A/B Test : 기본 정의

A/B 테스트는 실험이다. 분할 테스트라고도 부르며, 두 가지 버전 중 어떤 것이 더 적합한지 알아내기 위한 방법이다. 어떤 버전의 디자인 처리가 더 나은지 알아내기 위해서, 두 가지 버전을 동시에 만들어서 각 버전을 반반의 목표 피실험자의 보여주는 것이다. 그 실험으로 어느 것이 목표한 피실험자에게 더 적절했는지를 측정한다. 가장 많은 사용자가 원했던 반응을 보이거나, 높은 전환율을 보인 버전이 더 적절한 것이다.

A/B 테스트는 최소한 테스트할 항목의 최소한 두 개의 버전이 있어야 한다. : 버전 A와 버전 B. 예를 들어 모바일 앱에서 웹페이지나 단일 스크린 디자인을 테스트할 수 있다. 트래픽의 절반은 버전 A에 표시되고, 수정된 나머지 절반은 버전 B에 보인다. 이렇게 다른 버전들은 유저에게 랜덤으로 보여준다. 각 유저의 반응들은 통계나 테스팅 도구에 기록되어서 측정될 수 있다. 테스트가 완료되면, 통계적인 분석을 통해 결과를 평가할 수 있다. (당황하지 말길. 도움말을 이용할 수 있다) 실험은 변화가 긍정적이거나 부정적인 영향을 미쳤거나, 아무런 영향을 미치지 않을 수 있다.

Google 애널리틱스를 사용하여 측정한 A / B 테스트 예시

2. 왜 A/B 테스트를 할까?

새로운 디자인 아이디어를 보고 의심과 불확실함에 휩싸인 적이 있는가? 그게 제대로 작동할까?

그렇게 바꾸는 게 진짜 사이트를 더 좋게 혹은 나쁘게 만드는 것일까? A/B 테스트로 그런 추측을 없앨 수 있다. 궁금해하기보단, 팀에서 더이상 “우리가 생각한다"고 말하지 않고, “우리는 알고 있다"라고 말할 수 있게 될 것이다.

A/B 테스트를 통해 :

정보기반 결정을 한다.
새 디자인이 올바른 방향으로 가고 있다는 것을 확인한다.
다양한 접근 중에 시행할 버전을 결정한다.
특정 UI나 카피 요소들 중에 가장 좋은 것을 발견 할 수 있다.
작은 변화가 유저의 행동에 어떻게 영향을 미치는지 배울 수 있다.
끊임없이 디자인을 반복한다.
사용자 경험을 시간이 지남에 따라 개선시킨다.
전환율을 최대한 좋게 만든다.

궁극적으로, A/B 테스트의 이점은 그것이 이행하는 데 드는 시간을 줄여준다. 더 많은 개선을 할수록 더 많은 뉴스레터의 구독자가 생기고 고객이 생기는 것은 궁극적으로 기업의 성공에 영향을 미친다. 그리고 ROI를 보여주는 데 도움이 될 수 있다. 정보를 가진 것은 일을 잘 할 수 있도록 하고, 그럴만한 가치가 있다.

3. A/B 테스트 5 단계

테스트를 어떻게 할지에 대한 정답은 없다. 유저의 행동에 대한 더 많은 데이터를 확보해서 프로젝트를 개선하는데 높은 영향과 가능성이 있는 것을 테스트하자. 낮은 전환율, 높은 이탈률, 높은 트래픽 영역에 대해 분석을 리뷰하거나, 유저가 태스크를 완수하는 과정이나 행동에서 이탈하게 하는 포인트를 다시 들여다보자.

이것은 A/B 테스트의 시작으로 가는 첫 번째 단계이다.

1) 목표 확인 (Identify a goal)

테스트가 광고든, 웹 페이지든, 메일이든 간에 A/B 테스트를 하려면 명확한 목표가 있어야 한다. 당신이 알고 싶은 것이나 어떻게 조금 더 좋게 바꿀지가 목표가 된다. 개선하려는 측정 항목이나 전환은 무엇이 있나? 여기 도움이 될만한 프로젝트를 위한 몇 가지 목표가 있다.

프로젝트 목표 > A/B 테스트

이메일 오픈율 증가 > 어떤 이메일 제목이 더 많이 오픈되나?

배너 클릭률 증가 > 더 많이 클릭하는 문구는?

E-book 다운로드수 증가 > 버튼 텍스트를 바꾸면 더 많이 다운로드 하는가?

더 많은 공유하기 > 어떤 크기의 소셜 버튼이 가장 많은 공유를 만드는가?

더 많은 행동유발 > 어떤 텍스트를 제안해야 더 많은 행동을 이끌어낼까?

당신이 얻고자 하는 결과에 대해 생각해보고, 목표와 관련된 분석 단위를 결정하자. 현재 성과 데이터를 보고 기준점을 확립하고 발전을 위한 벤치마킹 영역을 설정하자.

2) 가설 세우기 Form a hypothesis

A/B 가설은 어떤 것을 기반으로 테스트할지를 가정한다. 예를 들면, 한 버전이 다른 버전보다 더 나은 이유는 무엇인가? 와 같은 가설을 세운다. 가설을 세울 때 도움이 되기 위해서 질문을 하고, 그 질문에 대한 대답을 통해 개선할 때에 걸림돌이 되는 것들을 예측한다. “X를 Y로 바꾸는 게 Z에 영향을 준다고 생각해.” 가설에는 변경하려는 내용과 변경한 결과로 발생하리라 예상하는 내용이 포함되어야 한다.

몇 가지 예시:

왜 유저들이 E-book을 다운로드하지 않았을까?

“콜 투 액션 버튼의 텍스트를 “다운로드"에서 “무료 E-book”으로 바꾸면 다운로드 수가 높아질 것 같다"

왜 사용자가 장바구니에서 이탈할까?

“단계를 6단계에서 3단계로 줄이면 결제 횟수가 늘어날 것 같다”

왜 아무도 회원가입 폼을 작성하지 않을까?

“필드를 없애서 길이를 줄이면 폼 작성을 완성하는 횟수가 늘어날 것 같다"

성공을 막는 접근이 무엇일지, 그것을 개선할 수 있는 것은 무엇인지에 대해 논리적이고 근거 있는 가정을 세워라.

3) 디자인하고 테스트하기

테스트 할 A와 B 두 가지 버전을 만들자. 변경할 한 가지 변수를 선택한다. 여러 가지를 바꿀 수 있지만, 이는 multi-variant testing라서 테스트의 복잡함을 높힌다. 초보자는 간단하게 시작해야 한다. 거의 모든 것을 테스트할 수 있지만, 비교적 간단하고 쉬운 것 중에서 개선으로 인해 큰 영향을 줄 가능성이 높은 것을 선택해라.

아래에 테스트해 볼 수 있는 간단한 예제들이 있다.

대제목과 소제목

텍스트 길이, 언어의 뉘앙스, 명료성, 태도는 유저들이 해당 카피에 어떻게 반응할지에 영향을 미친다.

테스트 해볼 수 있는 것들:

보이스와 톤
길이
서술 vs 질문
Trigger 단어들
긍정적 메시지 vs 부정적 메시지

Calls to action

콜 투 액션은 성공을 위한 열쇠다. 그래서 어떻게 사람들이 다운로드하고, 공유하고, 가입하고, 더 많이 사도록 만들 수 있을까? 다음과 같이 실험해보자.

버튼의 텍스트나 문구
버튼 사이즈, 색상, 모양 변경
텍스트만 사용하거나, 텍스트와 아이콘을 함께 사용
하이퍼링크와 버튼의 비교를 통해 어떤 것이 더 많은 클릭을 유도하는지
페이지에서 버튼 placement 혹은 CTA
제안 자체를 변경하기

Images or Graphics

이미지는 사용자와 소통하거나, 더 많은 작업을 할 수 있게 하는 데 도움이 될 수 있다.

테스트해 볼 수 있는 것들:

메인 이미지에 사진 사용 vs 일러스트 사용 이미지
다양한 인물 이미지 : 성별, 인종, 나이, 개인 혹은 단체
사람 vs 제품 이미지
귀엽고 사랑스러운 동물 이미지

Forms

폼이 필요할 수도 있지만, 유저가 작성하는 데 부담을 느껴서는 안 된다. 특히 작은 개선을 통해 작성 폼을 쉽게 만들면 큰 변화를 끌어낼 수 있으며, 특히나 모바일 사용자에게 효과적이다.

테스트해 볼 수 있는 것들:

Form 길이
폼 필드
폼 라벨과 배치
필수 입력 사항

기억하자, 한 번에 하나의 가설과 또 다른 하나의 변수를 통해 A/B 테스트를 하는 것은 변화와 그에 따른 영향이 분명한 법이다. 큰 변화들은 모여서 더 큰 결과를 이루어낸다.

4) 결과 분석하기

진행하는 테스트가 바른 방향으로 흘러가는지 확실히 하기 위해서 테스트의 결과를 확인 해야 한다. 하지만 테스트가 완전히 마무리되기 전까지는 결과를 들여다보지 않아야한다. 테스트가 진행되는 과정에서 도출되는 결과들을 체크하다 보면, 성급하게 결론을 지을 수 있기 때문이다. 의미 있는 통계가 될 수 있도록 표본이 될 수 있는 정보의 양이 모일 때까지 테스트는 충분한 시간 동안 진행되어야 한다. 테스트의 의미 있는 결과를 도출하기까지는 짧으면 일주일에서 수개월까지 걸릴 수 있다. 더 많은 정보가 모일수록, 저 견고한 결과를 만들어낼 수 있을 것이다.

샘플 크기를 설정했으면 그대로 유지하자. 통계적으로 의미 있는 결과를 도출하기 위한 최소 숫자를 찾아내자. 개선을 통해 긍정적 결과를 끌어낸다는 확실함을 가진 목표가 설정되어야 한다. 테스트를 하면서 승자가 있다고 생각해서 성급하게 결론 짓지 말자. 당신이 알고 있는 승자가 진정한 승자라는 걸 확인하기 전까지.

5) 결과 적용하기

테스트를 통해 도출한 분명한 결과를 적용하자. 하지만 테스트는 이후에도 계속 되어야 한다. A/B 테스트는 지속적인 변화를 이끌어내는 도구이다. 추가적인 테스트를 통해 얻은 데이터를 활용해서 끊임없는 개선점을 찾을 수 있을 것이다. 테스트할수록, 더 많은 정보를 얻을 수 있을 것이다.

4. 추측하지 말자. 테스트하기!

변화와 새로운 방향을 뒷받침하는 증거를 가지면 좋은 결정을 할 수 있게 된다. A/B 테스트는 최소한 무엇이 효과적이고 효과적이지 않은지에 대한 이해를 돕는다. 몇 가지 테스트를 진행한 후 어떻게 하나의 버전이 다른 한 버전보다 더 효과적인지 밝혀낼 수 있기에, 어느 누구도 A/B 테스트를 시행하는 것에 대해 의문을 품지 않을 것이다. 지금까지 왜 A/B 테스트를 하지 않았는지에 대한 후회만 남을 뿐이다.

+ 더 알고 싶다면

Beginner’s Guides

Extra Credit

Calculators

A/B Testing Tools

A/B Testing Case Studies

저자 : Jennifer Leigh Brown

원문 : 5 Steps to Quick-Start A/B Testing

번역자 : 심예지

검수자 : Minah Jung

오늘 콘텐츠는 어떠셨나요?

유익했어요 😍 | 아쉬워요 😔