언어를 배울 때, 반복 학습은 필수적이다. 그래서 듀오링고는 매일 학습을 상기시키는 알림을 보내서 계속 학습할 수 있도록 도와주고 있다. 사실, 듀오링고의 이런 고집은 인터넷에 돌아다니고있는 인기있는 짤이 있을 정도로 유명하다. 솔직히 말해서, 대부분은 우리가 보내는 알람을 스와이프하며 약간의 죄책감을 느꼈을 것이다. 

하지만 듀오링고가 어떤 메시지를 보내기로 결정을 어떻게 하는지 궁금해본 적 있는가? 작년 듀오링고 머신러닝 엔지니어는 매일 각각의 학습자들에게 보낼 완벽한 리마인드 메시지를 위해 매우 정돈된 AI 시스템을 구축했다. 우리는 이 알고리즘을 2020 Knowledge Discovery and Data Mining (KDD) 컨퍼런스에서 문서와 짧은 발표 형태로 최근에 공개했다. 이 글에서 악명 높은 알림 뒤에 숨겨진 AI를 살펴보자. 

우리는 연습 리마인드를 위해 미리 쓰여진 다양한 알람을 사용한다. 이 다양한 알림을 당신이 공부하고 있는 언어와 현재 공부하고 있는 단계를 기반으로 개인화시킨다. 듀오링고의 운영 원칙 중 하나는 “모든 것을 테스트하기"다. 우리는 항상 최종적으로 사용자들이 사용하기하기 전에 일부 학습자들에게 새로운 알림을 테스트하기 위해 실험을 한다. 이 방법을 통해 최상의 템플릿만을 전체 사용자에게 적용시킨다.

그러나 학습 리마인더 알람 대상은 무작위로 선정되었다. 알고리즘을 더 똑똑하게 만들어 더 많은 학습자가 지속적으로 동기부여를 받을 수 있을지 알고 싶었기 때문이다. AI가 매일 유저에게 보낼 최상의 알림을 찾을 수 있다면 어떨까? 그래서 작년 일부 머신러닝 엔지니어들이 맞춤 AI 시스템을 구축하기 시작했다.   

학습자들이 다양한 알림에 어떻게 반응하는지 더 잘 이해하기 위해서 우리는 Bandit 알고리즘으로 실험해보았다. Bandit 알고리즘은 같은 옵션 사이에서 반복적으로 선택하는 AI의 한 형태다. 이 AI는 우리 학습자가 학습 언어를 연습하도록 하게하는 알림 옵션이 무엇인지를 과거의 선택으로부터 현재까지 점진적으로 배운다.

bandits가 어떻게 작동하는지 이해하기 위해서 슬롯머신이 가득한 방에 있다고 상상해보자. 당신은 슬롯을 할 수 있는 토큰으로 가득 찬 가방을 받았고, 어떤 슬롯머신은 다른 것들보다 더 돈을 많이 얻을 수 있게 설계되었다고 가정해보자. 당신의 당첨금 최대화하기 위해, 각각 다른 머신에 따로 돈을 넣어 실험하기 시작할 것이다. 시간이 지나면 어떤 머신이 가장 좋은지를 파악하고 해당 기계에서 더 많이 플레이할 것 이다.

bandit은 비슷한 전략을 사용한다. 대신 우리에게 슬롯 머신은 알림이고,  “당첨금"은 학습자들이 레슨을 완료하는 것이다. 기본적으로 아래를 따라 작동한다. 

그러나, bandits이 알람을 위해 작동하도록 만들기 위해, 우리는 수 많은 새로운 데이터 사이언스 문제를 해결해야했다. 우리는 데이터를 수집하기 시작했다. 34일동안 2억건이 넘는 학습 리마인더를 보냈다. 이후, 어떤 알림이 사용자들의 참여를 이끌어냈는지 분석했다.

우리의 목표는 각각의 알림이 얼마나 많은 학습자들의 레슨 완수에 기여했는지 점수를 매기는 것이었다. 그러나 동시에 우리가 극복해야했던 도전중 하나는 다양한 알림이 다양한 유저를 위해 맞춤 설계되었다는 것이었다.  예를 들어 어떤 알림은 유저가 연속 학습을 한 경우에만 의미가 있거나, 월요일에만 보내질 수 있었다. 혹은 많은 학습자들은 우리가 어떤 알림을 보내든지간에 학습을 끝내는 사람들일 수 있었다. 이런 불리한 특징을 가지고 알림이 설계되었다. 이런 특수한 상황에서 공정하게 알림 템플릿의 점수를 측정하기위해, 각 알림을 동일한 유형의 학습자에게 전송되는 다른 알림과만 비교할 수 있는 새로운 방법을 고안했다.

이 방식을 사용한 후, 우리는 다른 알림보다 더 효과적인 알림이 있다는 것 뿐만 아니라 언어마다 다르다는 것을 배웠다. 예를 들어 “[언어]를 배울 시간”이라는 알림은 중국어 학습자들에게 매우 효과적이었지만, 영어 학습자들에게는 최고의 선택은 아니었다. 이런 차이는 각 언어에 맞게 알림 선택지를 가공하면, 더 나은 참여를 이끌어낼 수 있다는 것을 의미한다.

앞서 언급했던 2억 개에 달하는 실무 알림 자료를 분석해 이를 확인할 수 있었다. 따라서 최상의 성능을 위해 동일한 알림을 너무 자주 사용하지 않도록 해야 했다.

하지만, 이런 발견을 bandit 알고리즘에 통합하기 전에, 우린 “신규성 영향”도 극복해야 했다. 우리는 가설을 세웠다. 우리는 학습자가 이전에 본 적이 없는 새로운 알림이 특히 설득력이 있겠지만, 결국에는 새로운 것이 닳아 없어졌을 때 지속적으로 학습자의 참여를 이끌어내는 다른 종류의 알림이 필요할 것이라고 가정했다. 우리는 앞에서 언급한 2억 개의 학습 리마인더 알림을 분석해서 이를 확인할 수 있었다. 그래서 최상의 퍼포먼스를 위해서 동일한 알람을 너무 자주 사용하지 않아야 했다. 

하지만 이는 기존 bandit 알고리즘이 작동하는 방식(최고의 옵션을 찾고 계속해서 재사용하는) 과는 달랐다. 이걸 수정하기 위해 최근에 본 알림을 강등시켜 학습자가 동일한 알림을 자주 보는 걸 싫어한다는 것을 AI 알고리즘에 가르쳐야했다. 우리는 단어 학습을 측정하는 데 사용하는 것과 동일한 망각곡선을 사용하여 알림이 반복되는 주기를 결정했다. 

매일 학습자들에게 보낼 수백만 건의 학습 리마인더 알림을 보낼 수 있도록 bandit 알고리즘을 빨리 만들어야 했다. 알고리즘은 많은 데이터를 처리할 때도 필요했다. 이 시스템은 분석을 필요로 하는 수천만 개의 기록을 매주 생산한다. 우리는 이 모든 데이터를 처리하기 위해 AWS Kinesis Firehose, Spark 같은 빅 데이터 도구를 사용한다. 

실제로 우리의 bandit 알고리즘을 테스트했을 때,불과 몇 주 안에 더 많은 사용자가 더 자주 레슨을 완수한다는 것을 알 수 있었다. 수만 명의 학습자들이 다시 학습하러 갈 수 있도록 돕는 데에 매우 성공적이었다. 좋은 학습 습관은 언어 학습에서 가장 어려운 부분 중 하나이다. AI가 학습한 통찰력을 사용하여 미래에 더 좋은 알림을 설계해서 학습자의 동기부여를 더욱 높일 수 있게되었다. 이번 가을에 모든 알림을 작성하는 방법 대한 자세한 내용도 지켜봐주시길. 

  👉구독링크 공유하기  

이번 레터도 '수고했다', 만약 디독 팀에게 커피 한 잔 사주고 싶으신 분들이 계시다면 아래 계좌를 통해 후원해주세요! 향긋함은 덤, 여러분의 따뜻한 관심과 도움이 서비스 유지에 정말 큰 힘이 됩니다.