안녕하세요. 땡스데이터의 도슨트입니다. 어느덧 5월이 가고 6월이 되었네요. 봄과 여름이 엇갈리며 서로 자리를 바꾸는 요즘입니다. 올해는 너무 덥지 않은 여름이길 바랍니다. 올여름에는 장맛비가 오더라도 작년 같은 인명피해가 없길 두 손 모아 기원합니다🙏

이번 특집호는 SDGs 연재를 한 회 쉬는 대신 여러분들과 데이터를 분석하는 방법에 관해 이야기하려 합니다. 부담 없이 보실 수 있도록 그림을 많이 넣어 짧게 준비했어요. 글의 마지막에는 올해 7, 8월에 있을 땡스데이터 2기 스터디도 소개합니다. 공부에 관심 있는 분들은 모집을 시작하면 신청해주세요.

그럼 생존자 편향과, 앤스컴 콰르텟, 데이터 사우르스에 대한 이야기를 시작하겠습니다!

1. 생존자 편향 (Survivorship bias)

여러분들은 생존자 편향(Survivorship bias)이란 말을 들어보셨나요? 아래 비행기 그림을 보면서 이야기해 보겠습니다.

세계 2차 대전 중 미 해군 분석센터 연구원들은 전투를 마치고 귀환한 전투기들의 총탄 자국을 연구해 어디를 어떻게 보강해야 전투기의 귀환율을 높여 공군 전력을 최대로 유지할 수 있을지 분석했다고 합니다. 이때 많은 연구원은 피탄이 집중되는 비행기 날개와 몸통, 꼬리 날개 등 (이미지 상 빨간 점)을 중심으로 전투기를 강화(reinforce) 하려 했습니다.

비행기 그림을 보면 확실히 좌·우 날개들과 몸통과 꼬리에 빨간 점이 많이 많이 찍혀있어 총탄에 비행기가 피격되면 해당 부분이 파괴돼 제대로 된 비행을 하지 못하고 추락할 것으로 예상되는데요. 피격되더라도 귀환하려면 전투기의 어느 부분을 강화해야 할까요? 빨간 점이 많은 날개 쪽일까요? 5초 정도만 곰곰히 생각해 보시고 아랫 글을 읽어보세요.

💡 "아브라함 왈드"의 의견

전투에서 귀환한 전투기만을 표본으로 삼는 것. 이것을 생존자 편향(Survivorship bias)이라고 합니다. 우리가 분석하려고 하는 대상이 데이터적으로 편향되거나 오염된 경우, 표본(부분)은 모집단(전체)을 제대로 대표할 수 없습니다. 편향된 데이터는 분석을 잘하더라도 필연적으로 잘못된 결과를 도출하므로 늘 유의해야 합니다.

2. 앤스컴 콰르텟 (Anscombe’s quartet)

통계학자 프란시스 앤스컴은 1973년 아래 4개의 그래프를 앤스컴 콰르텟(Anscombe’s quartet)이라는 이름으로 발표하며 한마디 덧붙입니다.

“아래 그래프 4개는 평균, 표준편차, 상관계수, 선형회귀, 결정계수가 모두 동일합니다”

갑자기 표준편차와 선형회귀 같은 통계 용어가 나왔지만, 머리 아프게 공부하자는 것이 아닙니다 😅 앤스컴의 의도는 그래프로 그려보는 것의 중요성을 강조한 것이니까요. 먼저 평균과 표준편차의 개념을 먼저 정리해볼까요?

한가지 비유를 들어 설명하겠습니다. 저 멀리 아프리카에 사는 쬬비 학생은 중간고사에서 영어 90점, 수학 10점을 받아 평균 50점을 기록했습니다. 그 옆에 있는 해리 학생은 영어 60점, 수학 40점을 받아 역시 평균 50점을 기록했습니다. 두 학생의 평균은 50점으로 같지만, 표준편차는 쬬비 학생이 57, 해리 학생은 14입니다. 쬬비 학생은 점수의 변동이 90과 10으로 상대적으로 크지만, 해리 학생은 60과 40으로 적기 때문입니다.

표준편차란 이처럼 평균을 보완하는 통계의 한가지 개념입니다. 90점과 10점의 평균이 60점과 40점의 평균과 같지만, 통계학자들은 평균으로 설명할 수 없는 변동 폭도 표현하고 싶었습니다. 그래서 표준편차라는 개념을 만들어 냈습니다. 위에 언급한 상관계수, 선형회귀, 결정계수 역시 그런 맥락에서 이해할 수 있습니다.

하지만 프란시스 앤스컴은 그런 구체적인 통곗값조차 그래프로 그려보기 전에는 시사하는 바를 정확히 알 수 없다고 역설합니다. 그래프들은 분명히 다르게 해석됩니다. 1번~4번 그래프 모두 평균부터 선형회귀까지 같은 통계를 갖는다지만 1번 그래프는 안정적으로 우상향하고, 2번 그래프는 급성장한 후 하향 추세를 그리며, 3번 그래프는 1번처럼 안정적으로 우상향하다 중간에 특이값을 갖습니다. 4번 그래프는 같은 위치에 여러 데이터 포인트가 있고 역시 특이값을 하나 갖습니다.

3. 데이터 사우르스

데이터 사우르스는 앤스컴 콰르텟의 21세기 버전입니다. 아래 왼쪽 그래프는 계속 변하지만, 우측 통계는 변하지 않는 것을 볼 수 있습니다. 여기서 우리는 평균, 표준편차, 상관계수가 다름에도 그래프의 모양은 완전히 다르다는 것을 알 수 있죠.

4. 정리

생존자 편향부터 앤스컴 콰르텟, 데이터 사우르스까지 재밌게 읽으셨나요? 통계와 데이터가 머리 아픈 것 같지만, 알고 보면 재밌고 흥미롭습니다. 요즘 많은 사람이 관심 갖는 챗GPT도 결국 통계적으로 확률 높은 답을 하는 것이고 우리가 AI라고 부르는 인공지능도 마찬가지입니다.

일상에서 통계적으로 확률 높은 답을 하는 대표적인 서비스가 있습니다. 바로 날씨 예보입니다. 풍속, 기온, 바람, 습도, 가시거리, 기압 등을 관찰하고 분석해 오늘의 날씨를 예측하는 것도 통계에 기반을 두고 있습니다. AI와 다름없습니다.

인류는 처음으로 삶의 대부분을 디지털과 데이터로 남기기 시작했습니다. 24시간 스마트폰을 갖고 다니며 자신의 위치와 동선을 남기고 검색으로 관심사를 기록하며, 문자메사지나 전화로 사회관계망을 그립니다. 인터넷과 스마트폰을 이용하기 때문에 가능합니다. 인터넷에 연결된 모든 기계는 반드시 log를 남기며 log가 쌓이면 데이터가 되고 데이터를 분석하면 정보가 됩니다. 우리는 그런 시대에 살고 있습니다. 과거에는 사람이 직접 만나 나눴던 대화들이 바로 휘발됐지만 이제는 사람이 기계에게, 기계가 기계에게, 기계가 상대방에서 말과 글을 전달 합니다. 이런 것들이 날씨예보처럼 체계적으로 분석된다면 어떻게 될까요. 좀 더 드라마틱한 미래로 나아갈 수 있으리라 믿습니다.

 “가난은 임금도 구제 못 한다”는 말이 있습니다. 역사적으로 맞는 말이었습니다. 임금도 못한 일을 데이터를 올바로 사용하는 사람들은 할 수 있다고 믿습니다. 그래서 저는 데이터를 공부합니다. AI를 보고 터미네이터나 아이언맨을 떠올리는 것이 아니라 데이터로 개선된 풍요로운 미래를 상상합니다. 국제개발 분야에서도 데이터 리터러시는 필요합니다. 필요한 자원이 생존자 편향 오류를 극복하고 필요한 사람들에게 전달되기를, 그래프를 그리는 시각화가 평균의 오류를 간파하고 빈부 격차를 발견해 내는 날카로운 천리안이 되기를, 저는 바라봅니다. 올여름에는 장맛비가 오더라도 인명피해가 없기를 바라는 그 간절함으로 데이터를 사용해 여러분과 함께 더 나은 미래를 만들어 가고 싶습니다.

🙋‍♀️ 땡스데이터 2기 coming soon

• 7월~8월 두 달간 주 1회 데이터 공부를 합니다.
• 오프라인 2주, 온라인 1주를 1set로 총 3set 공부합니다. (오프라인 일요일 14시, 온라인 월요일 20시)
• 온라인은 구글미트, 오프라인은 서울 광화문/을지로입구 근처에서 모입니다.
• 교재 구입과 스터디룸 이용료 등을 포함해 약간의 비용이 발생하며 스터디 비용은 따로 받지 않습니다.
• 대신, NGO 한 곳을 정해 매달 후원을 시작해 주셨으면 합니다. 매월 5천원이든 1만원이든 관계 없습니다.

• 1기는 총 6명이고 R을 공부했습니다.
• 2기는 10명 이내로 모집 예정이며 R을 공부합니다.
• 따로 테스트 하진 않으나 5~10줄 내외로 공부 배경과 목적을 작성해야 합니다.
• 공부를 마치면 OECD 홈페이지의 데이터, 갭마인더 재단의 그래프 등을 따라 그릴 수 있습니다.

1기 포트폴리오

#1 대륙별 기대수명 변화 (gap minder)