위 그림 같은 정사각 격자를 생각해보겠습니다. 각 행에 a개의 점이 있고, 각 열에 b개의 점이 있다면 전체 점의 개수는 n=ab개입니다. 작은 정사각형 한 변의 길이를 1로 잡으면, 서로 거리가 정확히 1인 두 점은 격자에서 바로 이웃한 점들입니다. 다시 말해 v(P)는 이 격자를 이루는 길이 1짜리 선분의 개수와 같습니다.
이제 그 선분을 세어보겠습니다. 세로 방향으로는 각 열마다 b-1개의 선분이 있으므로 모두 a(b-1)개이고, 가로 방향으로는 각 행마다 a-1개의 선분이 있으므로 모두 b(a-1)개입니다. 둘을 합하면 길이 1인 선분의 전체 개수는 a(b-1)+b(a-1)=2ab-a-b가 됩니다. n=ab이므로 이는 2n-a-b와 같습니다.
여기서 a와 b가 충분히 커지면 전체를 결정하는 2ab에 비해 빼주는 a+b의 영향은 상대적으로 작아집니다. 그래서 대략적으로 보면 거리 1인 두 점의 개수는 2n에 가깝다고 생각할 수 있습니다. 중요한 건 정확히 2n이냐가 아닙니다. 점의 개수 n이 커질수록 거리 1인 두 점의 개수도 n에 비례해 같은 정도의 속도로 커진다는 점입니다. 이처럼 어떤 양이 n의 두 배, 세 배 같은 일정한 배수 정도로 증가하는 것을 ‘선형적으로 증가한다’고 말합니다.
조금 더 수학에 익숙한 분들을 위해 한 단계 들어가 보겠습니다. 사실 위의 격자를 적절한 비율로 축소하면, 작은 정사각형의 변이 아니라 격자 위의 특정한 대각선 길이가 1이 되도록 만들 수 있습니다. 예를 들어 가로로 x칸, 세로로 y칸 떨어진 두 점을 잇는 대각선의 길이를 1로 맞추는 식입니다. 그림 2에 표시된 선들이 바로 이런 대각선들입니다.
이렇게 하면 단순히 바로 옆에 있는 점 뿐 아니라 더 다양한 위치의 점들 사이에서도 거리 1인 조합을 만들어낼 수 있습니다. 이 방식을 잘 활용했을 때 얻을 수 있는 단위 거리의 최대 개수는 대략 아래 식 정도입니다.
n^(1+C)/log(logn)
하지만 이 식도 n이 커질수록 지수에 붙어 있는 두 번째 항이 0에 가까워집니다. 즉 지수 전체가 1에 가까워지기 때문에, 이 증가율 역시 아주 큰 n에서는 n의 선형에 가까운 속도라고 볼 수 있습니다.
오랫동안 수학자들은 에르되시가 제시한 격자 방법보다 v(P)를 더 크게 만드는 점 배치를 찾지 못했습니다. 그래서 격자가 사실상 v(P)를 가장 크게 만드는 방법이라고 믿었던 거죠. 그런데 이번에 오픈AI의 내부 모델이 이 한계를 E뛰어넘었습니다.
v(P)가
n^1.014
이상의 값을 가지는 점의 배치를 찾아냈습니다.[2] 결과적으로 오픈AI의 모델은 이 반례를 만들어냄으로써 v(n)이 선형적으로 증가할 거라는 에르되시의 추측이 틀렸음을 증명했습니다.
점의 배치를 찾아내는 데에는 대수적 수론의 방법론이 사용됐습니다. 이산기하학의 난제를 풀기 위해 전혀 다른 수학 분야의 직관을 이용한 거죠. 아주 간단하게 설명하면, 두 점 사이의 거리를 수의 ‘크기’를 따지는 문제로 바꾼 뒤, 같은 크기를 가진 수가 매우 많이 생기는 특별한 수 체계를 이용했습니다. 이 수들을 두 점의 위치 차이에 대응시키면 단위 거리만큼 떨어진 점 쌍을 기존보다 훨씬 많이 만들어낼 수 있습니다.
이 증명을 검증한 수학자 가운데 한 명이 필즈상 수상자인 팀 가워스입니다. 그는 이번 증명이 어느 정도 수준의 연구인지 상당히 강한 표현으로 평가했습니다.
“단위 거리 문제의 해법이 AI 수학의 이정표라는 점에는 의심의 여지가 없습니다. 만약 인간 연구자가 이 논문을 작성해 Annals of Mathematics에 제출했고, 제가 짧은 의견을 요청받았다면 저는 조금의 망설임도 없이 게재를 추천했을 것입니다. 이전의 어떤 AI 생성 증명도 이 수준에 도달한 적은 없었습니다.”
참고로 Annals of Mathematics는 수학계에서 가장 권위 있는 저널입니다. 이곳에 논문을 단 한 편 게재하는 것만으로도 수학자로서 엄청난 위상을 인정받습니다. 과학계 최고 수준의 저널인 Nature에 한 번이라도 논문을 게재한 한국인 학자가 1,000명이 넘는 데 비해, Annals of Mathematics에 논문을 게재한 한국인 수학자는 수십 년의 역사를 통틀어 10명이 조금 넘는 정도입니다.
수학에 강한 오픈AI
최근 오픈AI 모델들이 수학에서 보여주는 성과는 놀랍습니다. 단위 거리 문제를 해결한 뒤에도 비슷한 소식이 이어졌습니다. GPT 5.6 공개 직후에는 GPT 5.6 Sol Ultra가 불과 1시간 만에 조합론의 미해결 난제인 ‘cycle double cover 추측’을 증명했습니다. 저도 이 글을 쓰던 중 마침 이 흥미로운 소식을 접했고, 그냥 넘어가기에는 너무 인상적인 결과라 내용을 추가하기로 마음 먹었습니다.
여기서는 cycle double cover 추측 자체에 대한 구체적인 설명은 생략하고, 그 외적인 내용에 대해 이야기하겠습니다.
이 소식을 접한 뒤 페이스북에 들어가 보니, 마침 조합론의 대가인 엄상일 교수님께서 오픈AI의 증명에 대해 전체 공개로 글을 올리셨습니다. 흥미롭게도 cycle double cover 추측을 제안한 수학자 가운데 한 명인 Paul Seymour 교수님은 엄상일 교수님의 박사 지도교수님이기도 합니다. 그래서 해당 분야를 깊이 연구해온 수학자는 이번 풀이를 어떻게 평가하는지 궁금했는데, 엄상일 교수님의 평가 역시 상당히 인상적이었습니다. 조합론의 대가가 보기에도 GPT 5.6 Sol의 풀이가 매우 영리한 접근이었다는 것을 알 수 있죠.
제가 이 결과를 단위 거리 문제와 함께 흥미롭게 보는 데에는 한 가지 이유가 있습니다. 오픈AI 모델은 단위 거리 문제에서는 기존 추측이 거짓임을 증명했고, cycle double cover 추측에서는 반대로 추측이 참임을 증명했습니다. 얼핏 보면 둘 다 ‘수학 문제를 풀었다’는 같은 이야기처럼 보이지만, 실제로 요구되는 능력은 다릅니다.
어떤 추측이 거짓임을 증명하려면 그 추측이 성립하지 않는 단 하나의 사례, 즉 ‘반례’를 찾아내면 됩니다. 문제는 그 반례를 찾기가 더럽게 어렵다는 데 있습니다. 수학자들이 오랫동안 맞을 것이라고 믿어온 명제를 깨려면, 기존의 직관을 깨부수는 창의적 상상력이 필요합니다. 단위 거리 문제에서는 바로 이런 종류의 창의성이 필요했죠.
반대로 어떤 추측이 참임을 증명할 때는 특별한 사례 하나를 찾아내는 것만으로는 부족합니다. 몇 개, 몇백 개, 심지어 수백만 개의 사례에서 맞더라도 아직 증명은 아닙니다. 모든 경우에 범용적으로 적용될 수 있는 정확한 논리를 찾는 것이 중요합니다.
어느 쪽이 더 쉽다고 비교할 수 없습니다. 서로 다른 종류의 수학적 어려움을 요구합니다. 그런데 오픈AI의 모델은 단위 거리 문제와 cycle double cover 추측을 통해 이 두 방향 모두에서 재밌는 성과를 냈습니다.
기술적 관점
왜 유독 오픈AI의 모델이 수학에서 강한 모습을 보일까요. 이에 대해 저는 지금의 LLM이 학습되는 방식을 바탕으로 나름 그럴듯한 이유를 찾았습니다. 여러 글에서 언급했듯이 현재 LLM의 학습은 크게 방대한 지식을 익히는 사전학습(pre-training)과, 그 지식을 활용해 어떻게 생각하고 답해야 하는지를 배우는 사후학습(post-training)으로 나눌 수 있습니다. 그리고 사후학습에서는 강화학습이 매우 핵심적인 스텝입니다.
이 강화학습은 크게 두 가지 방식으로 생각해볼 수 있습니다. 하나는 LLM이 여러 답변을 내놓았을 때 그 중 인간이 어떤 답변을 더 선호할지를 학습하는 ‘선호도 기반 학습’입니다. 다른 하나는 답변이 얼마나 좋은지 정량적인 점수를 매긴 뒤, 더 높은 점수를 받는 답변을 내놓도록 학습하는 ‘점수 기반 학습’입니다.
조금 더 기술적인 용어가 궁금한 분들을 위해 덧붙이면, 선호도 기반 강화학습은 RLHF(Reinforcement Learning with Human Feedback)로 대표됩니다. 사람이 여러 답변을 비교하고 어느 쪽이 더 좋은지 평가하면, 모델이 그 선호를 학습하는 방식이죠. 반면 점수 기반 강화학습은 RLVR(Reinforcement Learning with Verifiable Reward)로 대표됩니다. 답이 맞았는지 틀렸는지처럼 비교적 명확하게 검증할 수 있는 기준을 이용해 모델을 학습시키는 방식이죠.
선호도 기반 학습은 LLM이 좀 더 인간다운 면모를 가지게 합니다. 정답이 없는 상황에서 인간이라면 무엇을 더 선호할 지를 잘 알 수 있기 때문이죠. 반면, 점수 기반 학습은 LLM이 정확한 목표를 달성하는 능력을 갖추도록 합니다.
본론으로 들어가겠습니다. 제 생각에는 현재, 2026년 7월 13일을 기준으로 가장 성능이 좋은 두 모델인 Claude와 GPT가 서로 다른 강점을 보입니다. Claude는 선호도 기반 학습이 굉장히 잘 되어 있고, GPT는 점수 기반 학습이 잘 되어 있는 것으로 보입니다. 그동안 제가 두 모델을 사용해온 경험과 여러 사용자의 평가를 종합했을 때 굉장히 합리적인 추측입니다.
제가 AI 연구자이고 AI를 많이 사용한다고 해도, 직접 써볼 수 있는 분야에는 한계가 있습니다. 제가 잘 모르는 분야에서는 어떤 모델의 결과물이 정말 좋은지 제대로 평가하기도 어렵습니다. 그래서 평소에는 제 경험만으로 판단하지 않고, 쓰레드와 X에서 프론티어 모델을 직접 사용한 사람들의 평가를 꾸준히 찾아보는 편입니다. 그래서 각 LLM이 어떤 경향을 보이는지 어느 정도 윤곽이 잡힙니다.
그동안 가장 반복적으로 나왔던 평가는 이렇습니다. Claude는 사용자가 요청을 다소 대충 던져도 의도를 ‘알잘딱’ 파악해서 원하는 방향으로 작업합니다. 반면 GPT는 요청이 두루뭉술하면 사용자가 원하지 않았던 결과물을 내놓는 경우가 상대적으로 많습니다. 그런데 원하는 조건과 목표를 디테일하게 명시해 똑같은 요청을 Claude와 GPT에 주면, 오히려 GPT가 더 좋은 결과물을 줍니다.
이런 평가는 특정 세대의 모델에서만 나타난 것도 아닙니다. Claude Opus 4.8과 GPT 5.5를 비교할 때도, Claude Fable 5와 GPT 5.6 Sol을 비교할 때도 비슷한 경향이 이어졌습니다. 그래서 대다수 사용자에게는 Claude가 더 편하고 알아서 잘해준다는 평가가 나오는 거죠. 반면, 자신이 원하는 결과를 구체적으로 지시할 만큼 해당 분야의 지식이 있는 전문가들 사이에서는 GPT가 더 좋은 결과를 준다는 평가가 이어져온 것이라고 생각합니다.
제 경험도 이야기해보자면 간단한 수학적 보조정리의 증명을 작성시킬 때는 Claude보다 GPT가 더 편했습니다. 반대로 웹사이트를 만들 때 디자인적인 요소는 Claude가 더 보기 좋은 결과물을 만들어줬습니다.
연구에 필요한 코딩을 할 때는 이 차이가 더 재미있게 드러났습니다. 제가 구현하려는 내용을 구체화하고 전체 계획을 짜는 단계에서는 Claude가 더 잘해줬습니다. 반면 그 계획이 충분히 구체적으로 잡힌 뒤 실제 코드로 구현하는 단계에서는 GPT 모델들이 더 잘했습니다. 쉽게 말하면 Claude에게 계획을 맡기고 GPT에게 실행을 맡기는 식입니다. 실제로 최근 개발자들 사이에서도 ‘Claude로 계획하고 GPT로 구현하는’ 방식이 많이 애용되고 있습니다.
저는 이런 차이가 GPT가 수학에서 특히 강한 성과를 내는 이유와도 연결된다고 봅니다. 그리고 오픈AI가 이런 능력을 갖출 수 있었던 배경에는 일찍부터 수학자와 과학자들과 협업하며 관련 데이터를 확보하고, 점수 기반 학습 파이프라인을 다져온 영향이라고 생각합니다.
반대로 선호도 기반 학습에서 Anthropic이 더 큰 효과를 볼 수 있었던 이유는 아이러니하게도 더 적은 사용자층 덕분이라고 생각합니다. 오픈AI는 사용자가 많은 만큼 초보자부터 전문가까지 매우 폭넓은 사용자층을 확보해왔습니다. 반면 Anthropic은 상대적으로 사용자 수가 적은 대신 전문가층을 주요 고객으로 공략해왔습니다.
Anthropic 입장에서는 전문가 사용자들의 데이터를 통해 전문가가 어떤 출력을 더 좋은 결과라고 판단하는지 비교적 선명하게 학습시킬 수 있었을 겁니다. 반면 오픈AI는 사용자층이 워낙 넓다 보니 전문가의 정교한 선호뿐 아니라 숙련도가 낮은 사용자들의 훨씬 잡음이 많은 선호도 데이터까지 함께 섞였겠죠. 물론 실제 내부 학습 데이터와 방법을 알 수 없는 만큼 여기까지는 어디까지나 제 추측입니다. 앞으로 두 회사 모두에게는 상대 회사의 모델이 가진 장점을 어떻게 자기 모델이 가지게 할 지를 고민하는 것이 관건일 것입니다. | 
