고등학교에 다닐 때 ‘근의 공식’을 달달 외웠던 걸 다들 기억할 겁니다. 아마 지금 근의 공식을 써보라고 말하면 제대로 쓸 사람이 몇 명이나 될지 모르는데요, 이렇게 잊어 버릴 걸 왜 외워야 했을까요? 고등학교 때 배운 근의 공식은 2차 방정식의 ‘해’를 구하는 공식인데요, 3차 방정식과 4차 방정식에도 각각 근의 공식이 있습니다. (아실 필요는 없습니다. 2차 방정식의 근의 공식을 몰라도 되는 것처럼)

하지만 5차 방정식, 즉 x의 5제곱이 들어간 방정식에는 근의 공식이 존재하지 않는다고 합니다. 파올로 루피니(Paolo Ruffini)라는 이탈리아의 수학자가 바로 5차방정식을 풀 수 있는 공식은 존재하지 않음을 증명한 사람입니다. (여기서 잠깐! 사실 그의 증명엔 오류가 있었습니다. 나중에 노르웨이의 수학자 닐스 아벨이 5차방정식에는 근의 공식이 없음을 '옳게' 증명해 냅니다).

루피니는 책으로 2권 분량이나 되는 증명을 책으로 출판하여 사람들에게 알리고자 했습니다. 당시의 위대한 수학자 중 한 사람이었던 라그랑주에게도 세 차례에 걸쳐 책을 보내 '검증하거나 인정해주기를' 바랐지만 라그랑주는 아무런 답장도 보내지 않았죠. 웬일인지 사람들은 그의 증명에 큰 관심을 보이지 않았습니다. 왜 그랬을까요?

(파올로 루피니)

첫 번째 이유는 그의 증명이 너무나 복잡하고 길었기 때문입니다. 책으로 2권이나 되는 그의 증명을 하나하나 짚어가면서 따져보기에는 너무나 방대하고 어려웠습니다.

두 번째 이유는 부정적인 결과('5차 방정식엔 근의 공식이 없다')에 시간과 노력을 들이고 싶지 않은 사람들의 심리 때문이었습니다. 게다가 수학자들은 오랜 세월에 걸쳐 3차 방정식과 4차 방정식에서 근의 공식을 규명해냈기 때문에 5차 방정식에서도 당연히 근의 공식이 존재하리라고 추정하고 있었죠.

이 두 번째 이유에 주목할 필요가 있습니다. 여러분이나 저와 같이 일반적인 사람들은 자신의 믿음에 반하는 증명을 누군가가 제시했을 때 자동적으로 그것을 반대하려는 심리를 작동시킵니다. 그러니 수학자들은 오랜 시간 동안 잠정적으로 믿어왔고 '입증'하려고 애써온 가설이 틀렸다, 즉 5차 방정식에는 근의 공식이 존재하지 않는다는 증명을 살펴볼 마음을 갖지 않았던 겁니다.

루피니는 죽기 1년 전인 1821년에야 위대한 수학자인 코시(Cauchy)로부터 5차방정식 연구에 대해 찬사를 받았지만 코시도 루피니의 증명을 검증해본 것 같지는 않습니다. 루피니는 수학자가 아니라 발진티푸스를 연구하고 치료하는 의사로 살다가 1822년에 삶을 마감합니다.

누군가가 여러분의 믿음에 반하는 주장을 할 때 마음 속에 그 주장을 거부하려는 본능이 작동할 겁니다. 그럴 때 그 본능을 잠시 누르고 그의 말에 집중해 보세요. 그의 말을 경청해야 그 주장이 맞는지 틀리는지 ‘옳게’ 판단할 수 있을 테니까요. ‘내 의견과 반대된다’고 해서 귀를 닫지 마세요. (끝)