AI Scientist
최근들어 프론티어 AI모델들이 연구자의 영역을 무서운 속도로 침범하고 있습니다. 제가 보기에 코딩 다음으로 AI가 정복하게 될 도메인이 바로 연구의 영역인 것 같습니다.
AI 과학자는 문헌 탐색, 가설 생성, 코드 작성, 실험 실행, 결과 분석과 검증을 연결해 연구 루프를 수행하는 멀티에이전트 시스템입니다. 과학을 잘 하려면 그럴듯한 답을 많이 만드는 것으로는 부족합니다.
University of Washington, Ai2, Carnegie Mellon, MIT 연구진의 ICML 2026 Spotlight 논문 〈DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research〉는 딥리서치 에이전트를 강화학습할 때 정답 평가 기준을 고정하지 않고, 새로 발견한 자료와 응답의 차이에 맞춰 평가 기준도 함께 진화시킵니다.
비유하자면 교사가 생각지 못한 새로운 문제 풀이 방법을 학생이 찾아오면 교사가 문제풀이의 채점 항목을 이에 맞게 보완하는 것과 비슷합니다. 논문 보고치로 8B 공개 모델은 기존 공개 딥리서치 모델보다 벤치마크 평균 15.6% 개선됐고 OpenAI Deep Research를 소폭 상회했으며, 질의당 추정 비용은 약 1,000분의 1이었습니다.
이 결과는 연구 에이전트의 성능을 높이려면 답변뿐 아니라 무엇을 좋은 답으로 평가할지에 대한 기준도 함께 학습해야 함을 의미합니다.
개인적으로 저한테 이 논문의 핵심은 낯설지 않습니다. 논문의 방법이 바로 자기 개선이라는 큰 키워드에 포함되기 때문입니다. 결국 긴 시간 동안 직접 여러 경험을 겪으면서 자기 개선을 통해 숙련되는 인간 전문가를 AI가 따라 잡으려면 AI에게도 경험으로부터 지속적으로 자기 개선이 되는 메커니즘을 달아줘야합니다.
그런데 모델의 가중치 자체를 바꾸는 학습은 비용이 비싸기 때문에 학습을 하지 않고도 자기 개선이 되는 메커니즘을 찾아내는 것이 중요하죠. 그 동안 저는 AI 에이전트의 작업 과정이나 기억을 기록해놓고 경험을 통해 그 기록을 업데이트 해나가는 종류의 자기 개선 방법을 많이 접했었는데 이 논문은 평가 방식 자체를 개선시키는 새로운 방향을 보여줍니다.
이렇게 평가방식을 지속적으로 개선해나가는 방법은 연구용 에이전트가 아니더라도 정량적인 평가가 어려운 도메인에서 유용하게 쓰일 수 있을 것 같습니다.
그외에도 다양한 연구들과 최근 주목 받는 월드모델 등은 원문으로 확인해주세요! | 
