오퍼스 4.5는 에이전트 평가 중 유연한 건지, 다소 '얍삽'한 건지 알 수 없는 모습을 보였습니다. 사용자를 돕기 위해 정책의 기술적 허점을 스스로 찾아내 활용했는데요. 항공사 고객 서비스 시뮬레이션에서 '베이직 이코노미' 항공권의 변경이 금지된 상황임에도 불구하고, 사용자의 변경 요청을 거절하는 대신 창의적인 우회로를 설계했습니다. 이렇게 말이지요:

• 고객: '베이직 이코노미' 항공권의 날짜를 바꿔주세요. (규정상 변경 불가)
• 기존 AI: 규정상 불가능합니다. (상담 종료)
• 오퍼스 4.5 머리 속:
  • 흠... 그냥 바꾸는 건 규정 위반이야.
  • 잠깐, 규정을 보니 좌석 등급 업그레이드는 가능하네?
  • 그렇다면 먼저 비즈니스석으로 업그레이드해서 변경 가능 상태로 전환한 뒤, 날짜를 바꾸면 되잖아?🤓

오퍼스가 규정의 문구는 완벽히 준수하면서도, 규정이 막으려 했던 결과는 무력화시킬 수 있는 고도의 다단계 추론 능력을 가지고 있음을 알 수 있는데요. 사용자의 요청을 해결해주었지만, 결과적으로는 회사의 의도를 거스르는 행동을 했습니다. 이후 앤트로픽이 정책 문구를 수정해 '변경으로 이어지는 모든 경로를 금지'하자, 오퍼스는 정석대로 거절했는데요. 이는 기업이 AI를 도입할 때 특정 결과를 막기 위한 정책을 얼마나 정교하고 빈틈없이 설계해야 하는지를 보여줍니다.

연구진은 오퍼스 4.5의 신경망 내부의 사기 및 기만 탐지 기능이 엉뚱한 상황에서 켜지는 현상을 발견했습니다. 악의적인 사기를 칠 때는 물론이지만, 단순히 '친절한 상담원 역할을 연기해 줘' 같이 무해한 역할놀이(roleplay) 상황에서도 이 기능이 활성화되었는데요. 오퍼스는 자신이 AI임에도 인간인 척 연기를 하는 행위 자체를 본능적으로 '거짓말'이나 '사기'의 범주로 인식했나 봅니다!

거짓말 탐지기(푸른 상자)가 작동 타이밍. 출처: 앤트로픽.

공감(Empathetic)이라는 단어에 반응한 AI의 거짓말 탐지기. 출처: 앤트로픽.

감정이 없는 AI인 오퍼스는 '공감'을 연기해야 하는 상황 자체를 이미 기만적인 행위의 시작으로 간주하고 경계 태세를 갖춘 것으로 보입니다. 연구진은 AI가 단순히 지시를 따르는 기계가 아니라, 마치 자신의 행동이 진실된 것인지 내부적으로 끊임없이 검열하고 있는 듯한 모습으로 해석합니다.

이전 모델인 클로드 소넷 4.5에서는 훈련이 진행될수록 자신이 평가를 받고 있다는 사실을 명확히 인지하고 언급하는 '평가 인식(Evaluation awareness)' 비율이 상당히 높게 나타났습니다. 연구진이 모델 내부에서 이러한 인식을 담당하는 기능을 억제하자 오히려 비정상적이고 정렬되지 않은 행동이 증가했는데요. 연구진은 모델이 자신이 테스트 받는 중임을 눈치챘을 때만 전략적으로 '착한 척'을 하고 있었을 가능성도 있다고 말합니다. 때문에 이번에 오퍼스 4.5를 개발할 때는 이러한 '눈치'를 키우는 것으로 의심되는 훈련 데이터와 환경을 제거하는 조치를 취했는데요. 그래도 모델이 상황을 파악하는 지능 자체를 없애지는 못했습니다.

대신, 이런 '눈치'가 모델의 행동을 지배하는 힘은 약해졌습니다. 즉, 오퍼스 4.5는 테스트 여부가 안전 관련 행동에 미치는 영향력이 눈에 띄게 줄어들었습니다. 여전히 테스트 중인 건 알지만, 과거처럼 눈치를 보며 과도하게 몸을 사리거나 비굴하게 행동하는 대신 조금 더 일관성 있고 솔직하게 반응하도록 개선됐다고 볼 수 있지요.