AI 에이전트 성능 평가 가이드, GitLab 18.4, Teleport 18.2, 자동화 보안 공백 해법
인포레터 75호 | 구독하기 | 더 크게 보기
'코드 카타'는 작은 코드를 반복 작성하며 프로그래밍 근육 기억을 기르는 연습입니다. '크리에이티브 프로그래머'에 따르면, 특정 로직에 매이지 않고 프로덕션 코드베이스에서 솔루션을 빨리 구상할 때도 효과적이죠. 오늘 다룰 GitLab, Teleport 기능도 반복 숙달하면 창의적 문제 해결에 도움이 됩니다. 인포레터를 시작합니다. ☀️
🎉75호 하이라이트
    * 매달 넷째 주 월요일, GitLab 최신 기능 정보와 DevOps 읽을거리를 소개합니다.
  1. GitLab 18.4 업데이트 - Duo 모델 선택 GA, 지식 그래프, Job 토큰 기반 Git push 인증
  2. 엔터프라이즈 AI 에이전트 성능 평가 가이드 - LLM-as-a-Judge 실전 적용 사례
  3. 자동화 시스템의 보안 위협 해소 - 비인간 아이덴티티와 단기 인증서
🔄GitLab Release
    * GitLab 최신 버전 릴리즈 소식입니다.
GitLab Duo 모델 선택 GA 버전, GitLab 지식 그래프, GitLab Duo 엔드 유저 모델 선택 지원, CI/CD Job 토큰 기반 Git push 요청 인증 기능, GitLab Duo 컨텍스트 제외 기능이 업데이트됐습니다!

GitLab Duo 모델 선택(Model Selection) 기능이 GA 버전으로 나왔습니다. GitLab.com의 최상위 그룹 Owner, Self-Managed와 Dedicated의 관리자는 GitLab 호스팅 AI 게이트웨이로 GitLab Duo 기능에 사용할 AI 모델을, 다양한 GitLab AI 모델 제공업체의 모델 중에서 선택할 수 있죠. GitLab.com에서 여러 네임스페이스에 속한 사용자는 기본 네임스페이스를 설정해 모든 개발 컨텍스트에서 AI 모델 설정을 일관되게 유지할 수 있습니다.

이제 GitLab 지식 그래프(Knowledge Graph)로 GitLab Duo 에이전트 플랫폼에서 AI 에이전트의 응답 속도와 정확도를 높일 수 있습니다. 지식 그래프는 코드베이스 전반의 파일과 정의를 매핑해 에이전트가 전체 로컬 워크스페이스의 관계를 이해하도록 컨텍스트를 제공하는데요. 이로써 에이전트는 복잡한 질문에 더 빠르고 정확하게 응답할 수 있고요. 개발자는 풍부한 컨텍스트로 프로젝트를 깊이 이해하고, 개발 작업을 가속화할 수 있습니다.

🗒️GitLab News
    * GitLab의 새로운 소식을 안내합니다.

GitLab이 AI 거버넌스 분야 국제 표준인 ISO/IEC 42001 인증을 획득했습니다. ISO/IEC 42001은 조직 내 인공지능 관리 시스템(AIMS)을 수립·구현·유지·개선하기 위한 공인 표준인데요. 이 인증으로 GitLab의 AI 기능이 글로벌 AI 거버넌스 모범 표준에 따라 안전하고 윤리적으로 구축·관리됨을 입증했죠. 인증 범위에는 GitLab Duo와 GitLab Duo Agent Platform이 포함됩니다. 코드 제안, 취약점 설명, 테스트 생성은 그 핵심 기능이고요. 앞으로 GitLab은 연간 외부 사후 심사와 정기 내부 평가, 리더십 AIMS 검토로 AI 역량을 지속적으로 평가하고, 향상할 계획입니다.

이밖에 추가된 GitLab의 새로운 기능✨ 
🔐Teleport Release
    * Teleport 최신 버전 릴리즈 소식입니다.
Teleport 18.2가 최근 출시됐습니다. 이번 릴리즈에서는 세션 기록 암호화 기능, AI 세션 요약 기능, Terraform 기반 Access List·멤버 프로비저닝 지원, Microsoft Intune용 신규 플러그인, Teleport Connect의 애플리케이션 업데이트 자동화 기능이 업데이트됐습니다.

이번 버전에서는 세션 기록을 스토리지에 업로드하기 전에 암호화하도록 하드웨어 보안 모듈(HSM)과 통합하는 기능을 제공합니다. Teleport 사용자는 세션 기록 데이터를 at-rest 암호화로 보호할 수 있습니다.

Teleport Identity Security 사용자는 이제 SSH, Kubernetes, 데이터베이스 세션과 관련해 AI가 생성한 요약 내용을 확인할 수 있습니다. 이로써 사용자가 수행한 작업을 한눈에 파악하고, 전체 기록을 자세히 검토하기 전에 해당 작업의 적법성을 평가할 수 있습니다.

이밖에 추가된 Teleport의 새로운 기능🛠️
🔖Tech Blog
    * 인포그랩이 직접 제작한 DevOps 아티클입니다.

최근 엔터프라이즈 환경에서 AI 에이전트 도입이 본격화하면서 정확한 성능 평가 방법이 화두입니다. 전통적인 LLM 성능 평가 방식으로는 에이전트 성능을 제대로 측정하기 어려운데요. 에이전트는 프롬프트, RAG, MCP, 도구 호출, 다단계 추론 등을 결합해 자율적으로 동작하죠. 따라서 이러한 특성을 고려한 에이전트 전용 평가 방법이 필요합니다. 인포그랩은 엔터프라이즈 AI 에이전트 플랫폼 'NEXA'에 LLM-as-a-Judge를 적용해 이 문제를 해결하고 있습니다.


LLM-as-a-Judge는 LLM이 다른 LLM 애플리케이션의 품질을 평가하는 기법인데요. LLM은 품질·정확성·관련성·일관성 기준에 따라 에이전트 응답을 평가하죠. 이는 인간 평가자보다 더 빠르고 효율적으로 수천 개 출력을 평가합니다. LangfuseArize AI 등으로 사용할 수 있고요. NEXA 적용 사례에서는 Langfuse의 LLM-as-a-Judge Evaluator로 도구 정확성(올바른 도구 호출 여부)과 도구 효율성(중복 호출, 적정 횟수)을 0~1점으로 매기고, 각 평가의 근거를 자동 생성합니다. 에이전트 성능 평가 시 고려 사항과 NEXA 적용 사례로 실무 인사이트를 얻어보세요.

더 많은 Tech Blog 살펴보기😎
🗞️추천 DevOps 콘텐츠
    * 인포그랩이 엄선한 국내외 IT 기업·전문가의 DevOps 콘텐츠입니다.
  • 비인간 아이덴티티(NHI, Non-Human Identity)의 보안 위협
    • NHI는 현대 디지털 시스템 뒤에서 작동하는 보이지 않는 노동력
    • 현대 인프라는 점점 더 사람이 아닌 자동화된 시스템이 운영
    • 봇이 코드 push, 러너는 프로덕션 환경에 배포, 에이전트는 클라우드 리소스 오케스트레이션, AI 모델이 프롬프트 기반 자동화로 직접 동작 트리거
    • 대부분 NHI는 정적 크리덴셜, 과도한 권한, 최소한의 관리로 중요한 리소스에 접근 → 보안 위험, 인프라 복원력에 위협 초래
  • Teleport Machine & Workload Identity의 문제 해결 방식
    • 정적 시크릿을 단기 암호 기반 아이덴티티로 대체 → 비인간 접근에 질서, 신뢰, 추적 가능성 부여 → 안전하고 확장 가능한 자동화 지원
  • 핵심 적용 영역
    • CI/CD 파이프라인 보안
      • CI/CD 러너, 봇과 같은 NHI에 단기 인증서 발급
      • 이 크리덴셜은 자동 만료, 각 job에 엄격히 범위 제한 → 안전한 CI/CD 자동화 가능
    • Iac 배포
      • 시크릿이 아닌, 암호 기반 아이덴티티에 연결된 Job 단위 단기 인증서 발급
      • 리포지터리, 배포, 환경별 최소 권한 원칙 적용
    • 멀티 클라우드 환경 전반의 연합 아이덴티티
      • Teleport는 머신과 워크로드를 위한 통합 아이덴티티 권한자로 역할
      • 모든 환경에서 NHI에 표준 암호 기반 아이덴티티 발급 → 클라우드 연합 복잡성 ↓
    • MCP 보안
      • AI 에이전트와 모델 컨텍스트에 단기 암호 기반 아이덴티티 발급
      • 모든 AI 동작이 인증되고, 범위가 제한되며, 감사 가능하도록 보장
      • LLM 프롬프트부터 액션까지 전체 추적 가능성 유지
이번 인포레터는 어떠셨나요? 
인포레터에 대한 ✉️의견을 보내주세요! 언제든지 환영합니다. 🙂
DevOps 최적화와 GitLab, Mattermost, Teleport, n8n 구축!
지금 인포그랩에 ✉️문의하세요. 🎯
✨이전 인포레터 둘러보기
인포그랩 인포레터 | 경기도 성남시 분당구 백현로101번길 17, 초림프라자 511-512호