1. GitLab 17.2 업데이트 소식 - Kubernetes 로그 스트리밍, 파이프라인 실행 보안 정책 유형
2. 옵저버빌리티 비용 절감 방안 - 모니터링 데이터 폭증, 효과적으로 대처하기
3. 개발 시간 절반 줄이는 25가지 오픈 소스 AI 도구

이제 GitLab에서 Kubernetes pod와 컨테이너의 로그 스트리밍 보기를 지원합니다. 그동안 Kubernetes 워크로드를 심층 분석하려면 서드 파티 도구를 사용해야 해 불편하셨을 텐데요. 이제 컨텍스트 스위칭 없이 GitLab에서 간편하게 Kubernetes 환경 전반의 문제를 빨리 확인하고 트러블슈팅 할 수 있어요.

파이프라인 실행 정책 유형은 사용자가 일반 CI job, 스크립트, 명령의 실행을 지원할 수 있는 보안 정책의 새로운 유형입니다. 보안·컴플라이언스 팀은 이 기능을 사용해 맞춤화된 GitLab 보안 스캐닝 템플릿, GitLab 또는 파트너 지원 CI 템플릿, 서드 파티 보안 스캐닝 템플릿, CI job을 통한 커스텀 보고 규칙 또는 GitLab CI를 통한 커스텀 스크립트/규칙을 시행할 수 있어요. 또 정책을 만들고 관리하는 지정된 보안·컴플라이언스 팀원이 중앙에서 실행을 관리할 수 있어요.

• ‘Merge 확인’으로 변경 요청 해결될 때까지 MR merge 차단

• AI 기반 ‘취약점 설명’ GA 출시…취약점 이해, 악용 방지 도움

• 파이프라인 Secret Detection 커스텀 ruleset 지원 확대…git·url로 원격 ruleset 구성

• GitLab서 삭제된 브랜치, Jira 개발 패널서 제거

최근 클라우드 네이티브 환경, 임시 서버, SRE와 카오스 엔지니어링 영향으로 옵저버빌리티 데이터가 늘어 관련 비용이 증가하고 있습니다. 데이터를 인덱싱하고, 이를 핫 스토리지에 저장하면서 비용이 더 들기도 하고요. CPU, 메모리 소비에 따른 인프라 비용 상승, 복잡한 옵저버빌리티 비용 구조도 영향을 주죠. 요즘 많은 기업이 옵저버빌리티 비용을 줄이려 안간힘을 쓰는데요. 이러한 비용 절감 노력은 2024년 옵저버빌리티 트렌드로 꼽힙니다.

옵저버빌리티 비용에는 도구 비용, 사용 메트릭, 리소스 활용, 데이터 관리 등이 영향을 미치는데요. 이 비용을 줄이려면 먼저 데이터를 정확히 파악하고 분류해야 합니다. 인덱싱은 비용이 많이 들기에 자주 검색하는 데이터로 제한하고요. 데이터를 카테고리에 따라 적절한 스토리지로 라우팅해야 하죠. 또 필요에 따라 로그를 메트릭으로 변환하고요. 모든 데이터를 무기한 저장하지 않습니다. 옵저버빌리티 비용이 증가하는 배경과 이 비용을 절감하는 방법을 더 자세히 알아보세요.

• KitOps: 모델, 코드, 메타데이터, 아티팩트 공유, 관리에 사용하는 패키지 지원
• LangChain: 모듈화된 아키텍처로 커스텀 LLM 애플리케이션 개발 도움
• Pachyderm: 데이터 변환 자동화 
• ZenML: MLOps 파이프라인 생성 추상화로 데이터 전처리, 모델 훈련, 평가, 배포 도움
• Prefect: 태스크와 플로 개념으로 머신러닝 파이프라인 구성
• Ray: 모델 개발 중에 머신러닝 워크로드 쉬운 확장 지원
• Metaflow: AI 프로젝트의 프로토타입→프로덕션 실행에 필요한 통합 API 제공
• 기타: MLflow, Kubeflow, Seldon core, DVC, Evidently AI, Mage AI, ML Run, Kedro, WhyLogs, Feast, Flyte, Featureform, Deepchecks, Argo, Deep Lake, Hopsworks feature store, NannyML, Delta Lake