열린 세미나: NVIDIA 젯슨 개발자 밋업

이미지를 위한 딥러닝 모델을 생각한다면 아마도 CNN(Convolutional Neural Network)이 가장 먼저 떠오를 거예요. 하지만 비전 트랜스포머(Vision Transformer, ViT)가 등장하고, 직접 모델을 학습시키기보다는 거대한 데이터셋으로 사전 학습된 모델을 많이 사용하다 보니 CNN의 위상이 예전만큼은 못하게 되었죠. 딥마인드의 연구팀은 모델 학습에 같은 비용을 썼을 때, CNN이 사람들의 생각처럼 ViT보다 성능이 떨어지는지 확인하기 위해 실험을 진행했습니다. 데이터셋은 약 40억 장의 이미지가 포함된 'JFT-4B'가 사용됐고, CNN 모델은 다양한 크기의 NFNet(Normalizer-Free Network)으로 설정했습니다. 이미지넷(ImageNet)으로 이미지 분류 테스트를 진행한 결과, TPU 코어 시간*과 오답률 사이의 관계는 'Scaling law**'를 만족하였고, NFNet을 파인튜닝했을 경우 ViT와도 성능이 비슷했다고 해요. 모델보다 데이터와 연산량이 중요했던 걸까요?

생성 모델로 이미지를 만들다 보면 결과 이미지가 텍스트 프롬프트의 일부를 반영하지 못 하는 일이 비일비재해요. 예를 들어 파란색 꽃과 초록색 꽃을 하나씩 그리려고 했는데, 파란색과 초록색이 섞인 꽃 이미지가 생성되거나 꽃이 두 송이가 아닐 때가 있죠. 이 논문은 원인을 데이터셋 품질에서 찾고 있는데요. 스테이블 디퓨전 모델을 학습시키는 데 사용된 'LAION' 데이터셋은 인터넷에 업로드된 이미지와 대체 텍스트(Alt text)로 이뤄져 있는데, 일반적으로 대체 텍스트는 이미지를 상세히 묘사하는 경우가 잘 없기 때문에 퀄리티가 낮다는 문제가 있어요. 그래서 논문에서는 대체 텍스트 대신 이미지 캡션을 다시 생성하여 모델을 학습시키는 방법인 'RECAP'을 제안합니다. LAION 데이터셋의 일부 이미지를 뽑아서 사람이 캡션을 작성한 다음, 'PaLI'와 같은 캡션 생성 모델을 파인튜닝하고요. 이 모델로 데이터셋 전체의 캡션을 생성하고 이미지 생성 모델을 학습시킵니다. 그 결과 'FID'와 같은 지표로 측정한 정량적 성능이 향상됐고, 사람들에게도 더 나은 평가를 받았다고 해요!

오늘날 기업이 사용하는 데이터의 약 60%가 클라우드 서버에 저장돼 있다고 해요. 특히 아마존의 S3 서비스는 여러 주요 기업들이 데이터 저장을 위해 사용하고 있는데요. S3 서버에는 그만큼 민감한 정보가 많이 저장되어 있기 때문에, 랜섬웨어와 같은 공격의 표적이 되기 쉬워요. 이 기사에서는 S3 저장소를 대상으로 하는 랜섬웨어 공격을 예방하는 몇 가지 방법을 추천하고 있습니다. 우선 클라우드에 누가 어떻게 접근하는지 기록하기 위해, 여유가 된다면 'CloudTrail'과 같은 서비스를 이용하는 것이 좋다고 하고요. 이외에도 랜섬웨어 공격 시나리오를 이해하는 것, 사용자 권한을 적절하게 관리하는 것, 데이터 잠금(Lock) 기능으로 데이터가 삭제되지 못 하게 보호하는 것, 별도의 백업 저장소를 구축하는 것 등을 소개하고 있습니다.

모두의연구소에서 새롭게 런칭한 성장형 SW/AI 교육 플랫폼 '오름캠프'의 강창훈 주강사가 무료 핸즈온랩 세미나를 열었습니다🤗. 몇 자리 안 남았으니 서두르세요!