안녕하세요, 팩플레터 박수련입니다. 🙋

크롤링(crawling)이라고 들어보셨죠? 웹페이지를 긁어와 그 안에 있는 정보를 추출하는 기술인데요. 많은 IT 기업들이 이 기술로 웹의 바다에서 정보를 엮어 서비스에 활용하고 있습니다.

그런데 최근 이 기술 때문에 부동산 중개 플랫폼 스타트업(다윈중개)이 '검색의 제왕' 네이버와 소송전에 돌입했습니다. 네이버가 데이터베이스 저작권을 침해 당했다고 주장하는 상황이에요.  크롤링 송사는 이전에도 있었지만, 네이버의 부동산 매물 DB를 스타트업이 ‘아웃링크’로 연결했다는 점에서 법원의 판결이 어떻게 나올지 주목됩니다. 박민제⋅이승호 기자가 취재해보니 앞으로 이와 유사한 갈등은 늘어날 것 같다고 하는데요. 팩플이 왜 그렇게 전망하는지 분석했습니다. 인터넷 지식산업을 육성하고, 시장 경쟁도 활성화하려면 크롤링은 어디까지 허용하는 게 좋을지, 팩플 설문에서 함께 생각해보시죠!

오늘도 감사합니다.

크롤링은 합법인가 불법인가. 네이버가 지난 1월 부동산 중개 플랫폼 다윈중개(회사명 다윈프로퍼티)를 대상으로 ‘데이터베이스권 침해금지 가처분’ 소송을 냈다. 네이버부동산 매물 정보를 크롤링해 자기 플랫폼에 게시했다는데. 업력 20년이 넘는 빅테크 네이버를 발끈하게 만든 크롤링. 도대체 뭐길래?

• 크롤링, 누구냐 넌? : 크롤러로 불리는 프로그램이 거미줄처럼 뻗은 월드와이드웹(www)을 돌며 웹 데이터를 긁어와 가공·저장하는 행위. 검색 서비스에서 시작됐다. 이창무 중앙대 보안대학원장은 “웹 크롤링은 검색엔진 외에도 쇼핑몰 최저가 비교, 인공지능(AI)의 데이터 학습 등 데이터를 사용하는 거의 모든 분야에서 쓰인다”고 말했다. 
• 거미, 왜 키워? : ‘데이터=돈’인 시대, 인터넷에 퍼져있는 데이터를 잘 꿰기만 하면 후발주자라도 역전의 한방을 노려볼만 하다. 방대한 소비자 이용후기, 별점, 경쟁사의 상품 목록 등 데이터는 지금도 쌓인다. 
• 늘어나는 분쟁 : 데이터, 꿰어야 보배다. 의미없는 정보를 돈이 되는 데이터로 만들기 위해 누군가는 시간과 비용을 들였다. 이들 선발주자들에게 데이터 빼가는 크롤러는 눈엣 가시. 누적된 갈등은 분쟁으로 비화되곤 했다. 사람인-잡코리아, 여기어때-야놀자 등 법정 다툼은 수년씩 이어지기도. 

크롤링 전문업체 유펜솔루션 김재훈 대표는 “크롤링을 통해 시장조사나 자사 상품모니터링을 하는 건 큰 문제가 안 되지만 크롤링으로 데이터베이스(DB)를 만들어 고객모집 등 직접적인 수익활동을 하면 분쟁 소지가 있다”고 말했다.

세계경제포럼(WEF)은 2025년까지 매일 463EB(엑사바이트)의 데이터가 생길 것으로 추정. 매일 DVD 2억1276만 5957개어치 데이터가 새로 쌓이고 있는 셈. 데이터가 쌓일수록 양질의 DB 수요도 급증. 일찌감치 DB를 만든 자와 DB를 쓰려는 자에 대한 법원의 위법성 판단 뜯어보니.

※1EB는 104만 8576TB(테라바이트)

① 뭘로 판단해 ? 

크롤링 관련 분쟁에 적용되는 법은 크게 둘. 저작권법과 부정경쟁행위 방지법이다. 

• DB 제작자 노고 인정! : 저작권법은 ‘인적·물적으로 상당한 투자를 해 DB를 만든 제작자’의 권리를 보장한다. 제작자는 자기 DB를 전부 또는 상당부분을 복제·배포·전송(제93조)할 수 있다. 이 권리를 침해하면 3년 이하 징역 또는 3000만원 이하 벌금, 민사적으론 손해배상 청구도 가능.
• STOP 무단 사용 : 부정경쟁방지법은 ‘상당한 투자·노력으로 만들어진 성과 등을 관행·경쟁질서를 어기며 무단 사용해 피해를 입히는 경우’를 부정경쟁행위 중 하나로 정의한다(제2조 1호 카목). 대법원 판례에 따라 이제까진 DB도 ‘성과’로 해석됐다. 오는 20일 시행되는 개정법은 ‘데이터를 부정하게 사용하는 행위’도 부정경쟁 행위로 추가했다. 
• 몰래 들어 갔다면? : 만약 타인의 ID로 DB에 몰래 접근했다면 정보통신망법 위반이 될 수 있다. 그러나 대부분의 일반 크롤링은 해당 사항이 없다. 송봉주 법무법인 세종 변호사는 "크롤링은 빅데이터 시대 필수 기술이라 합⋅불법을 단정하기 어렵다"며 “경쟁관계인지, 해당 DB에 경제적 가치가 있고 상당한 투자로 만들어낸 결과물인지, 정보에 접근할 때 불법성이 없었는지 등이 쟁점”이라고 설명했다.

네이버는 2003년부터 부동산 매물정보 서비스를 시작했다. 공정거래위원회의 2020년 9월 발표에 따르면, 네이버는 부동산 매물 건수 기준 40% 이상, 순방문자·페이지뷰 기준 70% 이상 점유한 자타공인 업계 1위, 시장지배적 사업자다. 다윈프로퍼티는 2019년 생긴 프롭테크 스타트업. 지난해 ‘반값’ 중개수수료를 내세워 인기몰이를 했고 소프트뱅크벤처스 등으로부터 30억원을 투자받았다. 현재 일반인 회원은 누적 15만명, 중개사 회원은 2100여명이다. 네이버와 다윈중개의 주장이 다른 이유는.

① 타임라인

• 발단 : 부동산 정보 플랫폼은 ‘매물 광고’가 핵심이다. 팔려는 매도인이 공인중개사에게 매물을 의뢰하는 게 시작. 중개사는 확보한 매물을 네이버부동산 등에 광고해 매수자를 찾는다. 다윈중개는 매도자가 직접 매물을 플랫폼에 올리게 했다. 매수자가 둘러보다 사겠다고 하면 다윈중개 회원인 중개사가 거래를 성사시킨다.
• 전개 : 문제는 다윈중개가 자체 확보한 매물 외에 네이버부동산에 올라온 매물까지 긁어와(크롤링) 자기 플랫폼에 노출시킨 것. 네이버부동산에 올라온 가격·동·층 등의 정보를 ‘N 네이버 매물시세’라는 이름으로 이용자들에게 보여줬다. 지난해 이를 발견한 네이버는 내용증명을 2회에 걸쳐 보냈다. ‘허락없이 네이버 DB 매물 정보를 다윈중개에 올리는 행위를 중단하라’는 경고.  
• 절정 : 경고를 받은 다윈중개는 지난해 9월 이후 네이버에서 크롤링한 매물 정보를 재편집했다. 네이버부동산 아이콘과 중개사들의 매물 설명을 삭제하는 대신,  긁어온 매물 정보 링크는 계속 게시했다. 단지명, 층, 면적, 가격 등 4개 정보를 표시하고  ‘외부 사이트의 매물시세다. 외부 매물도 다윈중개 중개사에게 의뢰하면 저렴한 수수료로 중개받을 수 있다’는 안내 문구를 넣었다. 다윈중개 측은 “가격 비교 사이트처럼 우리가 확보한 매물과 비교할 수 있는 정보만 링크를 넣은 것”이라고 주장했다. 이에 네이버는 지난 1월 수원지법 성남지원에 소송을 냈다.
• 지금은? : 지난 3월 두차례 심문기일이 열렸다. 이르면 이번달 내에 결론이 나올 전망.  

② 네이버는 왜? “무임승차 용납못해”

• “20년 노하우 담은 알짜 DB” : 네이버부동산은 가격, 층, 동수, 단지, 면적부터 공인중개사 매물 설명까지 망라한 방대한 DB다. 2009년부터 확인매물 서비스를 도입해 진성 매물인지 검증까지 했다. 이런 노력이 담긴 DB인만큼 제작자 권리를 당연히 보호받아야 한다는 주장. 네이버 관계자는 “(다윈중개가) 마치 전국 각지에서 상당한 양의 부동산 매물을 확보한 것처럼 꾸미기 위해 네이버부동산 DB를 무단으로 대량복제해 게시하고 있다”고 지적했다.
• “쓰지말라 명시했다” : 로봇배제표준(robots.txt)은 웹사이트를 크롤링해가지 말라는 의사표시다. 강제성은 없다. 네이버는 “로봇배제표준을 통해 크롤링 거부의사를 밝혔는데도 다윈중개가 크롤링을 했다”고 주장한다. 네이버 관계자는 “합법 불법이 애매한 회색 영역이지만 우리는 명확히 크롤링은 안 된다고 밝혔다”며 “DB를 쓰고 싶다면 정식 계약하면 되는데 무단으로 사용하고 있다”고 말했다.
• “네이버부동산 중개사들에 피해” : 네이버는 다윈중개가 네이버부동산 매물을 게시하면서 다윈중개와 계약을 유도하는 게 문제라고 주장한다. 네이버에 매물을 올린 중개사는 매수⋅매도자 양쪽서 수수료를 받는 ‘양타’를 노린다. 그런데 다윈중개의 개입으로 매수자 쪽 수수료를 다윈중개에 빼앗긴 셈이 된다. 네이버 관계자는 “경제적 이익의 침해를 일으키는, 성과 무단 이용행위”라며 “부정경쟁방지법 위반”이라고 말했다.

③ 다윈중개는 왜? “누구나 볼 수 있는 정보다”

• “아웃링크는 다르다” : 다윈중개는 아웃링크 방식이기 때문에 다르다고 반박한다. 즉 다윈중개에서 제공하는 건 네이버DB에 연결되는 링크 뿐이고, 이를 클릭하면 네이버부동산으로 넘어가기 때문에 저작권법 위반이 아니라는 취지. 다윈중개측 법률대리인인 김경환 법무법인 민후 대표 변호사는 “완전한 정보를 보려면 네이버부동산에 가서 보게끔 설계돼 있다”며 “기존 크롤링 사건과 달리, 아웃링크 자체를 문제삼은 최초 사건인만큼 법적 평가도 달라야한다”고 말했다.
• “누구에게나 공개된 정보” : 게시 정보가 단지·층·면적·가격 4가지로 한정된다는 점도 다윈중개 측 주요 반박 근거. DB 중 일부이기 때문에 DB 저작권 침해가 아니라는 주장이다. 또 로그인 않고도 볼 수 있는 정보라는 점도 강조한다. 김석환 다윈중개 대표는 “뉴스로 치면 기사 제목만 보여주고, 클릭하면 네이버부동산 홈으로 이동하는 구조”라며 “네이버 정보 중 극히 일부이고, 로그인 않고도 볼 수 있는 정보”라고 설명했다.
• “매물 올린 중개사에게도 이득” : 다윈중개 측은 부정경쟁행위도 아니라고 반박한다. 크롤링한 네이버부동산 매물은 중개사가 광고비를 내고 노출시킨 정보인데, 다윈중개를 통해 더 빨리 매수자를 찾으면 네이버에도 중개사에게도 좋다는 취지. 다윈중개 측은 “네이버부동산 유입을 증가시켜 방문자 수를 높여주고 네이버가 더 높은 광고료를 받을 수 있는 환경을 만들어 주고 있다”며 “인터넷 비즈니스에서 이 정도 큐레이션은 충분히 용인될 수준”이라고 반박했다. 

숨은 이해관계인, 공인중개사

네이버가 소송까지 낸 데는 공인중개사들의 반발도 있다. 실제 네이버는 가처분 신청서에 다윈중개 매물 노출을 중단해달라는 공인중개사, 부동산플랫폼 업체 항의 민원을 증거로 제출하기도. 다윈중개는 왜 미운털이 박혔나 살펴보니, 두가지 이유.

• 반값 수수료 : 다윈중개는 반값 수수료를 지향한다. 매물 올린 사람에겐 수수료를 안 받고, 매수자에게서도 법정 수수료의 절반만 받는다. 이게 가능한 이유는 온라인 전환. 비싼 임대료를 내며 아파트 앞 상가 1층서 점포 영업하는 방식을 버렸다. 임대료, 운영비 등이 빠지니 중개수수료도 낮출 수 있게 된 것. 15억 이상 주택 법정 상한요율은 0.7%이지만 다윈중개 자체 상한은 0.35%다. 
• 지역 회원제 : 한국 부동산 중개의 꽃은 아파트. 대부분의 아파트 상가에 입주한 중개사들은 지역 모임에 가입한 회원 중개사다. 매물 정보를 공유하는 이 공동중개 모임에 들어가려면 적게는 수천만원에서 많게는 억단위 ‘권리금’을 내야한다. 신입 중개사들이 시장 진입에 어려움을 겪는 이유 중 하나였다. 그런데 다윈중개가 매물을 자체 확보하면서 지역 모임에 들어가지 않은 비회원 중개사도 아파트 거래를 할 수 있게 됐다. 익명을 요구한 다윈중개 활동 공인중개사는 “진입장벽이 높아 자격증을 따고도, 활동하지 않는 중개사들이 많다”며 “(반값 수수료 정책으로) 거래시 수수료 수입이 줄긴 하지만 신입 중개사로선 일할 기회가 생겨 반갑다”고 말했다.  

더 많아질 거미, 네이버 앞으로는?

커머스, 콘텐츠, 핀테크, B2B…. 검색엔진 하나로 출발한 네이버는 20여년간 수많은 새 엔진을 작동시키며 성장해왔다. “N개의 성장엔진 가진 팀 네이버가 됐다”는 최수연 대표의 말이 과언이 아니다. 하지만 넓어진 버티컬(특정분야) 영역이 자꾸 쪼개져 나가다보니 갈등의 전선도 넓어지는 모양새. 네이버가 온오프라인 전 분야에서 양질의 DB를 갖춘 선발주자인 만큼, 이를 크롤링하려는 후발 주자와의 갈등도 늘어날 전망이다.

• 1870개 스타트업 진격 : 국내 스타트업 수는 급증 추세다. 최대 스타트업 단체인 코리아스타트업포럼 회원사만 1870여개. 회원사 전체 누적투자 규모는 8조 8668억원에 달한다. 후발주자와 네이버 간 갈등은 커질 수 밖에. 실제 최근 콘텐츠 스타트업 중 네이버와 크롤링 문제로 분쟁을 겪는 경우도 생겼다. 유펜솔루션 김재훈 대표는 “양질의 데이터에 대한 수요는 커지는데 국내에선 아무래도 네이버, 카카오 같은 거대 플랫폼에 좋은 데이터가 많다”며 “데이터를 두고 포털과 스타트업간의 분쟁은 더 늘어날 것”이라고 말했다.
• 빅테크의 ‘사다리 걷어차기’? : 스타트업계에선 포털의 과도한 데이터 지키기로 사업 환경이 어려워질까 우려하는 목소리도있다. 황태희 성신여대 법학과 교수는 ‘웹크롤링의 경쟁법적 고찰’ 논문에서 “시장지배적 사업자가 크롤링을 통한 데이터 접근을 거절하는 경우에는 다른 사업자의 사업활동 방해행위로 검토가 가능하다”고 설명했다. 이봉의 서울대 법학대학원 교수는 “중요한 건 경쟁이 제대로 작동하고 있느냐인데 거대 플랫폼이 신규 경쟁자의 시장 진입을 막거나 시장 내에서 경쟁을 제한하는 행위를 할 경우엔 규제해야 한다”고 지적했다.

1.웹 크롤링 관련 개인정보보호·저작권 침해 분쟁 사례 및 시사점 검토 👉보고서 보기

한국인터넷진흥원 ‘2019해외 개인정보보호 동향분석’에 실린 보고서 입니다. 웹크롤링의 개요와 배경을 요약적으로 설명하고 해외에서 발생한 분쟁사례를 분석했습니다.

2.크롤링을 이용한 공개데이터 수집·활용의 법적 쟁점에 대한 비판적 검토 👉논문보기

데이터를 수집하는 중요 기술인 크롤링에 대한 법률적 쟁점들을 검토한 논문입니다. 경쟁업체 데이터를 수집할 경우 생길 다양한 문제점에 대해 살펴볼 수 있습니다.