데이터의 체계적인 수집이 중요
“데이터가 없는 기업은 없다”라는 말이 있습니다. 물론 맞는 말입니다. 하지만 제조기업에서 빅데이터 분석에, AI 기술 적용에 필요한 의미 있는 데이터를 보유하고 있는가를 따져보면 전혀 다른 이야기가 됩니다. 예를 들어 불량 개선, 고장 예방을 위한 빅데이터 분석이나 AI를 적용을 위한 필요한 데이터가 있는 지를 들여다 본다면 거의 대부분의 기업들은 “분석할 데이터가 거의 없다.”라고 말할 수 있습니다. 이는 제조업만의 문제가 아니고 대부분의 영역에서도 마찬가지 상황입니다. 빅데이터 분석, AI 적용을 위해서는 어떤 데이터들이 필요하고 어떤 형태로 어떻게 저장해 두어야 하는 지를 알고 데이터를 모았어야 하는데, 그렇지 못했기 때문입니다.

이세돌과 알파고의 이벤트에서 많은 사람들이 인공지능 알고리즘에 주목했지만 사실 간과하고 놓친 것이 이 알고리즘이 제대로 작동하는 데는 많은 양질의 데이터가 있었다는 사실입니다. 알파고를 최고의 바둑기사로 가르치는데 필요한 데이터, 알파고 입장에서는 딥러닝 알고리즘으로 학습할 수 있는 많은 데이터, 많은 바둑고수들의 대국을 기록한 바둑기보가 있었기에 가능했던 것입니다.

지금이라도 기업들은 향후 빅데이터 분석과 AI 적용에 필요한 데이터는 무슨 데이터를, 어떤 주기로, 얼마만큼의 데이터를 수집해야 하고 또 어떤 형태로 보관해야 하는 지를 알고 데이터를 처음부터 체계적으로 수집해야 합니다. 이것부터 서둘러야 합니다. 제조 디지털 전환, 스마트팩토리 본격 추진에 앞서 기초단계에서 최우선적으로 빠트리지 말고 해야 할 일입니다. 

실패 데이터의 중요성

'분석할 데이터가 없다.'라는 주제와 관련하여 ‘실패 데이터’의 부재·부족도 언급하고 싶습니다. 데이터 분석을 해 본 사람이라면 데이터들을 입력(Input)변수인 X인자와 출력(Output)변수인 Y인자 Data의 보유와 구분이 얼마나 중요한지를 잘 알고 있을 것입니다.

생산공정의 입력데이터는 주로 인수검사결과 공정검사결과 공정조건과 같은 것들 해당하고 출력변수로는 주로 완제품 검사결과와 같은 것들이 해당합니다. 그리고 이 데이터들 중에서도 특히 '실패 데이터'들이 중요한데 이 실패 데이터를 보유하고 있지 않거나 턱없이 부족한 경우가 많습니다.

'실패 데이터'라고 하면 공정 중에 발생산 부적합·불량에 대한 기록이나 고객으로부터의 클레임 이력 설비의 고장이력 등이 이에 해당합니다. 아무런 문제가 없는 상태의 데이터 수 십만 개, 수 천만 개 보다 실패한 상태의 데이터 수 백 개, 수 천 개가 훨씬 값진 데이터 라는 것을 꼭 기억하셔야 합니다. 그러니 미래를 위해서는 비록 내가 아니더라도 후배들을 위해서라도 실패 데이터를 절대 버려서는 안 됩니다.

데이터를 보유하고 있다는 것은 데이터베이스에 보관하고 있는 데이터라는 의미여야 한다

데이터가 있다 하더라도 데이터가 활용할 수 없는 상태로 보유하고 있다, 즉 데이터가 사일로 형태로 흩어져 저장되어 있는 것입니다. 이는 주로 어느 정도 규모가 있는 중견기업이나 대기업의 경우에 해당하는 경우도 많습니다. Data가 생산설비, 검사설비에 보관되어 있거나 생산설비, 검사설비에 연결된 PC에 저장되어 있는 것입니다. 이것은 데이터 전문가들이 활용할 수 없기 때문에 데이터가 없는 것이나 마찬가지입니다.

무슨 데이터가 저장되어 있는지, 데이터가 어느 위치에 얼마 만큼 있는지를 모르니 데이터 활용 전문가들은 이들을 일일이 다 확인하고 한곳에 모으는 작업을 해야 합니다. 이런 작업들을 해 줄 별도의 인원을 기업에서 보유하고 있지 않으니 말입니다. 어쩌면 고급 인재들이 아까운 시간을 소모하고 있는 것이라고도 볼 수 있습니다.

중소기업에서 생기는 문제는 데이터를 아예 가지고 있지 않거나 또는 데이터를 종이문서에 보관하거나 엑셀 파일 형태로 보관하고 있는 것입니다. 이 역시 데이터를 바로 사용할 수 없으니(데이터를 다 모아서 연결해야 하기 때문에), 이 작업이 선행되지 않은 한 데이터가 없는 것이나 마찬가지 입니다.

이 중에서도 가장 최악의 상태는 Excel 파일로 데이터를 보관하고 있는 것입니다. 왜 이것이 가장 큰 문제라고 하냐면, 해당 문서를 작성한 담당자가 퇴사를 한다던가 다른 부서로 전근 배치를 받아서 1~2년이 지나고 나면 데이터를 어디에 어느 파일에 보관하고 있는 지 찾을 길이 없는 경우가 허다하게 발생하기 때문입니다. 차라리 이럴 바에는 종이문서에 적어서 보관하는 편이 나을 수도 있습니다. 그러면 문자인식 AI로 데이터를 다시 불러와서 저장하면 되니 말입니다. 필자의 관점에서 ‘데이터를 보유하고 있다’는 이야기는 ‘MES 서버와 같은 Data Base에 데이터를 보관하고 있다'는 것입니다. 그래서 최근에 ‘데이터 레이크’에 대한 이야기가 많이 회자되고 있는 것입니다.

준비되지 않은 데이터

세번째로는 데이터를 가지고 있더라도 연결되어 있지 않고 Data 파일로 보관하고 있지 않거나 연결된 Data 파일을 불러올 수 있는 쿼리를 만들어 놓고 있지 않다는 것입니다.

우리 속담에 ‘구슬이 서 말이라도 꿰어야 보배’라는 말이 있습니다. 데이터도 마찬가지 입니다. 분석 또는 최적화에 필요한 데이터들이 서로 연결되어 있어야 합니다. 디지털 전환의 가장 핵심은 데이터를 활용하는 것이고, 스마트팩토리 데이터 분석에서도 가장 중요한 개념이 '데이터 연결분석'입니다. 결국 디지털 전환, 스마트팩토리를 구축하는 하는 목적이 이 데이터 연결분석이라고 할 수 있습니다. 그런데 이 데이터 연결분석은 데이터들이 연결되어 있어야 가능합니다. 기업은 연결분석에 필요한 데이터들을 데이터 활용 전문가(빅데이터 전문가와 AI 전문가)들이 언제라도 불러와 사용할 수 있는 상태로 연결된 파일의 형태로 보관하거나 불러올 수 있는 쿼리를 준비해 두어야 빅데이터 분석과 AI 적용이 가능해집니다.

아래의 그림은 교육 자료에 사용하는 내용으로, 스마트팩토리 교육 전체 과정에서 가장 중요하고 강조하는 페이지입니다. 통합DB Set 구성을 함에 있어 각 생산 공정별, 검사 공정별로 각각의 생산설비와 검사장비 및 ERP, MES 등에 기록·저장되고 있는 기초 Data를 활용하여 통합DB Set으로 연결하여 구성하도록 강조합니다.