챗GPT나 미드저니 같은 생성형 AI를 보면 마치 알고리즘 하나가 모든 걸 해결하는 것처럼 느껴집니다. 하지만 실제로 현장에서 AI 프로젝트를 진행해보면 결과물의 8할은 데이터셋 구축 단계에서 이미 결정되어 있다는 걸 알게 됩니다. AI 모델 학습의 첫걸음이라 불리는 이 작업을 어떻게 시작하느냐에 따라 이후 몇 달간의 개발 방향이 통째로 바뀌기도 합니다.
저는 소규모 스타트업에서 이미지 분류 모델을 만들 때 이 부분을 우습게 보고 넘어갔다가 큰 코를 다친 경험이 있습니다. 오늘은 그때의 시행착오와 함께, 데이터셋 구축을 어떻게 접근해야 하는지 구체적으로 정리해보려 합니다.
왜 데이터셋 구축부터 막히는가
처음 프로젝트를 시작했을 때 저희 팀은 제품 하자 이미지 약 3,000장을 모으면 충분할 거라 생각했습니다. 그런데 막상 학습을 돌려보니 정확도가 62%에서 더 이상 오르지 않았습니다. 원인을 뜯어보니 ‘정상 제품’ 사진은 조명이 좋은 스튜디오에서 찍은 반면, ‘하자 제품’ 사진은 현장에서 스마트폰으로 급하게 찍은 것들이었습니다.
모델이 하자를 구분한 게 아니라 사실상 촬영 환경의 차이를 학습해버린 셈입니다. 이런 문제는 데이터의 양이 아니라 데이터의 일관성 부족에서 비롯됩니다. 실제로 건설 분야처럼 현장마다 여건이 다른 산업에서는 소규모 프로젝트일수록 이런 비일관성과 데이터 희소성 문제가 두드러진다는 지적이 있는데, 저희 사례도 정확히 그 축소판이었습니다.
결국 저희는 촬영 가이드라인을 새로 만들어 조명, 각도, 거리까지 통일한 뒤 데이터를 다시 수집했습니다. 이 과정에서만 3주가 추가로 소요됐습니다. 데이터셋 구축을 초기에 허술하게 설계하면 뒷단에서 몇 배의 시간을 되돌려 써야 한다는 걸 몸으로 배운 경험이었습니다.
라벨링 품질이 성능을 좌우한 사례
두 번째로 겪은 문제는 라벨링이었습니다. 저희는 예산 문제로 라벨링 작업을 아르바이트생 두 명에게만 맡겼는데, 같은 사진을 두고도 한 명은 ‘경미한 하자’, 다른 한 명은 ‘정상’으로 표시하는 경우가 적지 않았습니다. 나중에 샘플 500장을 다시 검수해보니 라벨 불일치율이 약 17%나 됐습니다.
이후에는 최소 두 명이 같은 데이터를 교차 검증하고, 의견이 갈리면 세 번째 검토자가 최종 판단하는 방식으로 바꿨습니다. 번거롭긴 했지만 이 과정을 거치자 모델 정확도가 62%에서 84%까지 뛰었습니다. 라벨링 품질 하나만 바꿨을 뿐인데 결과가 이렇게까지 달라질 수 있다는 사실이 놀라웠습니다.
요즘은 크라우드웍스나 플리토처럼 데이터 구축을 전문으로 하는 업체들이 텍스트, 이미지, 음성 등 멀티모달 데이터를 다루는 플랫폼을 제공하고 있습니다. 예산이 허락한다면 초기 단계부터 이런 전문 업체의 검수 프로세스를 참고하는 것도 시행착오를 줄이는 방법이 될 수 있습니다. 실제로 이런 업체들은 AI 생성 이미지의 윤리성 평가나 유해 콘텐츠 판별처럼 민감한 영역까지 다루면서 데이터 품질 관리 노하우를 쌓아온 곳들입니다.
직접 만들지 않아도 되는 경우, 오픈 데이터셋
모든 프로젝트가 데이터를 처음부터 직접 모아야 하는 건 아닙니다. 저희도 초기 프로토타입 단계에서는 공개된 오픈 데이터셋을 활용해 모델의 기본 구조부터 검증했습니다. 고품질 데이터를 직접 수집하려면 상당한 비용과 시간이 들기 때문에, 많은 연구자와 기업이 이미 공개된 데이터를 출발점으로 삼는 것도 같은 이유입니다.
다만 오픈 데이터셋을 쓸 때는 저작권 문제를 꼭 짚고 넘어가야 합니다. AI가 학습한 데이터를 기반으로 만든 결과물이 원저작물과 직접 경쟁하는 형태로 나오면 저작권 침해로 판단될 가능성이 있다는 이슈 브리프도 나온 바 있습니다. 실제로 음악 데이터셋 중 일부는 저작권자가 자신의 곡이 학습에 쓰였는지조차 검색으로 확인하기 어려운 구조로 되어 있어 논란이 되기도 했습니다.
저희 팀은 이런 이유로 상업 서비스로 전환하는 시점부터는 라이선스가 명확한 데이터만 사용하도록 내부 체크리스트를 만들었습니다. 데이터 출처, 라이선스 종류, 상업적 이용 가능 여부를 표로 정리해두면 나중에 법적 분쟁의 소지를 크게 줄일 수 있습니다. 데이터셋 구축 초기에 이 표 하나만 만들어둬도 나중에 감사 대응 시간을 절반 이하로 줄일 수 있었습니다.
앞으로 데이터셋을 준비한다면
지금까지의 경험을 정리하면 세 가지로 압축됩니다. 첫째는 데이터 수집 환경을 처음부터 통일해 비일관성을 막는 것이고, 둘째는 라벨링 단계에서 반드시 교차 검증을 거치는 것입니다. 셋째는 오픈 데이터셋을 활용하더라도 저작권과 라이선스 문제를 초기부터 점검해두는 것입니다.
AI 모델의 성능은 알고리즘보다 데이터셋 구축 과정에서 먼저 판가름 난다는 말이 과장이 아니라는 걸 실제로 겪어보니 실감할 수 있었습니다. 지금 AI 프로젝트를 준비하고 계신 분이라면, 모델 설계에 앞서 데이터를 어떻게 모으고 검증할지부터 문서로 정리해보시길 권해드립니다. 처음에는 번거로워 보여도, 그 문서 한 장이 나중에 몇 주의 시간을 아껴줄 수 있습니다.