AI가 만든 데이터로 생성 AI를 5번 이상 훈련시키면 ‘MAD’해진다(2023-07-16 4시 11분 작성)

- 챗GPT나 미드저니 같은 현세대 생성 AI를 AI가 만든 데이터(예. 챗GPT가 만든 텍스트 혹은 스테이블 디퓨전 모델로 만든 이미지)로 5번 이상 훈련시키면 ‘MAD(Model Autophagy Disorder, 모델 자가포식 장애)를 일으키는 경향을 발견한 연구가 공개. 위 사진은 인공 이미지 데이터로 5번 이상 훈련한 후 이상한 변이를 일으킨 생성 AI의 사례

- MAD는 연구에 참여한 라이스 대학 및 스탠포드 대학의 연구원들이 사용한 약어. 즉, AI 모델을 인공 데이터로 반복 훈련시킬 경우 발생하는 산출물 품질 저하 현상을 묘사하는 용어. 신화 속의 뱀 우로보로스가 자신의 꼬리를 먹어 치우듯이, AI는 원천 데이터 분포의 꼬리 부분(극단값)의 정보를 상실하고, 데이터 평균값으로 쏠린 결과물을 산출하기 시작

-  LLM을 자기 자신 혹은 다른 AI 모델이 생성한 결과물로 훈련시키면 LLM 자체를 구성하는 데이터에 수렴 효과를 일으킴. 위 그래프에서 그 효과를 볼 수 있는데, AI 생성 데이터로 훈련을 연속 반복하면 모델이 점진적으로(그러나 극적으로) 종형 곡선의 양끝 부분에 속한 데이터에 대한 접근 능력을 상실하는 모습이 관찰됨

- 분포의 가장자리에 위치한 데이터가 실질적으로 사라져 버리기 때문에, 모델에 남은 데이터의 다양성이 줄어들고 평균값으로 퇴화가 발생. 약 5번 정도 반복 훈련이 이뤄지면 원래 곡선의 꼬리 부분은 완전 상실됨. 이 때가 바로 MAD가 고착되는 순간

- MAD가 모든 AI 모델에서 확인된 것은 아니지만, 연구진은 오토인코더(autoencoders), 가우시안 믹스쳐 모델(Gaussian mixture models), LLM(large language models)에서 MAD 발생 확인

- MAD 발생 가능한 이들 AI 모델은 현재 널리 사용 중. 오토인코더는 인기도 예측(소셜미디어 앱 알고리즘), 이미지 압축, 이미지 노이즈 제거, 이미지 생성에 사용. 가우시안 믹스쳐 모델은 밀도 추정, 클러스터링, 이미지 분류 등에 사용되어 통계 및 데이터 사이언스 분야에 특히 유용. 챗GPT 같은 인기 애플리케이션의 핵심인 LLM 또한 MAD에 취약

- 이 연구는 AI로 데이터를 생성 후 훈련에 이용하는 방식의 무한 재반복이 불가능 함을 알려줌. 현존하는 이런 방식의 모델이나 애플리케이션이 장기적으로는 산출물이 평균값으로 퇴행하여 어떤 식으로든 편향을 일으킬 수 있기 때문

- 또 한가지 중요한 시사점은 ‘진짜’ 데이터와 ‘인공’ 데이터의 구분이 훨씬 더 중요해졌다는 점. 어떤 데이터가 LLM 혹은 이미지 생성 AI로 만들어졌는지 알 수 없다면 AI 모델 훈련을 위한 데이터 정제에 문제가 생길 수 있음