AI 모델을 두 번 선정하게 된 이유
처음 Document Workspace(가제)를 설계할 때까지만 해도 어떤 AI 모델을 사용할지 대략적으로 정해 놓았었다. 메인 모델 하나 혹시 모를 상황에 대비한 대체 모델(fallback) 하나. 선택 기준은 단순했다. 당시 공개된 AI 성능 평가에서 좋은 성능을 보였던 모델들이었다. 이미 여러 평가에서 좋은 결과를 보인 모델들이니 실제 제품에서도 충분히 좋은 선택이 될 거라고 생각했다.
그런데 제품을 만들던 중 문득 그 생각이 들었다. 사용자마다 컴퓨터 사양이 다른데, 내가 정한 모델이 모든 환경에서 가장 좋은 선택일까?
Document Workspace는 사용자의 컴퓨터에서 AI 모델을 실행하는 제품이다. 누군가는 성능이 좋은 컴퓨터를 사용하겠지만, 누군가는 그렇지 않을 것이다. 같은 모델이라도 어떤 환경에서는 빠르고 안정적으로 동작할 수 있지만, 다른 환경에서는 실행 자체가 부담스러울 수도 있다.
그렇다면 공식 벤치마크에서 점수가 높은 모델을 선택하는 것만으로는 부족하지 않을까? 이 생각을 그냥 넘어갈 수 없었다. 그래서 결국 제품에 맞는 벤치마크를 간단하게라도 직접 만들어 보기로 했다.
모델을 어떻게 비교할 것인가
먼저 컴퓨터 성능에 따라 몇 가지 그룹으로 나누었다. 같은 모델이라도 컴퓨터 사양에 따라 실행할 수 있는지, 얼마나 원활하게 작동하는지가 달라질 수 있기 때문이다. 그리고 단순히 정답을 얼마나 잘 맞히는지만 평가하지 않기로 했다. Document Workspace는 단순 챗봇처럼 일반적인 질문에 얼마나 똑똑하게 답하는 것이 중요한 게 아니라 여러 문서에서 필요한 정보를 찾고 정리하는 제품이다. 그래서 모델을 선정하는 기준을 다음과 같이 정했다.
- 실행 가능 여부: 해당 컴퓨터 사양에서 모델이 정상적으로 작동하는가?
- 필수 통과 기준(Hard Gate): 정해진 답변 형식을 지키고, 실행 오류 없이 동작하며, 문서 속 악의적인 지시를 따르지 않는가?
- 제품 적합성(Product Fit): 문서에 근거해 답변하거나 요약하는 등 실제 제품에서 필요한 작업을 얼마나 잘 수행하는가? 작업별 중요도를 반영한 점수로 순위를 정했다.
- 속도와 안정성: 답변을 만드는 데 얼마나 걸리고, 실행 중 오류는 얼마나 발생하는가?
- 대체 모델: 선택한 모델에 문제가 생겼을 때 사용할 수 있도록 다른 계열의 모델도 함께 확보한다.
이렇게 선정 기준을 세운 이유는 명확했다.
공식 벤치마크 점수가 아무리 높더라도 실제 작업에서 필요한 형식으로 결과를 내지 못하거나, 실행 도중 반복적으로 실패하거나, 문서에 없는 내용을 사실처럼 만들어 낸다면 사용자에게 좋은 경험을 제공하기 어렵기 때문이다.
또한 하나의 컴퓨터 환경에서 좋은 결과가 나왔다고 해서 모든 사용자의 컴퓨터에서 같은 결과를 기대할 수는 없었다.
예상과 달랐던 결과
모델들을 비교하면서 예상과 다른 결과도 있었다. 처음에는 당시 새롭게 공개된 모델 중 하나를 가장 유력한 후보로 생각했다. 공식 벤치마크에서도 좋은 평가를 받고 있었기 때문이다.
그런데 실제 테스트에서는 오히려 이번 평가에서 가장 낮은 평가를 받았다. 처리 시간이 가장 길었고, 메모리와 CPU 사용량도 높았다. 다른 모델들이 대부분 통과했던 자동 평가 항목에서도 실패가 유독 많았다.
벤치마크에는 자동으로 판단하기 어려운 항목을 사람이 직접 검증하는 절차도 마련해 두었다. 예를 들어 AI가 문서에 없는 내용을 사실처럼 만들어 낸 것으로 의심되지만, 자동 평가만으로 확실하게 판단할 수 없는 경우가 있다. 이런 항목은 섣불리 정답이나 오답으로 처리하지 않고 판단을 보류한 뒤 직접 확인하도록 했다.
하지만 가장 기대했던 모델은 이런 애매한 항목을 검토하기 이전에 자동 평가에서 명확하게 실패한 항목이 압도적으로 많았다.
물론 이것만으로 해당 모델이 다른 모델보다 전반적으로 성능이 떨어진다고 단정할 수는 없다. 테스트 환경이나 설정, 평가 항목에 따라 결과는 달라질 수 있다. 다만 적어도 내가 만들고 있는 제품의 요구사항과 이번 평가 조건에서는 기대했던 결과를 보여주지 못했다.
그런데 모델을 다시 바꾸게 되었다
이렇게 모델을 선정한 뒤 제품 개발을 이어갔다. 그런데 PDF 문서의 내용 처리 기능을 검증하면서 새로운 문제를 마주했다.
PDF에는 텍스트뿐 아니라 이미지와 차트도 포함되어 있다. 문서에서 필요한 정보를 찾고 답변을 생성하려면, 이러한 자료에 담긴 내용도 제대로 이해하고 분석할 수 있어야 했다.
PDF에서 내용을 추출하는 작업과 별개로, 이미지와 차트에 담긴 정보를 AI 모델이 얼마나 정확하게 이해하는지도 확인해야 했다. 그래서 이 작업에 대한 검증을 추가로 진행했고, 그 결과 모델 선정 순위가 다시 바뀌었다.
다행히 완전히 새로운 모델을 찾아야 했던 것은 아니었다. 앞서 선정했던 1순위와 2순위 모델의 순위가 서로 바뀌었을 뿐이었다. 하지만 이 작은 변화가 의미하는 바는 적지 않았다.
처음 벤치마크를 만들 때는 실제 제품에 필요한 작업을 충분히 고려했다고 생각했다. 그런데 제품을 개발하면서 새로운 검증 항목이 생겼고, 그 결과 기존의 판단도 달라진 것이다.
결국 제품에 맞는 모델을 찾는다는 것
처음에는 어떤 AI 모델이 가장 뛰어난지를 고민했다. 하지만 이번 경험을 거치면서 질문이 조금 달라졌다.
내가 만들고 있는 제품에서 어떤 모델이 가장 적합한가?
아직 제품 개발은 진행 중이고, 앞으로도 새로운 문제를 마주할 것이다. 그때마다 처음의 선택을 고집하기보다는 실제 결과를 바탕으로 판단하려고 한다.