AI가 틀릴 때, 그건 실수일까 선택일까?
AI를 쓰다 보면 말은 꽤 그럴듯한데 어딘가 맞지 않는 답을 마주칠 때가 있습니다. 그럴 때 우리는 보통 이렇게 말합니다.
"역시 아직 인공지능 완벽하지 않네." 혹은 조금 더 솔직하게 "헛소리하네."
아마 이 정도면 꽤 점잖은 표현일 겁니다. 그런데 문득 궁금해졌습니다. AI는 왜 그런 답을 만들어냈을까요? 단순히 틀렸다고 판단하는 것과 그 답이 만들어진 과정을 이해하는 것은 조금 다른 문제입니다.
AI는 어떻게 답을 선택할까
사람은 정답을 알고도 실수할 때가 있습니다. 잘못 기억하거나, 상황을 오해하거나, 의도했던 것과 다른 선택을 하기도 하죠. 그래서 누군가 실수하면 우리는 자연스럽게 묻습니다. "왜 그랬을까?" 무엇을 알고 있었는지, 어떤 판단을 했는지, 무엇을 의도했는지 궁금해지는 겁니다.
하지만 인공지능에게 이 기준을 그대로 적용할 수 있을지는 조금 생각해 볼 필요가 있습니다.
하지만 AI가 답변을 만들어내는 방식은 다릅니다. 대규모 언어 모델(LLM)은 입력된 문맥과 학습된 파라미터를 바탕으로 다음에 올 토큰의 확률을 계산합니다. 그리고 그 결과를 이용해 토큰을 하나씩 생성하며 답변을 완성합니다. 이때 반드시 확률이 가장 높은 토큰만 선택하는 것은 아닙니다. 어떤 생성 방식을 사용하느냐에 따라 다른 토큰이 선택될 수도 있습니다. 중요한 건, 이 과정이 사람이 정답을 떠올리고 의식적으로 선택하는 방식과는 다르다는 점입니다.
틀린 답은 왜 나왔을까
AI의 답변이 틀렸다고 느껴질 때도 그 답은 문법적으로 자연스럽고, 앞뒤 맥락에도 어느 정도 맞는 경우가 많습니다. 완전히 엉뚱한 말이라기보다는 그럴듯하게 들리는 잘못된 답인 셈이죠.
그렇다고 AI가 단순히 우리가 기대한 것과 다른 선택을 했을 뿐이라고 볼 수는 없습니다. AI가 답을 만들어내는 방식과 그 답이 실제로 옳은지는 서로 다른 문제입니다. AI는 입력된 문맥을 바탕으로 답변을 생성하지만, 그 결과가 사실과 다르거나 논리적으로 틀릴 수도 있습니다. 또 사실관계는 맞더라도 우리가 원했던 답변과 다를 수도 있구요.
여기서 한 가지 더 생각해 볼 부분이 있습니다. AI의 답변이 틀렸다는 사실은 변하지 않지만, 그 결과가 만들어진 과정을 살펴보면 다른 질문을 할 수 있습니다. "왜 하필 이런 답이 나왔을까?"
AI는 주어진 문맥과 생성 조건에 따라 여러 가능한 출력 중 하나를 만들어냅니다. 그렇다면 어떤 조건이 그 결과에 영향을 주었는지 살펴볼 수 있겠죠. 물론 모든 오류가 질문 방식 때문에 발생하는 것은 아닙니다. 학습 데이터의 한계나 모델 자체의 능력 부족, 필요한 정보의 부재 등도 잘못된 답변의 원인이 될 수 있습니다.
따라서 중요한 건 AI가 틀렸다는 사실을 부정하는 것이 아니라, 왜 틀렸는지 구분하는 것입니다.
답을 바꾸려면 무엇을 바꿔야 할까
이 지점에서 프롬프트와 맥락, 조건 설정의 중요성이 드러납니다.
같은 모델이라도 어떤 정보를 제공하고, 무엇을 요구하며, 어떤 제약을 두느냐에 따라 답변이 달라질 수 있기 때문입니다.
그래서 요즘 "이런 결과를 얻으려면 이렇게 물어보세요"와 같은 프롬프트 공유가 많아지는 것이기도 합니다. 단순히 정답을 요구하는 것이 아니라, 원하는 결과가 나올 가능성을 높이도록 조건을 설정하는 것이죠.
다만 프롬프트만 잘 작성한다고 모든 오류가 사라지는 것은 아닙니다.
모델이 필요한 지식을 갖고 있지 않거나, 문제를 해결할 능력이 부족하다면 질문을 아무리 잘 바꿔도 정확한 답을 얻기 어려울 수 있습니다.
그럴 때는 필요한 자료를 함께 제공하거나, 외부 도구를 활용하거나, 다른 모델을 사용하는 방법도 생각해야 합니다.
결국 AI를 잘 활용한다는 것은 좋은 질문을 작성하는 능력만을 의미하지 않습니다. 어떤 문제를 해결하려는지 이해하고, 그 문제에 맞는 조건과 도구를 선택하는 능력도 중요합니다.
AI가 틀린 답을 내놓았을 때, 그저 실망하고 넘어갈 수도 있습니다. 하지만 왜 그런 답이 나왔는지 살펴보면 다음에는 무엇을 바꿔야 할지 생각할 수 있습니다.
AI를 이해한다는 것은 답이 맞고 틀렸는지를 아는 데서 그치지 않고, 어떤 조건에서 신뢰할 수 있고 어디에서 오류가 발생할 수 있는지 이해하는 것입니다.
AI가 정말 의미를 이해하는지 궁금하다면, AI는 정말 이해하고 있을까? 에서도 이 질문을 조금 더 깊이 살펴봤습니다.