목차
모델이 클수록 AI가 강해질까?
요즘 뉴스나 미디어에서 데이터센터 이야기를 정말 지겹게 듣고 있다. 어느 회사가 데이터센터에 수십조 원을 투자한다거나, 안정적인 전력 공급을 위해 원전을 짓는다는 소식이 하루가 멀게 들린다. 심지어는 우주에 데이터 센터를 지을 계획이라는 이야기도 있다.
조금 과장해서 말하면 지금 AI 산업은 모델을 만드는 산업이 아니라 전기를 먹는 거대한 컴퓨터를 만드는 산업처럼 보일 때도 있다.
그렇다면 질문이 하나 생긴다.
왜 AI를 잘 만들기 위해 데이터센터가 이렇게까지 중요해졌을까?
물론 답은 단순하다. AI 모델을 학습하려면 엄청난 계산이 필요하기 때문이다. 하지만 여기서 한 단계 더 들어가 보면 생각보다 복잡한 문제가 나온다.
컴퓨팅 자원이 있다고 하자. 그 자원을 어디에 써야 할까? 모델의 파라미터 수를 늘려야 할까? 더 많은 데이터를 넣어야 할까? 아니면 같은 모델을 더 오래 학습시켜야 할까?
지금처럼 AI 기업들이 수십만 개의 GPU를 확보하는 시대에는 당연한 질문처럼 보이지만 불과 몇 년 전까지만 해도 이 질문에 명확한 답은 없었다. 그리고 이 질문에 처음으로 수학적인 답을 제시한 연구가 있었다.
2020년 OpenAI가 발표한 Scaling Laws for Neural Language Models다. 이 논문은 단순히 "큰 모델이 더 좋다"라는 것을 보여준 연구가 아니다.
AI가 얼마나 커지면 얼마나 좋아지는지, 그리고 제한된 컴퓨팅 자원을 어떻게 배분해야 하는지를 예측할 수 있는 시대를 연 논문이었다.
하지만 여기에는 반전이 있다. 이 논문이 제시한 공식대로 업계가 모델을 키워가기 시작한 뒤 2년 후 다른 연구가 나타났다. 그리고 이렇게 말했다.
우리는 모델을 너무 크게 만들고 있었다.
그 논문이 바로 Chinchilla이다.
왜 기존에는 답을 알 수 없었을까
Scaling Laws 이전에도 사람들은 큰 모델이 성능이 좋다는 것을 알고 있었다. 문제는 "얼마나 크게 만들어야 하는가"였다. 모델의 크기를 두 배로 늘리면 성능은 얼마나 좋아질까? 데이터를 두 배 더 넣으면? 학습 시간을 두 배로 늘리면? 이 세 가지 중 어디에 돈을 쓰는 것이 가장 효율적일까?
당시에는 대부분 직접 해보는 수밖에 없었다. 작은 모델을 만들고 충분히 학습시키고 성능을 확인한다. 그리고 더 큰 모델을 만들어 다시 학습시킨다.
하지만 모델이 수십억, 수백억 개의 파라미터 규모로 커지기 시작하면 이런 방식은 현실적으로 어려워진다. 한 번의 학습에 엄청난 비용이 들어가기 때문이다.
만약 수천억 원을 들여 모델을 학습했는데 생각보다 성능이 좋지 않다면, 다시 해보는 것은 단순한 실험 실패가 아니다. 엄청난 비용이 날아가는 일이다. 그래서 필요한 것은 감이나 경험이 아니라 예측 가능한 규칙이었다.
작은 규모에서 실험해 보고 그 결과를 이용해 더 큰 규모에서는 어떤 일이 일어날지 예측할 수 있다면 어떨까? Scaling Laws가 풀려고 했던 문제가 바로 이것이었다.
모델의 성능을 결정하는 것은 무엇일까
논문의 기본 질문은 생각보다 단순하다. 언어 모델의 성능을 결정하는 것은 무엇인가?
저자들은 크게 몇 가지 요소에 주목했다.
- 모델 아키텍처
- 모델 크기, 즉 파라미터 수
- 학습 데이터의 양
- 학습에 사용되는 총 연산량
당시에는 모델의 구조 자체도 중요한 변수라고 생각할 수 있었다. Transformer를 얼마나 깊게 쌓을 것인가. 어텐션 헤드를 얼마나 사용할 것인가.
그런데 실험은 흥미로운 결과를 보여준다. 같은 파라미터 규모 안에서 모델의 깊이와 너비 비율을 크게 바꾸어도 성능 차이는 생각보다 크지 않았다. 즉, 특정한 구조적 설계보다 더 중요한 것이 있었다.
얼마나 큰 모델을 만들었는가. 얼마나 많은 데이터를 학습했는가. 얼마나 많은 계산을 사용했는가.
물론 이것이 아키텍처가 중요하지 않다는 의미는 아니다. 다만 충분히 큰 규모의 언어 모델에서는 "어떻게 생겼는가"보다 "얼마나 크게 학습했는가"가 성능에 훨씬 강한 영향을 미칠 수 있다는 것이었다. 이것은 이후 AI 연구의 방향을 바꾸는 발견이었다.
성능은 생각보다 예측 가능했다
Scaling Laws의 가장 중요한 발견은 모델을 키우면 성능이 좋아진다는 사실 자체가 아니다. 그 개선이 일정한 패턴을 따른다는 것이다.
모델의 크기, 데이터의 양, 그리고 컴퓨팅 자원을 각각 늘려가며 실험했을 때 모델의 Loss는 멱법칙, Power Law에 가까운 형태로 감소했다.
쉽게 말하면 이런 것이다. 모델을 크게 만들수록 성능은 좋아진다.
하지만 모델을 두 배 크게 만들었다고 성능이 두 배 좋아지는 것은 아니다. 점점 더 많은 자원을 투입해야 조금씩 더 나아진다. 그럼에도 중요한 것은 이 관계가 무작위가 아니라는 점이었다. 성능 향상의 곡선이 비교적 매끄럽고 예측 가능한 형태를 유지했다. 이것이 의미하는 바는 컸다. 작은 모델에서 몇 번 실험해 본 결과를 이용해 훨씬 큰 모델의 성능 추세를 어느 정도 예측할 수 있게 된 것이다.
이전까지 거대 모델 개발은 상당 부분이 경험과 시행착오의 영역이었다. Scaling Laws 이후에는 적어도 이런 질문을 할 수 있게 됐다.
모델을 10배 키우면 Loss는 얼마나 줄어들까? 같은 모델에 데이터를 더 넣는 것이 나을까? 아니면 모델을 키우는 것이 나을까?
AI 모델의 성능이 처음으로 예측 가능한 공학 문제가 되기 시작했다.
그렇다면 컴퓨팅 자원은 어디에 써야 할까
여기서 논문의 가장 실용적인 질문이 등장한다. 컴퓨팅 예산이 정해져 있다면 어떻게 해야 할까?
예를 들어 같은 1억 달러를 사용할 수 있다고 하자. 작은 모델을 아주 오래 학습시키는 것이 좋을까? 더 많은 데이터를 넣는 것이 좋을까? 아니면 모델 자체를 크게 만드는 것이 좋을까?
Scaling Laws는 이 문제를 Compute-optimal training의 문제로 접근했다. 그리고 당시 실험 범위에서 나온 결론은 비교적 명확했다. 컴퓨팅 자원이 증가할수록 모델의 크기를 빠르게 키우는 것이 효율적이었다.
데이터와 학습 단계도 증가하지만, 모델 크기만큼 빠르게 증가할 필요는 없었다. 그리고 더 흥미로운 결론이 하나 있었다. 모델을 완전히 수렴시킬 필요가 없었다.
기존의 직관은 이랬다. 하나의 모델을 만들었으면 충분히 학습시켜서 수렴할 때까지 사용한다. 하지만 제한된 Compute 안에서 최고의 성능을 얻는 것이 목표라면 이야기가 달라진다. 작은 모델을 완전히 학습시키는 대신, 더 큰 모델을 만들고 상대적으로 덜 학습시키는 편이 더 좋은 성능을 낼 수 있었다. Scaling Laws의 결론을 아주 단순하게 표현하면 이렇다.
제한된 Compute 안에서 최고의 성능을 얻는 것이 목표라면, 하나의 모델을 완전히 학습시키는 것이 항상 최선은 아니었다. 같은 Compute라면 모델을 더 크게 만들고, 상대적으로 적은 학습 단계만 사용하는 전략이 더 효율적일 수 있었다.
이것은 이후 거대 언어 모델 개발에 강력한 방향을 제시했다.
모델과 데이터는 어떤 비율로 커져야 할까
하지만 여기서 문제가 하나 있다. 모델만 계속 크게 만들 수는 없다.
예를 들어 모델의 파라미터가 엄청나게 많지만, 학습 데이터가 충분하지 않다면 모델은 데이터를 제대로 일반화하지 못할 수 있다. 반대로 데이터가 엄청나게 많아도 모델 자체의 표현 능력이 부족하면 데이터를 충분히 활용하지 못한다. Scaling Laws는 모델 크기와 데이터 크기 사이에도 일정한 관계가 존재한다고 봤다. 모델을 크게 만들 때 데이터를 어느 정도 함께 늘려야 하는지, 그리고 한쪽이 부족할 때 성능에 어떤 손실이 발생하는지를 하나의 손실 함수 안에서 표현하려 했다.
핵심은 단순하다.
큰 모델에는 더 많은 데이터가 필요하다.
다만 당시 논문이 계산한 최적의 비율에서는 모델의 크기가 데이터보다 훨씬 빠르게 증가하는 방향이 효율적이었다. 이 결론은 이후 이야기에서 아주 중요해진다. 왜냐하면 바로 이 지점이 Chinchilla가 다시 계산한 부분이기 때문이다.
그래서 모델은 점점 커졌다
Scaling Laws가 등장한 시기는 GPT-3와 함께 대규모 언어 모델의 가능성이 본격적으로 드러나던 시기이기도 했다. 모델을 크게 만드는 것이 성능 향상에 도움이 된다는 것은 이미 알려져 있었다. 하지만 이제는 그것이 단순한 경험칙이 아니라 일정한 법칙을 따르는 현상처럼 보이기 시작했다. GPT-2에서 GPT-3로 넘어가면서 그 변화는 극적으로 나타났다. GPT-3는 1,750억 개의 파라미터를 가진 모델이었다. 앞서 살펴본 GPT-3가 왜 그렇게 큰 규모로 등장했는지도, 이 흐름에서 이해할 수 있다. 중요한 것은 단순히 숫자가 컸다는 사실이 아니다. GPT-3는 AI 모델 개발에서 하나의 메시지를 상징했다. Scale 자체가 전략이 될 수 있다.
더 많은 Compute. 더 큰 모델. 더 큰 데이터센터.
AI의 발전은 점점 알고리즘만의 문제가 아니게 됐다. 컴퓨팅 자원을 얼마나 확보할 수 있는지가 모델의 성능과 직접 연결되기 시작했다. 그리고 지금 우리가 보는 데이터 센터 경쟁도 이 흐름의 연장선에 있다.
하지만 여기서 이상한 질문이 하나 남는다. 정말 이것이 최적이었을까?
그런데, 우리는 모델을 너무 크게 만들고 있었을지도 모른다
Scaling Laws의 결론은 강력했다. 하지만 모든 Scaling Laws가 그렇듯 중요한 전제가 있다.
어떤 범위에서 측정했는가.
Scaling Laws는 당시 가능한 실험 범위 안에서 모델 크기와 데이터 크기, Compute 사이의 관계를 계산했다. 그리고 그 결과 모델을 빠르게 키우는 것이 효율적이라는 결론에 도달했다.
하지만 2022년 DeepMind의 연구자들은 이 문제를 다시 살펴봤다. 질문은 거의 같았다.
주어진 Compute에서 모델의 크기와 학습 데이터는 어떻게 배분해야 가장 좋은 성능을 낼 수 있을까?
그런데 답은 달랐다.
모델을 크게 만드는 것만으로는 충분하지 않았다.
많은 대형 언어 모델은 당시 Compute-optimal 관점에서 보면 모델 크기에 비해 충분한 학습 토큰을 사용하지 못하고 있었다. 다시 말해, 모델의 규모에 비해 데이터가 부족한 undertrained 상태에 가까웠다. 이 논문이 바로 Training Compute-Optimal Large Language Models, 흔히 Chinchilla 논문으로 불리는 연구다.
Chinchilla는 무엇을 다시 계산했을까
Chinchilla의 핵심은 새로운 아키텍처가 아니다. Transformer를 완전히 새롭게 설계하지도 않았다. 대신 Scaling Laws가 던진 질문을 다시 계산했다. 모델 크기와 데이터 크기는 Compute가 증가할 때 어떤 비율로 함께 증가해야 하는가?
여기서 Chinchilla가 도달한 결론은 Scaling Laws와 크게 달랐다. Scaling Laws에서는 Compute가 증가할수록 모델의 크기를 빠르게 키우는 것이 효율적이었다. Chinchilla에서는 모델과 데이터가 훨씬 더 균형 있게 함께 증가해야 했다.
즉, 모델만 크게 만들면 안 된다.
더 큰 모델을 만들었다면 그 모델이 충분히 학습할 수 있도록 데이터도 함께 늘려야 한다. 이 차이는 생각보다 컸다. 왜냐하면 이젠 Scaling Laws의 공식에 따르면 모델은 빠르게 커지고 데이터는 상대적으로 천천히 증가한다. 반면 Chinchilla는 이렇게 말한다.
더 큰 모델에는 훨씬 더 많은 학습 데이터가 필요하다.
같은 Compute라면 더 큰 모델이 항상 좋은 것은 아니었다
이것이 Chinchilla의 가장 중요한 발견이다. Compute가 제한되어 있다면 모델의 크기를 계속 키우는 것이 항상 최선은 아니다. 때로는 더 작은 모델을 만들고, 그 모델을 훨씬 더 많은 데이터로 충분히 학습시키는 편이 더 좋은 성능을 낼 수 있다.
Chinchilla는 이를 실제 모델로 보여줬다. Chinchilla 모델은 당시 경쟁하던 거대 모델들보다 파라미터 수가 훨씬 작았다. 하지만 훨씬 더 많은 토큰으로 학습했다. 결과적으로 비슷하거나 적은 Compute로도 더 큰 모델들을 능가할 수 있었다. 이것은 단순한 하이퍼파라미터 조정이 아니었다. 당시 LLM 개발의 기본적인 직관을 수정하는 결과였다.
이전의 질문은 "얼마나 큰 모델을 만들 수 있는가?"에 가까웠다면, Chinchilla 이후에는 "이 모델을 충분히 학습시키기 위해 얼마나 많은 데이터를 준비해야 하는가?"라는 질문이 함께 따라오게 됐다.
모델의 크기와 데이터의 새로운 관계
Chinchilla의 결과는 흔히 단순한 숫자로 소개된다. 모델 파라미터 하나당 약 20개의 학습 토큰. 물론 이 숫자 자체를 절대적인 법칙으로 받아들이는 것은 위험하다. 데이터 품질, 모델 아키텍처, 학습 방법에 따라 최적점은 달라질 수 있다. 중요한 것은 숫자가 아니라 방향이다. Scaling Laws가 제시한 Compute-optimal scaling에서는 상대적으로 모델 크기를 빠르게 늘리는 방향이 중요했다. Chinchilla 이후에는 모델을 키우는 것과 데이터를 늘리는 것을 함께 최적화해야 한다는 방향이 더욱 중요해졌다.
이것은 AI 산업에도 직접적인 영향을 미친다. 더 큰 모델을 만들기 위해 GPU만 많이 사면 되는 것이 아니다. 그 모델을 학습시킬 수 있는 충분한 양의 고품질 데이터도 필요하다. Compute가 병목이라면 GPU가 중요하다. 데이터가 병목이라면 아무리 GPU가 많아도 충분하지 않다. LLM의 Scale 문제는 생각보다 단순한 크기 경쟁이 아니었다. Model, Data, Compute 세 가지를 동시에 맞추는 문제였다.
Scaling Laws가 틀렸던 걸까
여기서 자연스럽게 질문이 생긴다. "그렇다면 Scaling Laws는 틀린 논문이었을까?"
나는 그렇게 보지 않는다. 오히려 Chinchilla는 Scaling Laws가 열어놓은 질문을 더 멀리 밀어붙인 연구에 가깝다. Scaling Laws가 중요한 이유는 정확한 숫자 하나를 영원한 법칙으로 제시했기 때문이 아니다. AI의 성능을 Scale의 관점에서 바라보게 했기 때문이다. 그 이전에는 모델을 크게 만드는 일이 상당 부분 경험의 영역이었다. Scaling Laws는 이렇게 질문하게 했다.
모델이 커지면 성능은 어떻게 변하는가?
데이터와 Compute는 어떤 관계를 가지는가?
최적의 학습 전략은 계산할 수 있는가?
Chinchilla는 같은 질문을 더 넓은 조건에서 다시 계산했다. 그리고 이전의 최적점이 최적점이 아닐 수 있다는 것을 보여줬다. 과학에서는 오히려 이것이 정상적인 과정에 가깝다.
하나의 연구가 질문을 정의한다. 그 다음 연구가 더 넓은 조건에서 그 답을 수정한다. 그리고 그 수정된 답이 다시 다음 연구의 기준점이 된다. Scaling Laws와 Chinchilla의 관계도 그렇게 볼 수 있다.
결국 AI는 자원의 문제가 됐다
두 논문을 함께 보면 지금 AI 산업이 왜 이렇게 변했는지 조금 더 명확하게 보인다. Scaling Laws는 AI 모델의 성능이 규모와 함께 예측 가능하게 증가할 수 있다는 것을 보여줬다. Chinchilla는 그 규모를 단순히 모델의 파라미터 수로만 이해해서는 안 된다고 수정했다.
모델. 데이터. Compute.
이 세 가지가 함께 움직여야 했다. 그리고 2026년의 AI 산업에서는 이 세 가지 중 Compute가 현실 세계의 가장 큰 병목 중 하나가 되고 있다. 그래서 기업들은 GPU를 확보한다. 데이터 센터를 짓는다. 전력을 확보한다. 그리고 동시에 더 많은 데이터를 확보하려 한다.
AI의 발전은 더 이상 연구실 안에서 모델 하나를 설계하는 문제만이 아니다. 전력망과 데이터 센터, 반도체 공급망, 데이터 확보 경쟁까지 연결된 산업 문제가 됐다. 처음에 이야기했던 데이터 센터 이야기가 결국 여기로 돌아온다. 데이터 센터를 많이 짓는 이유는 단순히 AI 모델이 크기 때문이 아니다. AI가 Scale할 수 있다는 것을 알게 되었기 때문이다. 그리고 Scaling Laws와 Chinchilla는 그 Scale이 어떤 방식으로 작동하는지를 설명하는 서로 다른 답을 제시했다.
마무리
Scaling Laws는 AI 연구에 하나의 강력한 질문을 던졌다.
AI를 더 똑똑하게 만들기 위해 무엇을 얼마나 키워야 하는가?
그리고 첫 번째 답을 제시했다. 모델을 크게 만들어라. Chinchilla는 그 답을 다시 계산했다. 그리고 말했다. 모델만 키우지 마라. 그 모델이 충분히 배울 수 있도록 데이터도 함께 키워라.
돌이켜보면 두 논문이 남긴 가장 중요한 것은 특정한 파라미터 수나 토큰 비율이 아니다. AI의 성능을 바라보는 방식 자체이다. 좋은 모델 하나를 발명하면 끝나는 것이 아니다. 모델의 구조와 크기. 데이터의 양과 질. 그리고 그것을 학습시키기 위한 Compute. 이 세 가지 사이의 관계를 계속 다시 계산해야 한다. Scaling Laws가 AI에게 "얼마나 크게 만들 수 있는가"라는 질문을 던졌다면, Chinchilla는 한 단계 더 나아갔다.
얼마나 크게 만드는 것이 아니라, 무엇을 함께 키워야 하는가.
그리고 2026년의 AI 산업은 여전히 이 질문에 답하는 중이다.