Grok 4.8의 2.5T, 도대체 얼마나 큰 모델일까?

GROK 4.8 / 2.5 TRILLION

2.5T 모델은
얼마나 큰 걸까?

일론 머스크가 예고한 Grok 4.8의 크기를 숫자 대신 ‘거대한 종합병원’으로 바꿔 설명해 봤다.

“Grok 4.8, which is a 2.5T model trained with our new C++ software stack, will finish training this week and start RL”

— Elon Musk, 2026-09-14

01 / SHORT ANSWER

2조 5천억 개의 조절 다이얼

AI 업계에서 ‘2.5T 모델’이라고 하면 보통 2.5 trillion, 즉 2조 5천억 개의 파라미터를 가진 모델이라는 뜻으로 읽는다. 파라미터는 학습 과정에서 조정되는 숫자다. 문맥, 단어 관계, 문제 해결 패턴 같은 것을 담는 수많은 작은 다이얼이라고 생각하면 쉽다.

Grok 4.8은 쉽게 말해 2,500,000,000,000개의 다이얼을 조정하며 학습하는 초거대 AI다.

다만 머스크의 짧은 게시물에는 ‘2.5T parameters’라고 명시돼 있지 않고, 상세 모델 카드도 아직 나오지 않았다. 따라서 이 숫자가 총 파라미터를 뜻하는지, 매 순간 계산에 참여하는 활성 파라미터를 뜻하는지는 확인이 필요하다.

02 / SCALE

유명 모델과 비교하면

VS GPT-3 175B약 14.3×2020년 공개된 GPT-3보다 파라미터 수 기준 약 14배

VS LLAMA 3.1 405B약 6.2×Meta의 Llama 3.1 405B와 비교하면 약 6배

VS GROK-1 314B약 8.0×xAI가 공개한 초기 Grok-1과 비교하면 약 8배

저장 공간도 만만치 않다. 모델 가중치만 단순 계산하면 16비트 정밀도에서 약 5TB, 8비트에서 약 2.5TB, 4비트로 압축해도 약 1.25TB다. 실제 실행에는 캐시와 중간 계산을 위한 메모리가 더 필요하다. 개인용 PC 한 대가 아니라 여러 AI 서버가 함께 처리하는 규모다.

03 / ANALOGY

거대한 종합병원으로 생각해 보자

전문의는 많지만, 모두가 한꺼번에 진료하지는 않는다

1. 질문이 들어오면 안내 데스크가 성격을 파악한다.
2. 수학, 코딩, 언어 등 관련 전문팀 몇 곳만 호출한다.
3. 나머지 전문팀은 대기한다.

이 방식이 MoE(Mixture of Experts, 전문가 혼합)다. 모델 전체에는 많은 전문 영역이 들어 있지만, 한 단어를 처리할 때는 일부 전문가만 선택해 계산한다. Google의 Switch Transformer 연구는 이런 희소 활성화 방식으로 파라미터 수를 크게 늘리면서도 계산량을 억제할 수 있음을 보여줬다.

TOTAL PARAMETERS

병원에 등록된 전체 전문 인력. 모델의 저장 용량과 전체 수용력을 가늠하는 숫자다.

ACTIVE PARAMETERS

질문 하나를 처리할 때 실제로 일하는 인력. 추론 속도와 비용을 판단할 때 중요하다.

초기 Grok-1은 xAI가 공식적으로 공개한 3,140억 파라미터 MoE 모델이었다. 그렇다고 Grok 4.8도 같은 구조라고 단정할 수는 없다. xAI가 활성 파라미터 수와 구조를 공개해야 실제 계산 규모를 알 수 있다.

04 / INTELLIGENCE

크기가 6배면 지능도 6배일까?

아니다. 파라미터 수는 능력을 담을 수 있는 그릇의 크기이지, 지능 점수 그 자체가 아니다.

성능은 학습 데이터의 양과 품질, 모델 구조, 실제 학습 계산량, 후속 강화학습, 도구 사용 능력에 따라 달라진다. 시험 문제를 학습 데이터에서 이미 봤는지도 따져야 한다. 다이얼이 많아도 제대로 학습시키지 못하면 큰 모델이 작은 모델보다 못할 수 있다.

따라서 지금 확실히 말할 수 있는 것은 물리적 규모가 업계 최상위권이라는 것이다. “가장 똑똑한 AI”라는 결론은 RL이 끝난 뒤 독립적인 평가 결과가 나와야 내릴 수 있다.

05 / TRAINING

“훈련을 끝내고 RL을 시작한다”는 말

학교에 비유하면 교과서 전체를 읽는 예비학습을 마치고, 이제 과외 선생님과 문제를 풀며 답변 습관과 추론 방식을 교정하기 시작한다는 뜻이다.

즉, 거대한 기본 모델을 만드는 단계가 거의 끝났다는 뜻이지 제품이 완성됐다는 뜻은 아니다. RL과 후속학습, 안전성 조정, 실제 평가가 남아 있다. 새 C++ 소프트웨어 스택 역시 모델의 지능을 직접 나타내는 숫자가 아니라, 이런 대규모 학습을 수행하는 기반 기술에 관한 설명이다.

06 / BOTTOM LINE

결국 2.5T는 어떻게 읽어야 할까?

Grok 4.8은 엄청난 수의 전문 지식을 담을 수 있는 ‘초대형 종합병원’에 가깝다. 하지만 실제 답변에 몇 명의 전문의가 투입되는지, 교육의 질이 어땠는지, 실전 시험에서 어떤 성적을 내는지는 아직 모른다. 2.5T는 기대할 만한 크기이지만 성능 보증서는 아니다.

SOURCES

참고 자료

1. Elon Musk, Grok 4.8 관련 게시물
2. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
3. Language Models are Few-Shot Learners, GPT-3 175B
4. Meta, Introducing Llama 3.1 405B
5. xAI, Open Release of Grok-1

조사 기준일: 2026-09-15 · Grok 4.8의 상세 아키텍처와 활성 파라미터 수는 아직 공개 확인되지 않았다.