GLM-5 모델의 소개와 핵심 아키텍처 혁신

## GLM-5 모델의 소개와 핵심 아키텍처 혁신
GLM-5는 인간이 프롬프트를 작성하여 코드를 생성하던 기존의 바이브 코딩 방식을 넘어, 인공지능 에이전트가 스스로 계획을 수립하고 코드를 구현하며 반복적으로 수정하는 에이전틱 엔지니어링 시대를 열기 위해 개발된 차세대 플래그십 모델입니다. 이 모델의 총 매개변수 규모는 이전 세대인 GLM-4.5의 3,550억 개에서 7,440억 개로 두 배 이상 크게 확장되었으며, 활성화 매개변수 역시 320억 개에서 400억 개로 증가하여 훨씬 더 복잡한 추론을 수행할 수 있습니다. 특히 딥시크 희소 주의력 기법을 아키텍처에 새롭게 통합 적용하여, 12만 8천 토큰 이상의 방대한 문맥을 처리할 때 연산량을 절반 가까이 줄이면서도 정보의 손실이나 논리적 깊이의 훼손 없이 모델을 훈련하고 추론할 수 있게 되었습니다. 또한 다중 잠재 주의력 구조에 헤드별로 행렬 직교화를 적용하는 분할 뮤온 최적화 기법을 도입하여 그래픽 처리 장치의 메모리 사용량을 대폭 절감하면서도 강력한 성능을 유지하도록 설계되었습니다.

## 사전 학습 및 데이터 확장
GLM-5의 기반 모델을 훈련하는 사전 학습 과정에서는 총 28.5조 개의 토큰이 사용되었으며, 이는 이전 세대의 23조 개에서 크게 상향된 수치입니다. 웹 데이터, 다양한 소스 코드 저장소, 그리고 난이도가 높은 수학 및 과학 문서 등 고품질의 데이터를 선별하여 집중적으로 학습시켰습니다. 특히 학습 과정에서 여러 개의 토큰을 동시에 예측하여 추론 속도를 높이는 다중 토큰 예측 기법을 적용할 때, 3개의 다중 토큰 예측 계층에서 파라미터를 서로 공유하도록 설계했습니다. 이를 통해 딥시크 V3 모델과 동일한 수준의 메모리 비용을 유지하면서도 더 긴 길이의 토큰을 안정적으로 채택하고 예측 속도를 높였습니다. 중간 학습 단계에서는 컨텍스트 창의 크기를 4K에서 시작하여 32K, 128K를 거쳐 최종적으로 최대 20만 토큰까지 점진적으로 확장하는 전략을 취해, 방대한 소프트웨어 코드베이스나 긴 대화 기록을 한 번에 효과적으로 처리할 수 있는 능력을 갖추었습니다.

## 사후 학습과 강화 학습 인프라의 진화
GLM-5의 사후 학습은 지도 미세 조정, 추론 강화 학습, 에이전트 강화 학습, 일반 강화 학습, 그리고 온폴리시 교차 단계 증류라는 매우 세분화된 다단계 파이프라인으로 구성되어 있습니다. 지도 미세 조정 단계에서는 사용자 지시를 수행하기 전 반드시 사고 과정을 거치는 교차 사고 기능과, 다중 턴 상호작용 내내 이전의 사고 궤적을 버리지 않고 재사용하는 보존된 사고 기능을 도입하여 복잡한 정보의 손실을 막았습니다. 강화 학습 과정에서는 슬라임이라는 독자적인 비동기식 인프라를 활용하여 궤적 생성 과정과 모델 훈련 과정을 서로 다른 장치로 완전히 분리함으로써 GPU 대기 시간을 없애고 훈련 처리량을 극대화했습니다. 에이전트의 긴 궤적을 훈련할 때 발생하는 재토큰화 불일치 문제를 해결하기 위해 텍스트 변환 없이 토큰 단위로 직접 처리하는 게이트웨이를 도입했습니다. 더불어 오프폴리시 환경의 불안정성을 제어하기 위해 직접 양면 중요도 샘플링 및 토큰 수준 클리핑 기법을 적용하여 훈련의 신뢰성을 높였습니다.

## 에이전틱 엔지니어링과 사무 자동화 기능
이 모델은 단순히 코드 스니펫을 생성하는 것을 넘어 1만 개 이상의 실제 소프트웨어 엔지니어링 환경과 격리된 터미널 환경에서 자율적으로 문제를 탐색하고 해결하도록 훈련되었습니다. 프론트엔드 개발 평가를 위해서는 생성된 코드를 실행한 후, 인공지능이 실제 사용자처럼 사용자 인터페이스를 직접 클릭하고 시각적 레이아웃을 검증하는 에이전트 애즈 어 저지 프레임워크를 도입하여 실무 수준의 엄격한 검증을 통과하도록 설계되었습니다. 슬라이드 생성 환경에서는 정적 마크업 속성뿐만 아니라 런타임 렌더링 특성과 시각적 미학까지 평가하는 다층 보상 시스템을 구축하여 매우 세련된 결과물을 만듭니다. 특히 GLM-5는 텍스트나 소스 자료를 입력받아 제품 요구사항 정의서, 재무 보고서, 메뉴얼 등 최종 결과물을 실제 워드 문서, 피디에프, 엑셀 스프레드시트 파일의 형태로 즉각 도출하는 오피스 기능까지 구현하여 일반 지식 노동자들의 업무 생산성을 혁신적으로 끌어올립니다.

## 하드웨어 최적화와 압도적인 벤치마크 평가 결과
중국의 다양한 자체 하드웨어 생태계에 적응하기 위해 화웨이 어센드를 포함한 7개의 주요 칩 플랫폼에서 풀스택 최적화를 진행했으며, W4A8 혼합 정밀도 양자화 및 고성능 퓨전 커널을 통해 단일 노드 시스템에서도 국제적인 듀얼 GPU 클러스터에 필적하는 뛰어난 성능을 구현했습니다. 광범위한 평가 결과 GLM-5는 이전 세대보다 평균 20퍼센트 이상의 성능 향상을 이루며 전 세계 오픈소스 모델 중 압도적인 1위를 차지했습니다. 인공지능 지능 지수 평가인 아티피셜 애널리시스 4.0에서 오픈소스 모델 최초로 50점을 돌파했으며, 버클리 대학이 주도하는 엘엠아레나 텍스트 및 코드 부문 모두에서 1위를 기록했습니다. 또한 1년간의 가상 비즈니스를 운영하는 장기 운영 시뮬레이션인 벤딩 벤치 2에서 4,432달러의 수익을 기록하며 강력한 장기 계획 능력을 입증했습니다. 정식 공개 전 포니 알파라는 가명으로 배포되었을 때 사용자들로부터 클로드 소넷 5나 딥시크 V4로 오인될 만큼 뛰어난 성능을 증명했으며, 현재 폐쇄형 상용 모델인 클로드 오퍼스 4.5 및 지피티-5.2 모델들과 대등한 위치에서 경쟁하고 있습니다.