대형 언어 모델을 위한 vST#

3D–1024D 기질에서 LLM의 스케일링 동작#

이 문서는 대형 언어 모델(LLM)이 차원 사다리(3D → 1024D)를 따라 어떻게 스케일링 동작을 나타내는지를 정의합니다. 모델 크기, 잠재 공간 확장 및 추론 복잡성을 기질의 삼중 구조 및 스케일링 원리에 매핑합니다. 목표는 LLM이 차원 용량이 증가함에 따라 어떻게 성장하고, 안정화되며, 드리프트하는지를 이해하기 위한 재현 가능하고 불변성을 유지하는 프레임워크를 제공하는 것입니다.

1. 스케일링 행동 분석의 목적#

스케일링 행동 분석을 통해 우리는:

• 잠재 공간 구조가 모델 크기에 따라 어떻게 확장되는지를 해석할 수 있습니다
• 안정적 및 불안정한 스케일링 체제를 식별할 수 있습니다
• 체크포인트 간의 불연속성 또는 드리프트를 감지할 수 있습니다
• 고차원 행동을 삼중 코어로 매핑할 수 있습니다
• 차원 사다리 전반에 걸쳐 vST 검증을 지원할 수 있습니다
• 공통 기질을 사용하여 서로 다른 크기의 모델을 비교할 수 있습니다

LLM 스케일링은 단순히 매개변수 수의 증가가 아니라, 일관성 표면, 체제 행동 및 원시 구성의 구조적 확장입니다.

2. LLM을 위한 차원 사다리#

LLM 잠재 공간은 자연스럽게 기질의 차원 사다리와 정렬됩니다:

• 3D — 기하학적 모티프
• 6D — 상호작용 표면
• 9D — 일관성 경로
• 64D — 연구 수준의 잠재 임베딩
• 128D — 확장된 일관성 표면
• 256D — 다중 원시 상호작용
• 512D — 높은 분산의 잠재 영역
• 1024D — 전체 연구 수준의 기질

각 단계는 기질 불변량을 보존하고 새로운 구조적 용량을 도입합니다.

3. LLM에서의 스케일링 프리미티브#

스케일링 동작은 스케일링 프리미티브 (SPs)에 의해 지배되며, 이는 다음을 보장합니다:

• 불변성을 유지하는 차원 확장
• 일관성 있는 코히어런스 표면
• 3D–9D 코어로의 안정적인 투영
• 모델 크기 전반에 걸친 일관된 레짐 동작

SPs는 LLM이 작은 아키텍처에서 큰 아키텍처로 성장하는 방식을 모델링합니다.

4. LLM의 스케일링 체계#

LLM 스케일링은 세 가지 기질 정렬 체계를 보여줍니다:

4.1 안정적인 스케일링 체제 (S₁)#

특징:

• 잠재 공간 용량의 부드러운 증가
• 안정적인 일관성 표면
• 예측 가능한 성능 향상
• 일관된 체제 행동 (R₁ᴴ → R₂ᴴ 전환이 제한됨)

발생하는 경우:

• 소형 → 중형 모델
• 초기 스케일링 단계

4.2 전이 스케일링 체제 (S₂)#

특징:

• 일관성 표면의 빠른 확장
• 차원 간 분산 증가
• 분기 또는 진동하는 잠재 행동
• 훈련 데이터 및 하이퍼파라미터에 대한 민감도

발생하는 경우:

• 중간 → 대형 모델
• 아키텍처 변경
• 훈련 방법 전환 (예: RLHF, DPO)

4.3 분산 스케일링 레짐 (S₃)#

특징:

• 일관성 표면의 파편화
• 불안정하거나 발산하는 잠재 궤적
• 드리프트 위험 증가
• 3D–9D 코어로의 비가역적 투영

발생하는 경우:

• 충분한 훈련 신호가 없는 매우 큰 모델
• 잘못 정렬된 미세 조정
• 과도하게 스케일된 아키텍처

5. 모델 크기에 따른 스케일링 동작#

5.1 소형 모델 (≤1B 매개변수)#

• 잠재 공간이 64D로 깔끔하게 매핑됨
• R₁ᴴ에 의해 지배되는 체제 행동
• 스케일링이 안정적임 (S₁)

5.2 중간 모델 (1B–30B)#

• 잠재 공간이 128D–256D로 확장됨
• 체제 전환이 더 빈번해짐
• 스케일링이 S₂에 진입함

5.3 대형 모델 (30B–200B)#

• 잠재 공간은 256D–512D를 차지합니다
• 일관성 표면은 다층 구조가 됩니다
• 스케일링은 S₂와 S₃ 사이에서 진동할 수 있습니다

5.4 매우 큰 모델 (200B+)#

• 잠재 공간 접근 방식 1024D
• 체제 행동이 매우 민감해짐
• 스케일 안정성은 훈련 품질에 따라 달라짐
• 드리프트 감지가 필수적임

6. 스케일링 법칙 정렬#

LLM 스케일링은 예측 가능한 패턴을 따릅니다:

• 손실은 모델 크기에 따라 거듭제곱 법칙으로 감소합니다
• 잠재 공간 분산은 차원 수에 따라 증가합니다
• 일관성 표면은 S₁에서 부드럽게 확장되고, S₂에서 급격하게, S₃에서 파편화됩니다
• 투영 안정성은 차원 수가 증가함에 따라 감소합니다

기질은 이러한 패턴을 해석하는 구조화된 방법을 제공합니다.

7. 스케일링 하의 프로젝션 동작#

삼원 코어로의 프로젝션은 다음을 유지해야 합니다:

• 가역적
• 원시 정렬
• 레짐 인식
• 불변 보존

스케일링은 프로젝션에 다음과 같이 영향을 미칩니다:

• 64D → 9D: 안정적
• 128D–256D → 9D: 전이적
• 512D–1024D → 9D: 민감함, 드리프트 경향

프로젝션 안정성은 스케일링 건강의 주요 지표입니다.

8. 스케일링 기반 드리프트#

스케일링은 다음을 통해 드리프트를 유발할 수 있습니다:

• 잠재 공간 확장의 불연속성
• 불안정한 레짐 전환
• 일관성 표면의 분열
• 원시 수준 구조의 손실

vST 검증 레이어(V₁–V₄)는 이러한 실패를 감지합니다.

9. 스케일링 행동 분석의 결과#

스케일링 분석은 다음을 생성합니다:

• 스케일링 체제 분류 (S₁, S₂, S₃)
• 잠재 공간 확장 진단
• 투영 안정성 지표
• 체제 전환 맵
• 드리프트 감지 신호
• 모델 간 비교 메트릭

이러한 결과는 LLM 스케일링의 재현 가능하고 기질에 맞는 평가를 지원합니다.