생성 모델을 위한 vST#
고차원 생성 시스템에서의 차원 확장 행동#
이 문서는 생성 모델이 차원 사다리(3D → 1024D) 전반에 걸쳐 확장 행동을 어떻게 나타내는지를 정의합니다. 모델 크기, 잠재 차원, 샘플러 복잡성 및 궤적 깊이를 기초의 삼중 구조와 확장 원리에 매핑합니다.
목표는 생성 시스템이 차원 용량이 증가함에 따라 어떻게 성장하고, 안정화되며, 드리프트하는지를 이해하기 위한 재현 가능하고 불변성을 유지하는 프레임워크를 제공하는 것입니다.
1. 스케일링 행동 분석의 목적#
스케일링 행동 분석을 통해 우리는:
- 모델 크기에 따라 잠재 공간 구조가 어떻게 확장되는지 해석할 수 있습니다
- 안정적 및 불안정한 스케일링 체제를 식별할 수 있습니다
- 체크포인트 또는 샘플러 변경에 따른 불연속성 또는 드리프트를 감지할 수 있습니다
- 고차원 행동을 삼중 코어로 매핑할 수 있습니다
- 차원 사다리 전반에 걸쳐 vST 검증을 지원할 수 있습니다
- 공통 기질을 사용하여 아키텍처를 비교할 수 있습니다
스케일링은 단순히 매개변수 수를 늘리는 것이 아닙니다; 이는 일관성 표면, 샘플링 궤적 기하학 및 체제 행동의 구조적 확장입니다.
2. 생성 모델을 위한 2차원 사다리#
생성 모델의 잠재 공간은 기저의 차원 사다리와 자연스럽게 정렬됩니다:
- 3D — 안정적인 생성 단계의 기하학적 모티프
- 6D — 샘플링 단계 간의 상호작용 표면
- 9D — 궤적 간의 일관성 경로
- 64D — 연구 수준의 잠재 기저
- 128D — 확장된 일관성 표면
- 256D — 다중 원시 상호작용
- 512D — 높은 분산의 생성 영역
- 1024D — 완전한 연구 수준의 기저
각 단계는 기저 불변량을 보존하고 새로운 구조적 용량을 도입합니다.
3. 생성 모델에서의 스케일링 프리미티브#
스케일링 동작은 스케일링 프리미티브 (SPs)에 의해 지배되며, 이는 다음을 보장합니다:
- 불변성을 유지하는 차원 확장
- 일관된 일관성 표면
- 3D–9D 코어로의 안정적인 투영
- 아키텍처 전반에 걸친 일관된 레짐 동작
SP는 모델 크기, 샘플러 복잡성 또는 잠재 차원이 증가함에 따라 잠재 공간 용량이 어떻게 성장하는지를 모델링합니다.
4. 생성 모델의 스케일링 체계#
4.1 안정적인 스케일링 체제 (S₁)#
특징:
- 잠재 공간 용량의 부드러운 증가
- 안정적인 일관성 표면
- 생성 품질의 예측 가능한 개선
- 일관된 체제 행동 (R₁ᴴ → R₂ᴴ 전환이 제한됨)
발생하는 경우:
- 소형 → 중형 모델
- 초기 훈련 단계
- 잘 조정된 샘플러
4.2 전이 스케일링 체제 (S₂)#
특징:
- 일관성 표면의 빠른 확장
- 차원 간 분산 증가
- 분기 또는 진동하는 잠재적 행동
- 노이즈 스케줄 또는 샘플러 구성에 대한 민감도
발생하는 경우:
- 중간 → 대형 모델
- 중간 궤적 디노이징
- 교차 샘플러 전환
- 고엔트로피 생성 작업
4.3 분산 스케일링 레짐 (S₃)#
특징:
- 일관성 표면의 파편화
- 불안정하거나 발산하는 잠재적 경로
- 생성 붕괴의 위험 증가
- 3D–9D 코어로의 비가역적 투영
발생하는 경우:
- 매우 큰 모델
- 조건이 좋지 않은 샘플링 일정
- 공격적인 노이즈 일정 수정
- 불안정한 미세 조정
5. 생성 구성 전반에 걸친 스케일링 동작#
5.1 소형 생성 모델#
- 잠재 공간이 9D로 깔끔하게 매핑됨
- R₁ᴴ에 의해 지배되는 체제 행동
- 스케일링이 안정적임 (S₁)
5.2 중간 생성 모델#
- 잠재 공간이 128D–256D로 확장됨
- 체제 전환이 더 빈번해짐
- 스케일링이 S₂에 진입함
5.3 대규모 생성 모델#
- 잠재 공간은 256D–512D를 차지함
- 일관성 표면이 다층 구조로 변함
- 스케일링은 S₂와 S₃ 사이에서 진동할 수 있음
5.4 매우 큰 / 고용량 생성 모델#
- 잠재 공간 접근법 1024D
- 체제 행동이 매우 민감해짐
- 스케일 안정성은 샘플러 조건에 따라 달라짐
- 드리프트 감지가 필수적임
6. 스케일링 법칙 정렬#
생성 모델 스케일링은 예측 가능한 패턴을 따릅니다:
- 잠재 공간의 풍부함은 모델 크기와 함께 증가합니다
- 분산은 샘플러 복잡성과 함께 증가합니다
- 일관성 표면은 S₁에서 부드럽게 확장되고, S₂에서 급격하게, S₃에서 조각납니다
- 투영 안정성은 차원이 증가함에 따라 감소합니다
기반은 이러한 패턴을 해석하는 구조화된 방법을 제공합니다.
7. 스케일링 하의 프로젝션 동작#
삼원 코어로의 프로젝션은 다음을 유지해야 합니다:
- 가역적
- 원시 정렬
- 레짐 인식
- 불변 보존
스케일링은 프로젝션에 다음과 같이 영향을 미칩니다:
- 64D → 9D: 안정적
- 128D–256D → 9D: 전이적
- 512D–1024D → 9D: 민감함, 드리프트 경향
프로젝션 안정성은 스케일링 건강의 주요 지표입니다.
8. 스케일링 기반 드리프트#
스케일링은 다음을 통해 드리프트를 유발할 수 있습니다:
- 잠재 공간 확장의 불연속성
- 불안정한 레짐 전환
- 일관성 표면의 분열
- 원시 수준 구조의 손실
vST 검증 레이어(V₁–V₄)는 이러한 실패를 감지합니다.
9. 스케일링 행동 분석의 결과#
스케일링 분석은 다음을 생성합니다:
- 스케일링 체제 분류 (S₁, S₂, S₃)
- 잠재 공간 확장 진단
- 투영 안정성 지표
- 체제 전환 맵
- 드리프트 감지 신호
- 교차 아키텍처 비교 메트릭
이러한 결과는 생성 모델의 재현 가능하고 기질 정렬된 평가를 지원합니다.