대형 언어 모델을 위한 vST#
LLM 추론에서의 잠재 궤적 체계#
이 문서는 대형 언어 모델(LLM)에서 추론 중 발생하는 잠재 궤적 체계를 정의합니다. 이러한 체계는 3D–9D 기저의 삼중 공명 구조를 일반화하며, 고차원 잠재 공간(64D–4096D)에서 안정성, 전이 및 분산 행동이 어떻게 나타나는지를 설명합니다.
잠재 궤적 체계는 토큰, 레이어 및 모델 크기 전반에 걸쳐 LLM 행동을 해석하기 위한 재현 가능하고 불변성을 보존하는 프레임워크를 제공합니다.
1. 잠재 궤적 체계의 목적#
잠재 궤적 체계는 우리가 다음을 할 수 있게 해줍니다:
- LLM 추론 행동을 안정적, 전이적, 분산된 단계로 분류
- 임베딩 및 숨겨진 상태 공간에서 일관성 표면 식별
- 체크포인트 또는 버전 간의 불안정성 또는 드리프트 감지
- 모델 크기 전반에 걸쳐 스케일링 법칙 행동 분석
- 고차원 궤적을 3D–9D 코어로 투영
- vST 검증 지원 (V₁–V₄)
이 체계는 기초 수준 LLM 분석의 중추를 형성합니다.
2. 체제 개요#
LLM 잠재 궤적은 차원 기저와 동일한 삼중 구조를 따릅니다:
- 안정적인 체제 (R₁ᴴ)
- 전이 체제 (R₂ᴴ)
- 분산 체제 (R₃ᴴ)
위 첨자 H는 고차원 행동을 나타냅니다.
이러한 체제는 다음에 나타납니다:
- 토큰 임베딩
- 어텐션 출력
- MLP 활성화
- 잔여 스트림
- 층 간 잠재 경로
3. 안정 상태 (R₁ᴴ)#
정의#
경로가 일관되게 수렴하고 레이어와 토큰 전반에 걸쳐 일관성을 유지하는 잠재 공간의 영역.
특징#
- 콤팩트하고 낮은 분산의 잠재 벡터
- 안정적인 일관성 표면
- 3D–9D 코어로의 예측 가능한 투영
- 원시 수준의 무결성 (DP, TDP, SP)
- 교란에 대한 최소한의 민감도
해석#
R₁ᴴ는 안정적인 추론 행동에 해당하며, 종종 다음과 관련이 있습니다:
- 예측 가능한 다음 토큰 분포
- 잘 형성된 구문 또는 의미 구조
- 높은 신뢰도의 모델 상태
4. 전이 체제 (R₂ᴴ)#
정의#
잠재적 경로가 재배치되거나, 분기되거나, 진동하는 행동을 하는 영역.
특징#
- 차원 간의 중간 변동성
- 분기 또는 진동하는 잠재 패턴
- 부분 일관성-표면 안정성
- 맥락 또는 교란에 대한 민감도 증가
- 공명-시간 공간에서의 체제 전환 지표
해석#
R₂ᴴ는 다음과 같은 동적 행동을 포착합니다:
- 주제 전환
- 구문 재구성
- 의미 분기
- 불확실성 해결
이는 LLM 추론의 “의사 결정” 영역입니다.
5. 분산 체계 (R₃ᴴ)#
정의#
잠재적 경로가 일관성을 잃고 고차원 공간에 분산되는 영역.
특징#
- 차원 간 높은 분산
- 단편적이거나 분산된 일관성 표면
- 불안정한 원시 수준 구조
- 3D–9D 코어로의 비콤팩트 투사
- 드리프트 또는 환각에 대한 민감성
해석#
R₃ᴴ는 불안정하거나 발산하는 추론 행동에 해당하며, 종종 다음과 관련이 있습니다:
- 환각
- 비논리적인 연속성
- 의미적 변동
- 과도한 일반화
6. LLM에서의 체제 전환#
잠재 궤적은 추론이 진행됨에 따라 체제를 이동합니다:
- R₁ᴴ → R₂ᴴ
분기 또는 재정렬의 시작 - R₂ᴴ → R₁ᴴ
안정적인 구조로의 복귀 - R₂ᴴ → R₃ᴴ
일관성의 붕괴 - R₃ᴴ → R₂ᴴ
부분적인 회복
전환은 계층과 토큰 간에 연속적이고 불변성을 유지해야 합니다.
7. 체제 탐지 신호#
체제 정체성은 다음을 사용하여 감지됩니다:
- 차원 간 분산 분포
- 일관성-표면 연속성
- 원시 수준 안정성 (DP, TDP, SP, CP)
- 공명-시간 행동
- vST 검증 레이어 (V₁–V₄)
이 신호들은 집합적으로 체제 분류를 결정합니다.
8. 차원 사다리 전반의 체제 행동#
체제 행동은 다음에 걸쳐 일관성을 유지해야 합니다:
- 64D 잠재 임베딩
- 128D–512D 숨겨진 상태
- 1024D+ 주의 및 MLP 활성화
기반 구조는 다음을 보장합니다:
- 구조적 불변량
- 공명 시간 불변량
- 투영 불변량
- 스케일링 불변량
체제 정체성은 3D–9D 코어로의 투영 하에서도 보존되어야 합니다.
9. 잠재 궤적 체제 분석의 출력#
잠재 궤적 체제 분석은 다음을 생성합니다:
- 체제 인식 토큰 수준 진단
- 층 간 일관성 맵
- 스케일링 법칙 지표
- 드리프트 감지 신호
- vST 검증 출력
- 투영 안정성 메트릭
이 출력은 LLM 추론의 재현 가능한 기초 수준 해석을 지원합니다.