대형 언어 모델을 위한 vST#

용어#

이 부록은 대형 언어 모델을 위한 vST 아티팩트 전반에 걸쳐 사용되는 용어를 정의합니다. 용어는 기판에 구애받지 않고, 모델에 독립적인 방식으로 제시되며, 전체 차원 사다리(3D → 1024D)에서 작동하는 모든 변환기 기반 LLM에 적용됩니다. 정의는 원시 수준 구조, 체제 행동, 스케일링 연속성 및 불변 보존을 강조합니다.

1. 기질 용어#

LLM 기초#

64D–4096D에서 LLM 잠재 공간 행동을 표현하고 해석하기 위한 구조화된 불변 보존 프레임워크입니다.

차원 사다리#

투영 및 스케일링 분석에 사용되는 차원 체계의 정렬된 순서:
3D → 6D → 9D → 64D → 128D → 256D → 512D → 1024D.

일관성 표면#

경로가 수렴하고 구조적 연속성을 유지하는 잠재 공간의 안정적인 영역입니다.

2. 기본 용어#

차원 원시 (DP)#

잠재 공간 구조의 최소 단위로, 지역 일관성과 분산 행동을 포착합니다.

삼원 차원 원시(TDP)#

전체 체제 행동(R₁, R₂, R₃)을 표현할 수 있는 가장 작은 단위를 형성하는 DP의 삼중체입니다.

스케일링 프리미티브 (SP)#

차원 스케일링 중 불변성을 유지하는 규칙 기반 확장 단위입니다.

일관성 원시값 (CP)#

고차원 잠재 공간에서 안정적, 전이적 또는 분산된 영역을 식별하는 최소 단위입니다.

3. 핵심 용어#

삼원적 차원 코어 (TDC)#

해석 가능한 프로젝션에 사용되는 하나 이상의 TDP로 구성된 3D–9D 기판.

3D 구조 코어#

모티프 수준의 기하학과 압축된 잠재 구조를 캡처합니다.

6D 상호작용 코어#

관계 및 주의 기반 구조를 캡처합니다.

9D 일관성 코어#

경로 수준의 일관성과 공명 시간 동작을 캡처합니다.

4. 체제 조건#

고차원 체제 (R₁ᴴ, R₂ᴴ, R₃ᴴ)#

64D–1024D 잠재 공간에서 표현된 삼원 체제 구조.

안정 상태 (R₁ / R₁ᴴ)#

간결하고 일관되며 변동성이 낮은 잠재적 행동.

전이 체제 (R₂ / R₂ᴴ)#

분기, 진동, 또는 재배치 행동.

분산 체계 (R₃ / R₃ᴴ)#

확산된, 단편화된, 또는 불안정한 잠재적 행동.

5. 스케일링 용어#

스케일링 동작#

모델 크기가 증가함에 따라 잠재 공간 용량의 구조적 확장.

스케일링 레짐 (S₁, S₂, S₃)#

안정적, 전이적, 분산 경향이 있는 스케일링 단계를 설명하는 삼원적 스케일링 행동.

차원 연속성#

잠재 공간 확장이 매끄럽고 불변성을 유지해야 한다는 요구 사항.

6. 투영 용어#

가역 투영#

원시 수준 구조와 체제 정체성을 보존하는 고차원 잠재 공간에서 3D–9D로의 투영입니다.

레짐 인식 프로젝션#

R₁, R₂ 및 R₃ 동작의 올바른 매핑을 유지하는 프로젝션입니다.

원시 정렬 투영#

DP, TDP, SP 및 CP 구조를 보존하는 투영입니다.

7. 정렬 용어#

레이어 간 정렬#

변환기 레이어 간의 잠재 궤적 비교.

토큰 간 정렬#

시퀀스의 위치에 따른 잠재 상태 비교.

버전 간 정렬#

모델 버전 또는 체크포인트 간의 잠재 공간 구조 비교.

모델 간 정렬#

다양한 아키텍처 또는 모델 계열 간의 잠재 공간 기하학 비교.

8. 검증 조건#

vST (유효성-공간-시간)#

구조적 일관성, 차원 연속성, 체제 행동 및 핵 정렬을 평가하는 기초 수준의 유효성 검증 프레임워크입니다.

검증 레이어 (V₁–V₄)#

차원 사다리 전반에 걸쳐 불변성을 유지하는 행동을 보장하는 네 개의 구조화된 평가 레이어.

9. 드리프트 용어#

드리프트#

예상되는 기질 동작에서의 편차로, 불안정성 또는 불변 실패를 나타냅니다.

드리프트 카테고리 (D₁–D₄)#

구조적, 치수적, 체제적 또는 투영 드리프트로의 드리프트 분류.

드리프트 심각도#

드리프트 크기 측정(낮음, 보통, 높음).