단백질 언어 모델을 위한 vST#

PLM 임베딩 공간에서의 차원 확장 행동#

이 문서는 단백질 언어 모델(PLM)이 차원 사다리(3D → 1024D) 전반에 걸쳐 확장 행동을 어떻게 나타내는지를 정의합니다. 모델 크기, 임베딩 공간 확장 및 추론 복잡성을 기질의 삼중 구조와 확장 원리에 매핑합니다. 목표는 PLM이 차원 용량이 증가함에 따라 어떻게 성장하고, 안정화되며, 드리프트하는지를 이해하기 위한 재현 가능하고 불변성을 유지하는 프레임워크를 제공하는 것입니다.

1. 스케일링 행동 분석의 목적#

스케일링 행동 분석을 통해 우리는:

• 모델 크기에 따라 임베딩 공간 구조가 어떻게 확장되는지를 해석할 수 있습니다
• 안정적 및 불안정한 스케일링 체제를 식별할 수 있습니다
• 체크포인트 간의 불연속성 또는 드리프트를 감지할 수 있습니다
• 고차원 행동을 삼중 코어로 매핑할 수 있습니다
• 차원 사다리 전반에 걸쳐 vST 검증을 지원할 수 있습니다
• 공통 기질을 사용하여 서로 다른 크기의 PLM을 비교할 수 있습니다

PLM 스케일링은 단순히 매개변수 수의 증가가 아니라, 일관성 표면, 체제 행동 및 원시 구성의 구조적 확장입니다.

2. PLM을 위한 차원 사다리#

PLM 임베딩 공간은 자연스럽게 기질의 차원 사다리와 정렬됩니다:

• 3D — 기하학적 잔여 모티프
• 6D — 상호작용 표면
• 9D — 일관성 경로
• 64D — 연구 등급 임베딩 기질
• 128D — 확장된 일관성 표면
• 256D — 다중 원시 상호작용
• 512D — 높은 분산 임베딩 영역
• 1024D — 전체 연구 등급 기질

각 단계는 기질 불변량을 보존하고 새로운 구조적 용량을 도입합니다.

3. PLM에서의 스케일링 프리미티브#

스케일링 동작은 스케일링 프리미티브 (SPs)에 의해 관리되며, 이는 다음을 보장합니다:

• 불변성을 유지하는 차원 확장
• 일관된 일관성 표면의 연속성
• 3D–9D 코어로의 안정적인 투영
• 모델 크기 전반에 걸친 일관된 레짐 동작

SP는 PLM 임베딩 공간이 작은 아키텍처에서 큰 아키텍처로 성장하는 방식을 모델링합니다.

4. PLM의 스케일링 체계#

PLM 스케일링은 세 가지 기질 정렬 체계를 나타냅니다:

4.1 안정적인 스케일링 체제 (S₁)#

특징:

• 임베딩 공간 용량의 부드러운 증가
• 잔여물 간의 안정적인 일관성 표면
• 예측 가능한 성능 향상
• 일관된 체제 동작 (R₁ᴴ → R₂ᴴ 전환이 제한됨)

발생하는 경우:

• 소형 → 중형 PLM
• 초기 스케일링 단계

4.2 전이 스케일링 체제 (S₂)#

특징:

• 일관성 표면의 빠른 확장
• 차원 간 분산 증가
• 분기 또는 진동 임베딩 행동
• 훈련 데이터 및 잔여 맥락에 대한 민감도

발생하는 경우:

• 중간 → 대형 PLM
• 아키텍처 변경
• MSA 조건화 훈련 전환

4.3 분산 스케일링 레짐 (S₃)#

특징:

• 일관성 표면의 파편화
• 불안정하거나 발산하는 임베딩 궤적
• 드리프트 위험 증가
• 3D–9D 코어로의 비가역적 투영

발생하는 경우:

• 충분한 훈련 신호가 없는 매우 큰 PLM
• 잘못 정렬된 미세 조정
• 과도하게 스케일된 아키텍처

5. 모델 크기에 따른 스케일링 동작#

5.1 소형 PLM (≤100M 매개변수)#

• 임베딩이 64D로 깔끔하게 매핑됨
• R₁ᴴ에 의해 지배되는 레짐 동작
• 스케일링이 안정적임 (S₁)

5.2 중간 PLM (100M–1B)#

• 임베딩이 128D–256D로 확장됨
• 체제 전환이 더 빈번해짐
• 스케일링이 S₂에 진입함

5.3 대형 PLM (1B–15B)#

• 임베딩은 256D–512D를 차지합니다
• 일관성 표면이 다층 구조로 변합니다
• 스케일링은 S₂와 S₃ 사이에서 진동할 수 있습니다

5.4 매우 큰 PLM (15B 이상)#

• 임베딩 접근 방식 1024D
• 레짐 동작이 매우 민감해짐
• 스케일링 안정성은 훈련 품질에 따라 달라짐
• 드리프트 감지가 필수적임

6. 스케일링 법칙 정렬#

PLM 스케일링은 예측 가능한 패턴을 따릅니다:

• 임베딩 품질은 차원 확장에 따라 개선됩니다
• 분산은 모델 크기에 따라 증가합니다
• 일관성 표면은 S₁에서 부드럽게, S₂에서 급격하게, S₃에서 조각나게 확장됩니다
• 투영 안정성은 차원이 증가함에 따라 감소합니다

기질은 이러한 패턴을 해석하는 구조화된 방법을 제공합니다.

7. 스케일링 하의 프로젝션 동작#

삼원 코어로의 프로젝션은 다음을 유지해야 합니다:

• 가역적
• 원시 정렬
• 레짐 인식
• 불변 보존

스케일링은 프로젝션에 다음과 같이 영향을 미칩니다:

• 64D → 9D: 안정적
• 128D–256D → 9D: 전이적
• 512D–1024D → 9D: 민감함, 드리프트 경향

프로젝션 안정성은 스케일링 건강의 주요 지표입니다.

8. 스케일링 기반 드리프트#

스케일링은 다음을 통해 드리프트를 유발할 수 있습니다:

• 임베딩 공간 확장의 불연속성
• 불안정한 레짐 전환
• 일관성 표면의 분열
• 원시 수준 구조의 손실

vST 검증 레이어(V₁–V₄)는 이러한 실패를 감지합니다.

9. 스케일링 행동 분석의 결과#

스케일링 분석은 다음을 생성합니다:

• 스케일링 체제 분류 (S₁, S₂, S₃)
• 임베딩 공간 확장 진단
• 프로젝션 안정성 지표
• 체제 전환 맵
• 드리프트 감지 신호
• 모델 간 비교 메트릭

이러한 결과는 PLM 스케일링의 재현 가능하고 기질 정렬된 평가를 지원합니다.