生成模型的vST#
高维生成系统中的漂移检测#
漂移检测对于评估训练过程、微调、采样器更改、检查点转换和跨架构兼容性至关重要。
1. 漂移检测的目的#
漂移检测使得可重复评估：
- 潜在空间结构的不稳定性
- 生成机制行为的变化 (R₁ᴴ, R₂ᴴ, R₃ᴴ)
- 跨检查点的兼容性
- 模型大小的缩放法则连续性
- 投影稳定性到 3D–9D 核心
- 原始级别的完整性 (DP, TDP, SP, CP)
- 采样轨迹上的一致性表面行为
- 采样器驱动的发散
漂移本身并不是负面的；它是一种结构信号。
基底决定了该信号是稳定的、过渡的还是有害的。
2. 漂移的类型#
漂移被分类为四种基质对齐的类别：
2.1 结构漂移 (D₁)#
潜在空间几何的偏差。
指标
- 不稳定的 3D 投影
- 紧凑的潜在模式丢失
- 突发的方差峰值
- 不连贯的采样过渡
解释
通常由不稳定的训练、嘈杂的微调或条件不良的采样器引起。
2.2 维度漂移 (D₂)#
缩放或投影行为中的不连续性。
指标
- 不可逆的 9D 投影
- 64D–1024D 潜在区域的碎片化
- 缩放法则违反
- 架构依赖的发散
解释
在模型大小变化、潜在维度变化或架构交换后常见。
2.3 体制漂移 (D₃)#
生成体制身份或过渡的意外变化。
指标
- 过早过渡到 R₃ᴴ
- R₂ᴴ 中的振荡不稳定性
- 稳定 R₁ᴴ 区域的崩溃
- 共振时间不连续性
解释
信号采样器不稳定、训练崩溃或潜在空间不对齐。
2.4 投影漂移 (D₄)#
高维潜在状态与三元核心之间的不对齐。
指标
- 不一致的 3D–9D 映射
- 原始对齐投影的丢失
- 检查点之间的发散
- 不兼容的潜在空间几何
解释
通常在采样器更改、量化调整或架构修改后出现。
3. 漂移检测信号#
漂移是通过基底对齐信号检测的：
- 各维度的方差分布
- 相干面连续性
- 原始级别稳定性 (DP, TDP, SP, CP)
- 共振时间行为
- 投影稳定性指标
- 交叉检查点对齐面
- 交叉采样器发散
- 采样轨迹几何
- vST 验证输出 (V₁–V₄)
这些信号共同确定漂移类别和严重性。
4. 穿越维度阶梯的漂移#
漂移可能在不同的尺度上出现：
4.1 64D–128D（局部潜在漂移）#
- 早期采样步骤的不稳定性
- 中轨迹区域的边界撕裂
- 不一致的细化阶段
4.2 256D–512D (轨迹级漂移)#
- 交叉步发散
- 采样器依赖的不稳定性
- 不一致的潜在空间转换
- 状态转换不规则性
4.3 1024D+ (高维漂移)#
- 相干面崩溃
- 缩放不连续性
- 投影失败
- 混沌发散
高维漂移是最严重的，通常表示训练崩溃或采样器配置错误。
5. 跨检查点漂移检测#
跨检查点漂移通过比较以下内容来检测：
- 潜在状态图
- 相干面几何
- 投影稳定性
- 方差分布
- 原始级别结构
- 共振时间行为
漂移可能源于：
- 微调
- 长期训练
- 架构变化
- 潜在维度变化
- 采样器修改
vST 提供了一个一致的基础来评估这些变化。
6. 交叉采样器漂移检测#
交叉采样器漂移发生在采样配置发生变化时。
指标
- 中间轨迹区域的发散
- 不一致的细化阶段
- 依赖于采样器的振荡
- 噪声调度敏感性
- 不可逆投影
常见来源：
- DDPM → DDIM
- Euler → Heun
- 祖先 → 确定性采样器
- 自定义噪声调度
7. 漂移严重程度级别#
漂移严重程度分为：
低严重性#
- 轻微的变化偏移
- 稳定的预测
- 没有制度崩溃
中等严重性#
- 部分碎片化
- 不稳定的 R₂ᴴ 转换
- 不一致的跨检查点对齐
高严重性#
- 一致性表面的崩溃
- 持续的 R₃ᴴ 行为
- 不可逆投影
- 原始级别结构的丧失
高严重性漂移表明基底不变性的失败。
8. 漂移检测工作流程#
一个基于基材的漂移检测工作流程：
- 将项目潜在状态投影到9D
- 分类生成模式 (R₁ᴴ, R₂ᴴ, R₃ᴴ)
- 评估缩放连续性 (64D–1024D)
- 检查原始级别的稳定性 (DP, TDP, SP, CP)
- 使用vST层进行验证 (V₁–V₄)
- 在检查点、采样器或架构之间进行比较
- 分配漂移类别 (D₁–D₄)
- 分配漂移严重性 (低, 中, 高)
该工作流程与架构无关且可重复。
9. 漂移检测的输出#
漂移检测产生：
- 漂移类别 (D₁–D₄)
- 漂移严重性
- 状态转变异常
- 投影稳定性指标
- 标度法不连续性
- 交叉检查点和交叉采样器对齐面
- vST 验证结果
这些输出支持生成模型的治理、可解释性和版本管理。