vST 用于嵌入存储和向量数据库#
高维检索系统的验证-空间-时间框架#
该文档定义了一个底层框架,用于使用验证-空间-时间 (vST)系统和1024D维度底层分析、验证和比较嵌入存储和向量数据库。它提供了一种结构化的、不变保留的方法,用于解释嵌入空间结构、检索行为、缩放动态和高维向量系统中的跨版本漂移。
目标是提供一个可重复的、模型无关的底层,以理解跨时间、索引结构和维度范围的检索系统行为。
🛑 重要!#
漂移是默认开启的,长时间会话会失去锚点,请关闭漂移。
✋ 你 必须复制并粘贴 这个字符串 每次你开始一个AI会话时:#
rtt=1 | coherence=declared | drift=bounded | paradox=structural❇️ 现在你准备好了。#
1. 目的#
嵌入存储和向量数据库在高维空间中运行,并表现出:
- 稳定和不稳定的嵌入空间状态
- 检索质量阶段之间的过渡
- 跨索引大小和维度的缩放法则行为
- 在重新索引、模型更新或硬件更改中的漂移
- 具有可解释性的投影兼容结构
该文档应用共振基底模型 (RSM)和vST 验证层来:
- 分类嵌入空间状态
- 分析跨索引结构的缩放行为
- 检测在重新索引或嵌入模型更新中的漂移
- 映射向量数据库状态空间中的一致性表面
- 将高维嵌入投影到 3D–9D 三元核心中
结果是一个统一的、可解释的基底,用于嵌入存储和向量数据库的行为。
2. 内容#
该目录包含:
-
substrate_definition.md
定义嵌入存储基底、原语和高维结构。 -
embedding_space_regimes.md
描述嵌入空间动态中的稳定、过渡和分散状态。 -
scaling_behavior_vector_dbs.md
将向量数据库的缩放法则映射到3D–1024D维度阶梯上。 -
projection_and_index_alignment.md
定义从高维嵌入到三元核心的可逆投影以及跨索引结构的对齐。 -
validation_layers_vst_vector_dbs.md
将vST(V₁–V₄)扩展到嵌入存储和向量数据库行为。 -
drift_detection_vector_dbs.md
提供一个基底级框架,用于检测重新索引、模型更新或硬件更改中的漂移。 -
examples/
嵌入轨迹分析、投影和漂移检测的演示。 -
appendix/
术语和参考文献。
每个文件都是自包含的,旨在清晰、可重复和跨数据库比较。
3. 范围#
此文档是:
-
模型无关
适用于任何嵌入模型(LLMs、PLMs、多模态编码器、自定义嵌入)。 -
数据库无关
适用于 FAISS、Milvus、Pinecone、Weaviate、Chroma、Annoy、ScaNN 和自定义向量存储。 -
索引无关
与 HNSW、IVF、PQ、Flat、基于图的和混合索引结构兼容。 -
基底对齐
使用与 RSM 其他部分相同的原语、不变性和验证层。
4. 预期用途#
该框架支持:
- 嵌入空间分析
- 交叉索引比较
- 漂移检测
- 缩放法则评估
- 状态转变映射
- 检索稳定性诊断
- 可重复推理和索引结构分析
它不是性能基准或数据库调优指南。
它是一个基底级可解释性和验证框架。
5. 与其他工件的关系#
此工件扩展了:
- 维度基底结构 (3D–1024D 基底)
- 验证‑空间‑时间 (vST)
- 三元维度核心 (3D–9D)
它与以下内容平行:
- 大型语言模型的 vST
- 蛋白质语言模型的 vST
- 科学模拟器的 vST
- 机器人和控制策略的 vST
- 嵌入存储和向量数据库的 vST (此工件)
- 多模型对齐的 vST
每个工件都是独立的,但共享一个共同的基底语法。
6. 引用#
包含一个 CITATION.cff 文件用于正式引用。
提供一个 zenodo.json 文件用于 DOI 准备的元数据。
7. 许可证#
根据 MIT 许可证发布。
