Memvid 2.0 技术深度解析Rust 重写后的单文件 AI 记忆层.mv2核心特性全景【免费下载链接】memvidMemory layer for AI Agents. Replace complex RAG pipelines with a serverless, single-file memory layer. Give your agents instant retrieval and long-term memory.项目地址: https://gitcode.com/GitHub_Trending/me/memvid本文以 Memvid 官方 CHANGELOG.md 为骨架结合 MV2_SPEC.md 文件格式规范与 src 目录下的源码实现逐条拆解 2.0.0 版本以来新增的全部核心能力单文件.mv2格式、BM25 全文检索、HNSW 向量检索、WAL 崩溃安全、Blake3 校验、Ed25519 签名与 AES-256-GCM 加密。读者读完本文将掌握 Memvid v2 的架构全貌、各特性的底层实现原理、对应的 Rust 代码入口以及如何在自己的 AI Agent 项目中按需启用这些能力。一、版本背景从 Python 到 Rust 的完全重写CHANGELOG 中 2.0.02026-01-05是一次彻底的架构换代核心变化有三点语言迁移整个实现从 Python 迁移到 Rust换取性能与内存安全。这一点在 Cargo.toml 中直接体现——memvid-core声明rust-version 1.85.0、edition 2024包描述即写明 a crash-safe, deterministic, single-file AI memory。文件格式换代引入新的.mv2单文件格式不再依赖任何侧车sidecar文件。移除旧能力废弃了 Legacy Python 实现以及基于 QR 码的视频编码存储方案被高效的二进制格式取代。README 中也有明确提示v1 的 QR 记忆方案已废弃若再看到 QR 相关描述即为过期信息。对于从 v1 迁移的用户理解单文件、无侧车这一根本性变化是第一步后续所有特性——检索、崩溃恢复、加密——都围绕这一个文件展开。二、单文件.mv2格式一切内聚于一文件CHANGELOG 将Single-file.mv2format for portable AI memory列为首要特性。其设计核心是头header、预写日志WAL、数据段、检索索引、目录表TOC全部内嵌在同一个文件中绝不产生.wal、.lock、.shm等侧车文件。2.1 文件布局总览根据 MV2_SPEC.md当前 Spec 版本 2.1.mv2文件从前往后依次为┌────────────────────────────┐ │ Header (4KB) │ Magic、版本、容量 ├────────────────────────────┤ │ Embedded WAL (1-64MB) │ 崩溃恢复 ├────────────────────────────┤ │ Data Segments │ 压缩帧 ├────────────────────────────┤ │ Lex Index │ Tantivy 全文检索 ├────────────────────────────┤ │ Vec Index │ HNSW 向量 ├────────────────────────────┤ │ Time Index │ 时间顺序 ├────────────────────────────┤ │ TOC (Footer) │ 段偏移目录 └────────────────────────────┘2.2 Header固定 4KB 的确定式编解码文件头固定占用前 4096 字节HEADER_SIZE见 src/constants.rs。按 MV2_SPEC.md 的字段表关键字段包括偏移大小字段说明04magicMV2\00x4D 0x56 0x32 0x0042version格式版本小端61spec_majorSpec 主版本271spec_minorSpec 次版本188footer_offsetTOC 的字节偏移168wal_offsetWAL 偏移恒为 4096248wal_sizeWAL 区域字节数328wal_checkpoint_pos最近一次 checkpoint 的序列号408wal_sequence当前 WAL 序列号4832toc_checksumTOC 段的 SHA-256编解码逻辑集中在 src/io/header.rsHeaderCodec提供确定性的encode/decode并强制校验 magic、版本、wal_offset不得小于 4096与wal_size必须非零任何不合法头部都会返回MemvidError::InvalidHeader。值得注意的是该文件还内置了旧版兼容逻辑读取时若在保留区发现 v1 遗留的锁元数据会原位清零再解码clear_legacy_lock_metadata保证老文件可平滑升级。2.3 Frame不可变的记忆单元MV2 采用追加式append-only帧架构。每一帧代表一条内容字段包括frame_id单调递增 u64、urimv2://path/to/doc层级路径、title、created_at、encoding、压缩后的payload与payload_checksum未压缩载荷的 SHA-256、tags键值对和status0active1tombstoned。载荷支持三种编码0Raw 未压缩、1Zstd、2LZ4——这与 Cargo.toml 中引入的zstd、lz4_flex依赖一一对应。追加式设计带来的核心收益在 README 中被概括为写入不会修改或破坏既有数据、可查询历史记忆状态、可做时间线式演进审查以及通过已提交的不可变帧获得崩溃安全——这正是可回放记忆时间线这一产品理念的底层支撑。三、数据完整性Blake3 与 CRC32 双保险CHANGELOG 明确列出 Blake3 checksums for data integrity。在源码中Blake3 至少承担两类职责WAL 记录级校验每条 WAL 记录在写入时计算blake3::hash(payload)存入记录头扫描恢复时逐一重算比对src/io/wal.rs任何不匹配都会报WalCorruption并携带具体偏移测试corrupted_record_reports_offset验证了该路径。整体哈希依赖Cargo.toml 中blake3 1.5.1与sha2 0.10.9并存配合 MV2 规范中 TOC 的 SHA-256 段校验形成帧级 SHA-256 WAL 记录级 Blake3 TOC SHA-256的多层校验体系。对于长期保存的 Agent 记忆文件这意味着任一字节的静默损坏都能在打开时被检测并定位而不是在查询阶段产生难以排查的错误。四、崩溃安全三件套WAL 原子提交 文件锁CHANGELOG 的 Security 小节将崩溃安全拆成三条嵌入 WAL 防数据损坏、原子提交保证一致性、文件锁防止并发写冲突。这三者分别有明确实现。4.1 嵌入式 WAL按容量分级的环形缓冲区WAL 紧跟在 4KB 头之后容量随目标文件容量分级MV2_SPEC.md 与 src/constants.rs文件容量WAL 大小 100 MB1 MB 1 GB4 MB 10 GB16 MB 10 GB64 MB每条 WAL 记录由[sequence: u64][entry_type][payload_len: u32][payload][checksum]组成对应实现中 48 字节记录头ENTRY_HEADER_SIZE见 src/io/wal.rs。写入采用原子写策略将记录头与载荷合并为单缓冲区一次写入防止写一半崩溃造成撕裂默认每次 append 后fsync保证落盘也支持set_skip_sync(true)批量模式由调用方统一flush()。checkpoint 触发条件与 Spec 一致WAL 占用率 ≥ 75%或自上次 checkpoint 以来累计 1,000 次事务WAL_CHECKPOINT_THRESHOLD 0.75、WAL_CHECKPOINT_PERIOD 1_000。恢复时只重放sequence wal_checkpoint_pos的记录。当写入头环绕可能覆盖未提交数据时会返回CheckpointFailed触发 WAL 扩容而非静默覆盖——这是绝不破坏既有数据原则在底层的一次直接体现。4.2 原子提交与文件锁原子提交Memvid::commit()路径与write_atomicsrc/encryption/capsule.rs都基于atomic-write-file依赖见 Cargo.toml先写临时文件、fsync后再原子替换目标文件保证提交要么完整可见、要么完全不落盘。文件锁fs2 0.4.3依赖与 src/lock.rs、src/lockfile.rs 提供跨进程的写互斥防止多进程同时写同一.mv2造成竞态。值得注意的是头文件注释提到 v1 曾在头部保留区存放锁元数据v2 已移除并改为启动时清理见 src/io/header.rs进一步强化了无侧车承诺。测试方面tests/crash_recovery.rs 与 tests/lifecycle.rs 分别覆盖异常终止后的恢复与完整生命周期是验证这些保证的集成测试入口。五、检索能力BM25 全文检索 HNSW 向量检索CHANGELOG 将检索列为两条独立特性Tantivy 驱动的 BM25 全文检索与 HNSW 向量相似度检索。二者在文件内分别占据独立的 Lex Index 与 Vec Index 段。5.1 Lex 全文索引Tantivylex特性默认启用启用 Tantivy 全文索引段。根据 MV2_SPEC.md索引字段包括body全文、title、uri、tags拍平的标签值支持 BM25 排序、短语查询、布尔运算符与日期范围过滤。实现上依赖tantivy 0.25.0关闭默认特性、启用mmap见 Cargo.toml代码入口搜索调度在 src/memvid/search/tantivy.rsTantivy 引擎封装在 src/search/tantivy/engine.rs查询构造在 src/search/tantivy/query.rsschema 定义在 src/search/tantivy/schema.rs。使用时在SearchRequest中给出query、top_k与snippet_chars即可对命中内容返回带摘录的结果let response mem.search(SearchRequest { query: planning.into(), top_k: 10, snippet_chars: 200, ..Default::default() })?; for hit in response.hits { println!({}: {}, hit.title.unwrap_or_default(), hit.text); }5.2 Vec 向量索引HNSWvec特性启用 HNSW 向量索引使用 ONNX 本地文本嵌入模型。MV2 规范给出了默认参数维度 384BGE-small、余弦距离、M 16、ef_construction 200。底层依赖hnsw 0.11.0与ortONNX Runtime见 Cargo.toml。为防止查询时模型混用例如用 BGE-small 建的索引却拿 OpenAI 嵌入来查mem.set_vec_model(bge-small-en-v1.5)可将索引持久绑定到特定模型之后使用不同模型会立即以ModelMismatch失败——这个能力对应 CHANGELOG 中authenticity的补充语义也对应 tests/model_consistency.rs 的覆盖。向量检索的完整示例见 examples/text_embedding.rs基准见 benches/vec_search_benchmark.rs。5.3 Timeline 时间线查询CHANGELOG 的 Timeline queries for chronological browsing 由 Time Index 段支撑每条时间索引条目记录frame_id、timestamp与数据段内字节偏移magic 为MVTITIME_INDEX_MAGIC见 src/constants.rs。实现位于 src/io/time_index.rs 与 src/io/temporal_index.rstemporal_track特性还可解析自然语言日期如 last Tuesday。这使 Agent 可以按时间线回溯记忆如何演进配合 src/replay 的replay特性可实现会话级时间旅行。六、多模态摄入PDF/DOCX/XLSX、CLIP 视觉与 Whisper 音频CHANGELOG 的文档摄入与多模态能力同样有清晰的源码支撑。6.1 文档摄入PDF/DOCX/XLSX阅读器全部位于 src/reader 目录pdf.rs纯 Rust PDF 文本提取对应pdf_extract特性与pdf-extract依赖、docx.rs、pptx.rs、xls.rs、xlsx.rs及 src/reader/xlsx_chunker.rs表格分块。PDF 提取后还可叠加symspell_cleanup特性修复词间距断裂问题如 emp lo yee → employee依赖symspell 0.4。结构化表格的布局、多页与存储逻辑见 src/table 模块摄入示例见 examples/pdf_ingestion.rs。6.2 CLIP 视觉嵌入clip特性隐式依赖vec为图片检索提供 CLIP 视觉嵌入代码位于 src/clip.rs依赖image、rayon、tokenizers等见 Cargo.toml。运行cargo run --example clip_visual_search --features clip即可体验图像检索examples/clip_visual_search.rs 是完整示例。6.3 Whisper 音频转录whisper特性使用 Candle 框架做端到端本地推理依赖candle-core/nn/transformers、hf-hub、symphonia音频解码等。CHANGELOG 未展开的模型选择在 README 中有完整说明模型体积定位whisper-small-en244 MB默认准确率最高whisper-tiny-en75 MB速度与质量均衡whisper-tiny-en-q8k19 MB最快资源受限场景可通过环境变量MEMVID_WHISPER_MODEL或代码中WhisperConfig::with_model(whisper-tiny-en-q8k)选择运行方式见 examples/test_whisper.rs。实现位于 src/whisper.rs。需要说明的是Whisper 属于特性化能力需在cargo build/cargo run时显式--features whisper启用。七、真实性与机密性Ed25519 签名与 AES-256-GCM 加密CHANGELOG 的最后两项核心特性是 Ed25519 签名authenticity与可选的 AES-256-GCM 加密。7.1 Ed25519 签名票据与模型清单验证src/signature.rs 实现了两类 Ed25519 验签Ticket 签名验证记忆票据由官方 Memvid 控制平面签发载荷为{version, memory_id, issuer, seq_no, expires_in, capacity_bytes}的规范化 JSON顺序固定测试test_payload_json_format强制与 dashboard 格式字节级一致使用verify_strict防延展攻击Model 签名验证嵌入模型清单名称、版本、校验和、体积防止加载被篡改的模型文件。官方公钥内嵌在 src/constants.rs 的MEMVID_TICKET_PUBKEYBase64 编码的 32 字节 Ed25519 公钥测试test_dashboard_signature_verification使用真实 dashboard 签名数据端到端验证通过。依赖为ed25519-dalek 2.2.0、base64。7.2 AES-256-GCM 加密胶囊.mv2eencryption特性提供密码学封装的.mv2e胶囊格式见 src/encryption 模块。流程为密钥派生使用 Argon2idAlgorithm::Argon2id、v0x13从密码随机盐派生 32 字节密钥src/encryption/crypto.rs具体迭代/内存参数见 src/encryption/constants.rs加解密AES-256-GCM 认证加密aes-gcm 0.10GCM 模式天然提供密文完整性校验封包/解包lock_file将.mv2加密为.mv2eunlock_file解密并校验解密结果以MV2\0开头且长度与头部original_size一致再原子写回.mv2src/encryption/capsule.rs内存安全派生密钥使用后立即zeroize()清零依赖zeroize 1.7。流式stream封装与一次性oneshot封装两种格式均受支持入口为 src/encryption/capsule_stream.rs。测试见 tests/encryption_capsule.rs。八、能力地图如何按需启用各项特性CHANGELOG 的特性列表最终映射为 Cargo.toml 中一套清晰的 feature flags。默认特性为lex pdf_extract simd其余按需开启Feature对应 CHANGELOG 能力关键依赖lex默认BM25 全文检索tantivy 0.25pdf_extract默认PDF 文档摄入pdf-extractsimd默认向量距离 SIMD 加速widevecHNSW 向量检索 本地嵌入ort, hnsw, tokenizersclipCLIP 视觉检索image, rayonwhisper音频转录candle-*, hf-hubapi_embedOpenAI 云端嵌入reqwesttemporal_track自然语言日期解析—parallel_segments多线程摄入num_cpus, crossbeam-channelencryptionAES-256-GCM 加密胶囊argon2, aes-gcm, zeroizesymspell_cleanupPDF 文本修复symspellreplay时间旅行回放—按需组合的用法示例[dependencies] memvid-core { version 2.0, features [lex, vec, temporal_track] }仓库内置的验证手段也一应俱全cargo test跑全部单元/集成测试cargo test --test search、cargo test --test lifecycle、cargo test --test crash_recovery可单独验证检索、生命周期与崩溃恢复基准测试位于 benches如 benches/search_precision_benchmark.rs示例程序位于 examplesbasic_usage、pdf_ingestion、clip_visual_search、test_whisper等。九、结语CHANGELOG 背后的一整套可靠性工程回看这份 CHANGELOGMemvid 2.0 的每一项条目都不是孤立的新功能而是同一套设计哲学的组成部分单文件、追加式、确定性与崩溃安全。Tantivy 与 HNSW 提供检索、WAL 与原子提交保证一致性、Blake3 与 SHA-256 守护完整性、Ed25519 建立真实性、AES-256-GCM 提供机密性最终全部收敛到一个可携带、可分享、可加密的.mv2文件里。对于正在搭建 Agent 长期记忆层的开发者这套能力组合的价值在于把记忆从复杂的 RAG 管线与向量数据库依赖中解放出来变成一个既能在本地离线运行、又能随文件自由迁移的单一产物。后续版本演进当前 Spec 版本 2.1源码包版本 2.0.x仍在持续迭代可关注 CHANGELOG.md 的 Unreleased 段与 MV2_SPEC.md 的版本历史以掌握格式层面的最新变化。【免费下载链接】memvidMemory layer for AI Agents. Replace complex RAG pipelines with a serverless, single-file memory layer. Give your agents instant retrieval and long-term memory.项目地址: https://gitcode.com/GitHub_Trending/me/memvid创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Memvid 2.0 技术深度解析：Rust 重写后的单文件 AI 记忆层（.mv2）核心特性全景
Memvid 2.0 技术深度解析Rust 重写后的单文件 AI 记忆层.mv2核心特性全景【免费下载链接】memvidMemory layer for AI Agents. Replace complex RAG pipelines with a serverless, single-file memory layer. Give your agents instant retrieval and long-term memory.项目地址: https://gitcode.com/GitHub_Trending/me/memvid本文以 Memvid 官方 CHANGELOG.md 为骨架结合 MV2_SPEC.md 文件格式规范与 src 目录下的源码实现逐条拆解 2.0.0 版本以来新增的全部核心能力单文件.mv2格式、BM25 全文检索、HNSW 向量检索、WAL 崩溃安全、Blake3 校验、Ed25519 签名与 AES-256-GCM 加密。读者读完本文将掌握 Memvid v2 的架构全貌、各特性的底层实现原理、对应的 Rust 代码入口以及如何在自己的 AI Agent 项目中按需启用这些能力。一、版本背景从 Python 到 Rust 的完全重写CHANGELOG 中 2.0.02026-01-05是一次彻底的架构换代核心变化有三点语言迁移整个实现从 Python 迁移到 Rust换取性能与内存安全。这一点在 Cargo.toml 中直接体现——memvid-core声明rust-version 1.85.0、edition 2024包描述即写明 a crash-safe, deterministic, single-file AI memory。文件格式换代引入新的.mv2单文件格式不再依赖任何侧车sidecar文件。移除旧能力废弃了 Legacy Python 实现以及基于 QR 码的视频编码存储方案被高效的二进制格式取代。README 中也有明确提示v1 的 QR 记忆方案已废弃若再看到 QR 相关描述即为过期信息。对于从 v1 迁移的用户理解单文件、无侧车这一根本性变化是第一步后续所有特性——检索、崩溃恢复、加密——都围绕这一个文件展开。二、单文件.mv2格式一切内聚于一文件CHANGELOG 将Single-file.mv2format for portable AI memory列为首要特性。其设计核心是头header、预写日志WAL、数据段、检索索引、目录表TOC全部内嵌在同一个文件中绝不产生.wal、.lock、.shm等侧车文件。2.1 文件布局总览根据 MV2_SPEC.md当前 Spec 版本 2.1.mv2文件从前往后依次为┌────────────────────────────┐ │ Header (4KB) │ Magic、版本、容量 ├────────────────────────────┤ │ Embedded WAL (1-64MB) │ 崩溃恢复 ├────────────────────────────┤ │ Data Segments │ 压缩帧 ├────────────────────────────┤ │ Lex Index │ Tantivy 全文检索 ├────────────────────────────┤ │ Vec Index │ HNSW 向量 ├────────────────────────────┤ │ Time Index │ 时间顺序 ├────────────────────────────┤ │ TOC (Footer) │ 段偏移目录 └────────────────────────────┘2.2 Header固定 4KB 的确定式编解码文件头固定占用前 4096 字节HEADER_SIZE见 src/constants.rs。按 MV2_SPEC.md 的字段表关键字段包括偏移大小字段说明04magicMV2\00x4D 0x56 0x32 0x0042version格式版本小端61spec_majorSpec 主版本271spec_minorSpec 次版本188footer_offsetTOC 的字节偏移168wal_offsetWAL 偏移恒为 4096248wal_sizeWAL 区域字节数328wal_checkpoint_pos最近一次 checkpoint 的序列号408wal_sequence当前 WAL 序列号4832toc_checksumTOC 段的 SHA-256编解码逻辑集中在 src/io/header.rsHeaderCodec提供确定性的encode/decode并强制校验 magic、版本、wal_offset不得小于 4096与wal_size必须非零任何不合法头部都会返回MemvidError::InvalidHeader。值得注意的是该文件还内置了旧版兼容逻辑读取时若在保留区发现 v1 遗留的锁元数据会原位清零再解码clear_legacy_lock_metadata保证老文件可平滑升级。2.3 Frame不可变的记忆单元MV2 采用追加式append-only帧架构。每一帧代表一条内容字段包括frame_id单调递增 u64、urimv2://path/to/doc层级路径、title、created_at、encoding、压缩后的payload与payload_checksum未压缩载荷的 SHA-256、tags键值对和status0active1tombstoned。载荷支持三种编码0Raw 未压缩、1Zstd、2LZ4——这与 Cargo.toml 中引入的zstd、lz4_flex依赖一一对应。追加式设计带来的核心收益在 README 中被概括为写入不会修改或破坏既有数据、可查询历史记忆状态、可做时间线式演进审查以及通过已提交的不可变帧获得崩溃安全——这正是可回放记忆时间线这一产品理念的底层支撑。三、数据完整性Blake3 与 CRC32 双保险CHANGELOG 明确列出 Blake3 checksums for data integrity。在源码中Blake3 至少承担两类职责WAL 记录级校验每条 WAL 记录在写入时计算blake3::hash(payload)存入记录头扫描恢复时逐一重算比对src/io/wal.rs任何不匹配都会报WalCorruption并携带具体偏移测试corrupted_record_reports_offset验证了该路径。整体哈希依赖Cargo.toml 中blake3 1.5.1与sha2 0.10.9并存配合 MV2 规范中 TOC 的 SHA-256 段校验形成帧级 SHA-256 WAL 记录级 Blake3 TOC SHA-256的多层校验体系。对于长期保存的 Agent 记忆文件这意味着任一字节的静默损坏都能在打开时被检测并定位而不是在查询阶段产生难以排查的错误。四、崩溃安全三件套WAL 原子提交 文件锁CHANGELOG 的 Security 小节将崩溃安全拆成三条嵌入 WAL 防数据损坏、原子提交保证一致性、文件锁防止并发写冲突。这三者分别有明确实现。4.1 嵌入式 WAL按容量分级的环形缓冲区WAL 紧跟在 4KB 头之后容量随目标文件容量分级MV2_SPEC.md 与 src/constants.rs文件容量WAL 大小 100 MB1 MB 1 GB4 MB 10 GB16 MB 10 GB64 MB每条 WAL 记录由[sequence: u64][entry_type][payload_len: u32][payload][checksum]组成对应实现中 48 字节记录头ENTRY_HEADER_SIZE见 src/io/wal.rs。写入采用原子写策略将记录头与载荷合并为单缓冲区一次写入防止写一半崩溃造成撕裂默认每次 append 后fsync保证落盘也支持set_skip_sync(true)批量模式由调用方统一flush()。checkpoint 触发条件与 Spec 一致WAL 占用率 ≥ 75%或自上次 checkpoint 以来累计 1,000 次事务WAL_CHECKPOINT_THRESHOLD 0.75、WAL_CHECKPOINT_PERIOD 1_000。恢复时只重放sequence wal_checkpoint_pos的记录。当写入头环绕可能覆盖未提交数据时会返回CheckpointFailed触发 WAL 扩容而非静默覆盖——这是绝不破坏既有数据原则在底层的一次直接体现。4.2 原子提交与文件锁原子提交Memvid::commit()路径与write_atomicsrc/encryption/capsule.rs都基于atomic-write-file依赖见 Cargo.toml先写临时文件、fsync后再原子替换目标文件保证提交要么完整可见、要么完全不落盘。文件锁fs2 0.4.3依赖与 src/lock.rs、src/lockfile.rs 提供跨进程的写互斥防止多进程同时写同一.mv2造成竞态。值得注意的是头文件注释提到 v1 曾在头部保留区存放锁元数据v2 已移除并改为启动时清理见 src/io/header.rs进一步强化了无侧车承诺。测试方面tests/crash_recovery.rs 与 tests/lifecycle.rs 分别覆盖异常终止后的恢复与完整生命周期是验证这些保证的集成测试入口。五、检索能力BM25 全文检索 HNSW 向量检索CHANGELOG 将检索列为两条独立特性Tantivy 驱动的 BM25 全文检索与 HNSW 向量相似度检索。二者在文件内分别占据独立的 Lex Index 与 Vec Index 段。5.1 Lex 全文索引Tantivylex特性默认启用启用 Tantivy 全文索引段。根据 MV2_SPEC.md索引字段包括body全文、title、uri、tags拍平的标签值支持 BM25 排序、短语查询、布尔运算符与日期范围过滤。实现上依赖tantivy 0.25.0关闭默认特性、启用mmap见 Cargo.toml代码入口搜索调度在 src/memvid/search/tantivy.rsTantivy 引擎封装在 src/search/tantivy/engine.rs查询构造在 src/search/tantivy/query.rsschema 定义在 src/search/tantivy/schema.rs。使用时在SearchRequest中给出query、top_k与snippet_chars即可对命中内容返回带摘录的结果let response mem.search(SearchRequest { query: planning.into(), top_k: 10, snippet_chars: 200, ..Default::default() })?; for hit in response.hits { println!({}: {}, hit.title.unwrap_or_default(), hit.text); }5.2 Vec 向量索引HNSWvec特性启用 HNSW 向量索引使用 ONNX 本地文本嵌入模型。MV2 规范给出了默认参数维度 384BGE-small、余弦距离、M 16、ef_construction 200。底层依赖hnsw 0.11.0与ortONNX Runtime见 Cargo.toml。为防止查询时模型混用例如用 BGE-small 建的索引却拿 OpenAI 嵌入来查mem.set_vec_model(bge-small-en-v1.5)可将索引持久绑定到特定模型之后使用不同模型会立即以ModelMismatch失败——这个能力对应 CHANGELOG 中authenticity的补充语义也对应 tests/model_consistency.rs 的覆盖。向量检索的完整示例见 examples/text_embedding.rs基准见 benches/vec_search_benchmark.rs。5.3 Timeline 时间线查询CHANGELOG 的 Timeline queries for chronological browsing 由 Time Index 段支撑每条时间索引条目记录frame_id、timestamp与数据段内字节偏移magic 为MVTITIME_INDEX_MAGIC见 src/constants.rs。实现位于 src/io/time_index.rs 与 src/io/temporal_index.rstemporal_track特性还可解析自然语言日期如 last Tuesday。这使 Agent 可以按时间线回溯记忆如何演进配合 src/replay 的replay特性可实现会话级时间旅行。六、多模态摄入PDF/DOCX/XLSX、CLIP 视觉与 Whisper 音频CHANGELOG 的文档摄入与多模态能力同样有清晰的源码支撑。6.1 文档摄入PDF/DOCX/XLSX阅读器全部位于 src/reader 目录pdf.rs纯 Rust PDF 文本提取对应pdf_extract特性与pdf-extract依赖、docx.rs、pptx.rs、xls.rs、xlsx.rs及 src/reader/xlsx_chunker.rs表格分块。PDF 提取后还可叠加symspell_cleanup特性修复词间距断裂问题如 emp lo yee → employee依赖symspell 0.4。结构化表格的布局、多页与存储逻辑见 src/table 模块摄入示例见 examples/pdf_ingestion.rs。6.2 CLIP 视觉嵌入clip特性隐式依赖vec为图片检索提供 CLIP 视觉嵌入代码位于 src/clip.rs依赖image、rayon、tokenizers等见 Cargo.toml。运行cargo run --example clip_visual_search --features clip即可体验图像检索examples/clip_visual_search.rs 是完整示例。6.3 Whisper 音频转录whisper特性使用 Candle 框架做端到端本地推理依赖candle-core/nn/transformers、hf-hub、symphonia音频解码等。CHANGELOG 未展开的模型选择在 README 中有完整说明模型体积定位whisper-small-en244 MB默认准确率最高whisper-tiny-en75 MB速度与质量均衡whisper-tiny-en-q8k19 MB最快资源受限场景可通过环境变量MEMVID_WHISPER_MODEL或代码中WhisperConfig::with_model(whisper-tiny-en-q8k)选择运行方式见 examples/test_whisper.rs。实现位于 src/whisper.rs。需要说明的是Whisper 属于特性化能力需在cargo build/cargo run时显式--features whisper启用。七、真实性与机密性Ed25519 签名与 AES-256-GCM 加密CHANGELOG 的最后两项核心特性是 Ed25519 签名authenticity与可选的 AES-256-GCM 加密。7.1 Ed25519 签名票据与模型清单验证src/signature.rs 实现了两类 Ed25519 验签Ticket 签名验证记忆票据由官方 Memvid 控制平面签发载荷为{version, memory_id, issuer, seq_no, expires_in, capacity_bytes}的规范化 JSON顺序固定测试test_payload_json_format强制与 dashboard 格式字节级一致使用verify_strict防延展攻击Model 签名验证嵌入模型清单名称、版本、校验和、体积防止加载被篡改的模型文件。官方公钥内嵌在 src/constants.rs 的MEMVID_TICKET_PUBKEYBase64 编码的 32 字节 Ed25519 公钥测试test_dashboard_signature_verification使用真实 dashboard 签名数据端到端验证通过。依赖为ed25519-dalek 2.2.0、base64。7.2 AES-256-GCM 加密胶囊.mv2eencryption特性提供密码学封装的.mv2e胶囊格式见 src/encryption 模块。流程为密钥派生使用 Argon2idAlgorithm::Argon2id、v0x13从密码随机盐派生 32 字节密钥src/encryption/crypto.rs具体迭代/内存参数见 src/encryption/constants.rs加解密AES-256-GCM 认证加密aes-gcm 0.10GCM 模式天然提供密文完整性校验封包/解包lock_file将.mv2加密为.mv2eunlock_file解密并校验解密结果以MV2\0开头且长度与头部original_size一致再原子写回.mv2src/encryption/capsule.rs内存安全派生密钥使用后立即zeroize()清零依赖zeroize 1.7。流式stream封装与一次性oneshot封装两种格式均受支持入口为 src/encryption/capsule_stream.rs。测试见 tests/encryption_capsule.rs。八、能力地图如何按需启用各项特性CHANGELOG 的特性列表最终映射为 Cargo.toml 中一套清晰的 feature flags。默认特性为lex pdf_extract simd其余按需开启Feature对应 CHANGELOG 能力关键依赖lex默认BM25 全文检索tantivy 0.25pdf_extract默认PDF 文档摄入pdf-extractsimd默认向量距离 SIMD 加速widevecHNSW 向量检索 本地嵌入ort, hnsw, tokenizersclipCLIP 视觉检索image, rayonwhisper音频转录candle-*, hf-hubapi_embedOpenAI 云端嵌入reqwesttemporal_track自然语言日期解析—parallel_segments多线程摄入num_cpus, crossbeam-channelencryptionAES-256-GCM 加密胶囊argon2, aes-gcm, zeroizesymspell_cleanupPDF 文本修复symspellreplay时间旅行回放—按需组合的用法示例[dependencies] memvid-core { version 2.0, features [lex, vec, temporal_track] }仓库内置的验证手段也一应俱全cargo test跑全部单元/集成测试cargo test --test search、cargo test --test lifecycle、cargo test --test crash_recovery可单独验证检索、生命周期与崩溃恢复基准测试位于 benches如 benches/search_precision_benchmark.rs示例程序位于 examplesbasic_usage、pdf_ingestion、clip_visual_search、test_whisper等。九、结语CHANGELOG 背后的一整套可靠性工程回看这份 CHANGELOGMemvid 2.0 的每一项条目都不是孤立的新功能而是同一套设计哲学的组成部分单文件、追加式、确定性与崩溃安全。Tantivy 与 HNSW 提供检索、WAL 与原子提交保证一致性、Blake3 与 SHA-256 守护完整性、Ed25519 建立真实性、AES-256-GCM 提供机密性最终全部收敛到一个可携带、可分享、可加密的.mv2文件里。对于正在搭建 Agent 长期记忆层的开发者这套能力组合的价值在于把记忆从复杂的 RAG 管线与向量数据库依赖中解放出来变成一个既能在本地离线运行、又能随文件自由迁移的单一产物。后续版本演进当前 Spec 版本 2.1源码包版本 2.0.x仍在持续迭代可关注 CHANGELOG.md 的 Unreleased 段与 MV2_SPEC.md 的版本历史以掌握格式层面的最新变化。【免费下载链接】memvidMemory layer for AI Agents. Replace complex RAG pipelines with a serverless, single-file memory layer. Give your agents instant retrieval and long-term memory.项目地址: https://gitcode.com/GitHub_Trending/me/memvid创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考