Ethan Lab 软件开发 · 产品管理 · 科技评测
返回研究笔记

64 GB RAM 跑起 Qwen3.8-Flash-Next UD-IQ4_XS:Strata × RTX 5060 Ti 16 GB 实测

64 GB RAM 搭配 RTX 5060 Ti 16 GB 运行 Qwen3.8-Flash-Next UD-IQ4_XS。RTX 无显示输出、CPU 看图、VRAM 预留 700 MiB,详列内存配置、PLE 磁盘读取与推理速度。

64 GB RAM 与 RTX 5060 Ti 16 GB 显卡的 AI 示意图,呈现 Strata 运行 Qwen3.8-Flash-Next UD-IQ4_XS。
64 GB RAM 搭配 RTX 5060 Ti 16 GB,通过 Strata 运行 Qwen3.8-Flash-Next UD-IQ4_XS(AI 示意图)。

64 GB RAM,搭配 RTX 5060 Ti 16 GB,这台主机已成功加载并执行 Qwen3.8-Flash-Next UD-IQ4_XS 的推理请求。本次使用的是 Huihui v2 版本,由 Strata 0.1.47 运行;安装的 64 GB RAM 中,系统可使用总容量以 63.8 GB 计算。主模型的全部 routed experts 约 55.43 GB,启动日志显示已完整锁定在物理 RAM,测量快照中 Strata 引擎另使用约 13.39 GB VRAM,实际用量会随工作负载变化。

让这个配置成立的关键,是模型数据分布在 RAM、VRAM 与磁盘:87.25 GB 的主模型文件中,约 26.82 GB 的 PLE 表按需从磁盘读取,GPU 则保存常用专家缓存与运算数据。本次快照的整机分页文件已用约 2.46 GB,无法精确归属到 Strata;此前日常运行时约有 1~2 GB 可用 RAM。本文根据本次执行请求后的测量,详列四类资源的容量与比例,说明这台 64 GB RAM 主机如何跑起模型,以及现有证据能支持的范围。

本配置另设置 STRATA_ROUTE_TAIL_SKIP=0,关闭尾部专家跳过机制,让符合该机制跳过条件的已选中专家仍参与计算。这项设置会影响解码速度与输出结果,是解读后续性能数据的重要条件。

实测速度:32K Prefill 与 4K Decode

在同一台 RTX 5060 Ti 16 GB、64 GB RAM 主机上,模型为 Huihui v2 UD-IQ4_XS,使用 Strata 0.1.47,上下文上限设置为 64K(65,536 tokens)。以下是另行补测的速度结果;本文的内存用量主要来自此前快照,可用 RAM 另列此前日常运行的范围。

2026-10-24 重测:以下为 Strata 重启后,沿用相同测试流程取得的新结果。

测试第一次
(tok/s)
第二次
(tok/s)
第三次
(tok/s)
中位数
(tok/s)
32K Prefill1,268.91,294.21,295.31,294.2
4K Decode43.239.848.443.2

测试条件:

  • Prefill:每次输入 32,768 tokens,测量提示词处理速度。
  • Decode:每次输入 4,096 tokens,完整生成 512 tokens,测量输出生成速度;“4K”指输入长度。
  • 使用代码负载,temperature 0,关闭 thinking。
  • 两项测试各执行三次,共六次请求;每次都确认提示缓存命中为 0。
  • 速度采用引擎返回计时,中位数由各项测试的三次结果计算。

测量条件与单位

除明确标示 MiB/GiB 的参数单位外,全文容量均以 bytes ÷ 1024³ 换算,统一标为 GB,沿用本机 Windows 内存界面的标注习惯。这是二进制换算,与硬盘厂商以十进制计算的 GB 不同。RAM 比例一律以用户指定的 63.8 GB 为分母;“63.8 GB 可用容量”在本文指系统可使用的物理 RAM 总容量,不是当下尚未使用的空间。

项目配置与测量条件
GPUNVIDIA GeForce RTX 5060 Ti,VRAM 16 GB
VRAM 预留--vram-reserve-mib 700:700 MiB
RAM安装 64 GB,比例计算采用可用总容量 63.8 GB
Strata0.1.47,CUDA 13;
源代码对应 commit 76f90e58436d
模型Qwen3.8-Flash-Next Huihui v2,UD-IQ4_XS,三个 GGUF 分片
运行方式完整加载主模型专家 arena;
expert-cache auto;
prefill auto
尾部专家跳过STRATA_ROUTE_TAIL_SKIP=0;
已关闭
上下文与推测解码max-context 65,536、KV int8、spec 4、spec-min-p 0.5、MTP 开启
KV Cache
配置
关闭 KV streaming;
未使用 –kv-resident;
KV Cache 全部位于 VRAM
其他配置HC Q8 开启;
Vision 开启且设为 CPU;
PLE 使用 direct I/O
时间启动:2026-10-23 17:47;
主快照:2026-10-24 00:22,UTC+8;
控制进程另行补查
测量范围已加载并执行过请求后的状态快照;
不是满上下文或高负载峰值测试

下文“实测”指 Windows 计数器或文件长度;“配置”来自本次启动日志与相同版本源代码;“估算”包含尚未逐页去重的跨计数器推算。不同时间的工作量、其他程序与配置会改变结果。

把 RAM 留给专家:关闭 KV streaming

为了将更多 RAM 留给专家权重,此配置移除了 --kv-resident 32768,关闭 KV streaming,让 KV Cache 完整保留在 VRAM。相较于原先的配置,这省下约 0.77 GB 的 pinned RAM,同时让 KV Cache 的 VRAM 占用估计增加 0.39 GB,压缩 GPU 专家缓存的可用空间。上下文上限仍为 64K(65,536 tokens),KV 精度维持 INT8。主模型专家权重仍常驻 RAM。

先看四类资源的总览

资源容量/用量比例与分母证据范围
VRAM:
Strata 引擎
13.39 GB83.70%
/16 GB
Windows GPU 进程专用内存快照
RAM:
主模型全部 routed experts
约 55.43 GB86.88%
/63.8 GB
权重有效载荷;本次启动日志显示整个 arena 已锁定
RAM:
Strata 整体
粗估约 56.4 GB约 88.4%
/63.8 GB
包含引擎、控制与 Vision 进程;跨计数器估算,非逐页精确总量
磁盘分页:
整机已用
2.46 GB5.35%
/46 GB 分页文件
全系统数值,无法分配到单一进程
磁盘:
模型与配套文件
90.25 GB97.64%
/本次盘点的 92.44 GB 部署文件
主模型、pack、MTP、Vision
磁盘:
模型加已安装程序
92.44 GB100%
/本次部署盘点范围
不含系统分页文件、其他模型、安装包与日志

这四栏不能直接相加成模型大小。磁盘保存模型文件,RAM 加载专家权重,VRAM 再保存其中一部分专家的缓存副本;同一份逻辑权重可能同时占用不同硬件资源。分页文件本身也位于磁盘,不能在磁盘总量中重复计入。

RAM:55.43 GB 的全部专家放在哪里?

pack 的专家索引记录主模型 routed-expert 有效载荷为 59,519,795,200 bytes,即约 55.43 GB;三个 GGUF 的 tensor metadata 也得到相同结果。这包含 48 层、每层 512 个 routed experts,合计 24,576 个“层 × 专家”组合。配置对齐会另有极少量开销。

日志中的“44 GB pinned”与“10.78 GB VirtualLock”是同一个 expert arena 的两个区段,不是两套额外权重:

锁定方式容量占 63.8 GB RAM解读
CUDA pinned,
前 39 个 slices
约 44.65 GB69.99%原始日志只输出整数 44;
依对应权重区段换算约 44.65
VirtualLock,
其余尾段
约 10.78 GB16.90%CUDA 无法注册全部区段后,尾段改用 Windows 锁定
主模型专家有效载荷合计约 55.43 GB86.88%两种方式覆盖整个 arena;
尾段锁定数字含对齐差异

依照本次启动日志与 相同版本的 pinned 实现,程序先逐段执行 CUDA host registration,再只对剩余尾段调用 resident lock。尾段成功信息表示该区段的 VirtualLock 已完成,因此可判定本次加载时,全部主模型专家 arena 都成功锁在物理 RAM。这是日志及代码路径的判定,并非本次取得了整个进程的逐页扫描结果。

Microsoft 的 VirtualLock 文档指出,成功锁定的页面在解除锁定或进程终止前会保留于物理内存,不会写入 pagefile。CUDA 的 page-locked host memory同样属于不可换出的主机内存。整体 CUDA 注册失败或 large pages 未成功,不能单凭这两句就断言专家已被换到磁盘;本次仍有逐段 pinned 与 VirtualLock 的成功后备路径。

这里的“全部专家”特指主模型 routed experts。Embedding、PLE、主模型其他权重、MTP 与 Vision 另外统计;并不表示磁盘上 87.25 GB 的整个 GGUF 都常驻 RAM。

扣除专家后的 8.37 GB,还要容纳哪些东西?

63.8 − 55.43 ≈ 8.37 GB。这约占 RAM 的 13.12%,必须共同容纳 Strata 其他主机数据、Windows、驱动程序、其他应用程序及当下可用空间。它不是“Windows 固定使用量”,也不是全部留给 Strata 的余量。

Strata 其他 RAM 项目容量占 63.8 GB数值性质/说明
Token embedding,
Q8_0
约 0.6290 GB0.9860%本次加载 mapped host memory;
由 tensor 大小核对
PLE 预填充双缓冲约 0.1563 GB0.2449%8,192-token chunk 的配置计算;
不是整张 PLE 表
专家 host staging,
默认 16 slots
约 0.05188 GB0.0813%按最大 expert blob 与默认槽位计算,非独立驻留量实测
Prefill 路由 ids/slots/sources约 0.000916 GB0.001435%三组主机整数数组的配置计算
Token ID 主机/上传缓冲约 0.000061 GB0.000096%8,192-token chunk 的配置计算
QSA steps 主机/上传缓冲约 0.000244 GB0.000383%依 4 steps 计算
Python 控制进程工作集约 0.0144 GB约 0.0226%补查时的工作集,不代表 commit 或全部配置量
Vision CPU 进程工作集约 0.00057 GB约 0.0009%快照当下很小;
不能据此推定视觉权重不占任何资源
其他配置与开销未单独量得未能精确拆分路由分组表、CPU worker stack/scratch、验证 host staging、checkpoint、索引与 CUDA/驱动管理数据等

配置容量与当下工作集不是同一类数值,上表不应直接相加当作精确常驻量。启动时会为后续 pinned buffers 临时预留约 0.7813 GB,并在初始化过程中逐步交还或释放。这是启动阶段的临时预留空间,不应另外计入永久常驻 RAM,也不同于此前日常运行时剩余的 1~2 GB 可用 RAM。代码依据可参考 prefill 缓冲配置及 pin budget 的释放流程。

Strata 整体与操作系统各占多少 RAM?

Windows 此次报告 Strata 主引擎的工作集约 10.79 GB、GPU SharedUsage 约 45.60 GB。Shared GPU memory 使用的是系统 RAM,不是额外的物理 VRAM,也不是 pagefile。只看进程的 10.79 GB 工作集,会漏掉此配置下由 GPU/驱动相关计数器反映的大量主机内存。

将上述两个计数器与控制、Vision 进程工作集交叉对照,可得到 Strata 整体约 56.4 GB的量级估算。但这些计数器没有逐页去重;Microsoft 对 GPU 计数器的说明也提醒进程数值可能包含共享资源,因此下表只能作为粗略分配,不能视为精确会计账:

RAM 粗估分配约 GB占 63.8 GB
主模型专家有效载荷55.4386.88%
Strata 其余部分0.97约 1.52%
Windows、驱动与其他程序5.4~6.4约 8.46~10.03%
此前日常运行时可用 RAM1~2约 1.57~3.13%

其中“Strata 其余部分”是约 56.4 GB 减去专家有效载荷的估算差额;“Windows、驱动与其他程序”则以 63.8 − 56.4 −(1~2)≈ 5.4~6.4 GB 推算,承接 Strata 估算量的误差,并非另一次独立测量。可用 RAM 越多,这项估算余额越小。可靠性较高的结论是:专家已占掉约 86.88%,其余用途合计仅剩约 8.37 GB 的容量预算。此前日常运行时可用 RAM 约 1~2 GB,占总容量约 1.57~3.13%。

VRAM:16 GB 显存的分配与预留空间

16 GB 显存供 Strata 的 GPU 专家缓存、其他权重及运行时分配使用。--vram-reserve-mib 设为 700 MiB,作为确定专家缓存大小时保留的一般余量。本配置的 Vision 图像编码器在 CPU 运行,不需要为编码器另留 GPU 内存。下方的 13.39 GB 是测量时的 Strata 用量快照,不是固定上限或峰值。

测量时的 Windows GPU 专用内存计数器显示,Strata 引擎使用约 13.39 GB,占 16 GB 的 83.70%。全卡计数器显示约 14.07 GB,与 Strata 进程计数器的差额约 0.67 GB,可作为其他进程与系统图形负载的量级参考;此差额未逐资源去重:

VRAM 用量快照GB占 16 GB
Strata 引擎13.3983.70%
其他/系统差额(估算)约 0.674.22%
剩余容量约 1.9312.09%
全卡已用14.0787.91%

以下将启动日志中的已知配置,与上述进程快照对照。配置信息本身有四舍五入,且部分动态缓冲会随请求变动:

Strata VRAM 项目约 GB占 16 GB内容/边界
专家 GPU 缓存6.150038.44%2,732 个常驻槽位
原生投影权重3.534322.09%已包含 HC Q8 约 0.63 GB
Canonical 小权重0.21091.32%与原生投影分开配置
MTP draft layer0.85555.35%包含草稿专家、dense 与该层状态/缓冲
原生输出 head0.48573.04%主模型输出投影
MTP draft head0.20791.30%与 MTP layer 分开配置
Verify device buffers0.08530.53%最多 6-token 验证窗口
上述已知项目小计11.529572.06%启动配置近似合计
未完整细分的差额1.862111.64%主模型 KV/state、prefill/activation、CUDA 配置与其他缓冲等;
不是单一项目的实测
Strata 进程专用 VRAM 合计13.391783.70%Windows 计数器快照

此前运行时,GPU 缓存放入 2,732 个“层 × 专家”槽位,约为 24,576 个总槽位的 11.12%;这是槽位数量比例,不是命中率。缓存约 6.15 GB,占 VRAM 38.44%。它是 RAM 专家权重的 GPU 副本,并不会把 RAM 中的全部专家替换掉。

阅读日志时有三个容易重复加总的地方:

  • HC Q8 约 0.63 GB 已包含于原生投影约 3.53 GB。源代码的容量统计已将它计入。
  • Prefill 借用约 3.49 GB cache,包含于 6.15 GB 专家缓存。这是既有槽位的借用,不是再配置一块等量 VRAM。
  • MTP layer 的专家、dense 与该层状态属于 0.8555 GB 的内部分项。MTP draft head 则是后续另行配置,可独立统计。

上表的约 1.86 GB 差额未取得完整逐配置快照,不能直接改名为“KV cache 1.86 GB”。本次虽设置最大上下文 65,536,也不代表已把这个长度的所有运行峰值测完。

磁盘分页:整机用了 2.46 GB,Strata 用了多少?

分页指标容量比例/解读
pagefile.sys 已配置容量46.00 GB100% 的分页文件容量
全系统快照已用2.4609 GB占分页文件 5.35%
全系统峰值使用量2.4756 GB占分页文件 5.38%;
非本模型专属峰值
Strata 主模型已锁定专家锁定期间不写入 pagefile依成功锁定语义与本次启动日志判定
Strata 其他未锁定数据/Vision/控制进程未能精确归属本次没有取得逐进程的实际 pagefile 驻留量

46 GB 是分页文件本身的配置容量,2.46 GB 是此前快照中整机的使用量。不能写成“Strata 另外使用 46 GB 虚拟内存”,也不能把整机的 2.46 GB 全部算给模型。只凭这组数据,可以确认系统整体有分页文件使用量,但不能确认其中多少属于 Strata 的其他数据。

主引擎的 private committed memory 约 72.95 GB,Vision 进程约 1.36 GB;这些是 commit 指标,不是实际写入磁盘的量。例如不能用“72.95 − 56.4”推算 Strata 有十多 GB 在 pagefile。Microsoft 的内存性能指标对照也把部分名称含 Page File 的进程计数器对应到 Commit Size,而不是分页文件实际占用。

在约 00:02 的短时间空闲采样中,分页输出率持续为 0;00:22 主快照的分页输入、输出率也为 0。这表示那些观测时刻没有量到持续换出活动,不能证明长时间推理、模型加载或其他工作负载都完全没有磁盘分页。这次对引擎及 Vision 进程做进一步内存查询时被 Windows 拒绝访问,因此保留逐进程归属为未知。

磁盘分页就是虚拟内存吗?

两者有关,但不能画上等号。虚拟内存是进程使用虚拟地址,由操作系统映射到物理 RAM 或其他后备存储的机制;pagefile 分页是其中将可换出页面保存在磁盘分页文件的做法。已锁在 RAM 的专家仍通过虚拟地址访问,只是不会在锁定期间被换到 pagefile。

此外,Strata 按需读取磁盘上的 PLE 表、启动时读取 GGUF、读入 DLL 或文件映射页面,都可能造成磁盘 I/O;这些不等于 pagefile 换页。硬缺页错误也可能来自一般文件,不能只看硬缺页错误就断定模型正在使用磁盘分页文件。

磁盘:87.25 GB 主模型,90.25 GB 模型部署,92.44 GB 含程序

文件容量按文件长度加总;不是下载压缩包大小,也不是逐一测量 NTFS 分配簇。一般文件的实际磁盘分配量可能因压缩、稀疏或簇对齐略有差异。本次只盘点这个模型所需的模型文件与已安装程序,不包含其他模型、转换来源备份、安装包、日志及 Windows 本身。

磁盘项目GB占 92.44 GB 部署盘点内容
主模型 GGUF,
三个分片
87.248794.39%Huihui v2 UD-IQ4_XS
配套 pack 与 tokenizer1.39331.51%dense.bin、索引、转换信息与 tokenizer
MTP runtime0.76770.83%dense、experts、draft vocabulary 等
Vision mmproj0.84520.91%视觉投影模型
Strata 已安装主程序目录1.36531.48%含 control、内附 engine-bundle、harness、host、Node 与启动程序
目前使用的独立 engine component0.81600.88%0.1.47 CUDA 13;
与主程序内附引擎各有一份
总计92.4363100%其中模型及配套文件合计 90.2550 GB

内附 engine-bundle 与目前使用的 component 在本机确实各有一份,因此磁盘盘点把两份都列入。这不表示运行时会在 RAM 或 VRAM 内加载两套相同引擎。

若只比较模型部署的 90.25 GB,主模型 GGUF 占 96.67%、pack 占 1.54%、MTP 占 0.85%、Vision 占 0.94%。

主模型 87.25 GB 的内容拆分

以下读取 GGUF headers 与 tensor metadata 计算,未把整个模型重新加载到 RAM。分母仅为三个主模型 GGUF,与上一表的部署总量不同:

GGUF 内容GB占 87.25 GB 主模型文件
主模型 routed experts55.432163.5335%
PLE 大表26.822230.7423%
Token embedding0.62900.7210%
原生输出 head0.48570.5566%
HC projections0.62900.7210%
Shared-expert 相关 tensors0.23390.2681%
其他 tensors3.00643.4458%
Headers、metadata 与 padding0.01030.0118%
合计87.2487100%

PLE 约 26.82 GB 是“模型文件比 RAM 专家权重大很多”的主要原因。本次采用 direct I/O 按需读取,不把整张表常驻 RAM;预填充时的约 0.1563 GB 主机双缓冲另列于 RAM 表中。PLE 存在磁盘上是模型的数据配置策略,并不是专家因 RAM 不够而被写进 pagefile。

本机所在磁盘卷容量约 1,861.88 GB。上述 92.44 GB 模型与程序文件约占磁盘卷 4.96%。若另外把系统已配置的 46 GB 分页文件纳入空间规划,两者合计约 138.44 GB,占 7.44%;其中分页文件为全系统共用,不能全部归为 Strata 专用空间。已用的 2.46 GB 是 46 GB 里的一部分,不应再加一次。

64 GB RAM 已能跑起,实际余量有多少?

这次的证据支持:主模型全部 routed experts 约 55.43 GB,已在启动时完整锁进 RAM;测量快照中 Strata 引擎约使用 13.39 GB 专用 VRAM,保存常用专家缓存与其他运算数据。模型能运作的关键包含 CPU/GPU 分工、部分专家的 VRAM 副本,以及 PLE 按需从磁盘读取。

容量压力主要出现在 RAM:专家之外只有约 8.37 GB 的总预算,此前日常运行时可用 RAM 约 1~2 GB。即使锁定专家本身不会分页,Windows、其他程序及 Strata 未锁定的数据仍可能承受内存压力。整机已有约 2.46 GB pagefile 使用量,但这次数据不足以把它精确分配到 Strata。

因此,对这台主机最准确的描述是:全部主模型专家已锁在 RAM,整体内存余量很小;不能进一步宣称整台电脑或 Strata 所有数据都完全不用磁盘分页。本次没有进行满上下文峰值或长时间压力测试,本文数值应作为指定版本、设置与时间点的容量盘点。

数据来源与可重现范围

百分比以未四舍五入的数值计算;表内四舍五入可能使加总略有差异。“未知”表示本次未取得足够数据,并不代表容量为零。

家用双主机工作站:左侧 AI INFERENCE NODE 负责大型语言模型推理与 AI Agent 服务,右侧 DEV WORKSTATION 负责开发、测试与 AI 编程,线缆已整齐束线。

双机分工:推理与开发各自保有运算资源

上图左侧的 AI INFERENCE NODE 负责模型推理与 AI Agent 服务,右侧的 DEV WORKSTATION 则负责程序开发、测试与 AI Coding。两台主机各自使用独立的 CPU、GPU 和内存,让推理服务与开发工作不会互相争抢同一台主机的运算资源,也能把推理主机的内存空间留给模型。

将 IDE、编译与测试等开发工作交由 DEV WORKSTATION 处理,可以减少 AI INFERENCE NODE 上的 RAM 占用,把 64GB RAM 中更多可用空间留给模型。双机配置让推理主机腾出更多 RAM,因而有更多空间加载并运行更大的模型。对于本文这种内存余量有限的配置,这正是将推理服务与日常开发分开的实际价值。

项目AI INFERENCE NODE
推理主机(左)
DEV WORKSTATION
开发主机(右)
主要用途模型推理、AI Agent 服务程序开发、测试、AI Coding
CPUIntel Core i7-11700Intel Core i7-11700
主板ASUS PRIME B560M-KASUS PRIME B560M-K
显卡ASUS Dual GeForce RTX 5060 Ti 16GBZOTAC GAMING GeForce RTX 4060 8GB SOLO
内存Micron Crucial PRO DDR4-3200
64GB(32GB × 2)
ADATA DDR4-3600
32GB(16GB × 2)
SSD 1Corsair Force MP600 2TBCorsair Force MP600 2TB
SSD 2Seagate FireCuda 520 2TBSeagate FireCuda 520 2TB
HDDToshiba MG08ACA16TE
16TB × 1
Toshiba MG08ACA16TE
16TB × 2
操作系统Windows 11 家庭版Windows 11 专业版
机箱FSP 全汉 CST350FSP 全汉 CST350
电源FSP 全汉金钢弹 550W
80PLUS 金牌/SFX
FSP 全汉金钢弹 550W
80PLUS 金牌/SFX
两台主机使用相同的 CPU、主板、SSD、机箱与电源;主要区别为显卡、内存、HDD 数量和 Windows 版本。表中存储容量采用产品标称值。

留言讨论

留下你的想法

你的电子邮件不会公开。