11月21日消息,Reddit社区用户u/TumbleweedNew6515在11月20日发帖称,其花费约9450美元(按现汇率约合63239元人民币),用12张二手英伟达Tesla V100 SXM2 32GB显卡搭建了一套私人AI服务器,并在本地运行DeepSeek-V4.1-Flash。
该集群通过NVLink和PCIe实现协同推理,采用3个流水线阶段与每阶段4卡张量并行的组合,即PP3乘TP4。软件侧使用4-bit NVFP4量化,发帖者称每个专家被压缩到约15360个参数,使12张V100能够承载模型中的专家分片。
性能测试中,单请求、单流场景下,1K上下文冷启动首token耗时0.7秒,预填充速度为每秒1567个词元;8K、32K、64K、128K和256K上下文下,冷启动首token分别约2.5秒、7.3秒、13.9秒、28.1秒和58.0秒,预填充速度约在每秒3267到4697个词元之间,256K时约为每秒4518个词元。
生成速度方面,代码场景在1K到256K上下文中约为每秒153到184个词元,法律场景约每秒92到102个词元,普通文本约每秒83到95个词元。文档缓存后,首token延迟可降至0.2秒到0.6秒。
该用户表示,在单请求单流条件下,这套12张V100的配置表现超过已公开的四台英伟达DGX Spark组合,代码生成快约15%到45%,普通文本生成也更高。多请求场景下,系统并非批量解码引擎,3个流时速度约为每秒344到443个词元。
成本上,整套硬件采购价约9450美元,约为三台DGX Spark组合价格的一半。代价是最高功耗约2100W,噪音较大,不适合普通办公环境。











