ITBear旗下自媒体矩阵:

律师用二手V100搭建本地集群运行DeepSeek模型

   时间:2026-11-21 15:07:44 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

11月21日消息,Reddit社区用户u/TumbleweedNew6515在11月20日发帖称,其花费约9450美元(按现汇率约合63239元人民币),用12张二手英伟达Tesla V100 SXM2 32GB显卡搭建了一套私人AI服务器,并在本地运行DeepSeek-V4.1-Flash。

该集群通过NVLink和PCIe实现协同推理,采用3个流水线阶段与每阶段4卡张量并行的组合,即PP3乘TP4。软件侧使用4-bit NVFP4量化,发帖者称每个专家被压缩到约15360个参数,使12张V100能够承载模型中的专家分片。

性能测试中,单请求、单流场景下,1K上下文冷启动首token耗时0.7秒,预填充速度为每秒1567个词元;8K、32K、64K、128K和256K上下文下,冷启动首token分别约2.5秒、7.3秒、13.9秒、28.1秒和58.0秒,预填充速度约在每秒3267到4697个词元之间,256K时约为每秒4518个词元。

生成速度方面,代码场景在1K到256K上下文中约为每秒153到184个词元,法律场景约每秒92到102个词元,普通文本约每秒83到95个词元。文档缓存后,首token延迟可降至0.2秒到0.6秒。

该用户表示,在单请求单流条件下,这套12张V100的配置表现超过已公开的四台英伟达DGX Spark组合,代码生成快约15%到45%,普通文本生成也更高。多请求场景下,系统并非批量解码引擎,3个流时速度约为每秒344到443个词元。

成本上,整套硬件采购价约9450美元,约为三台DGX Spark组合价格的一半。代价是最高功耗约2100W,噪音较大,不适合普通办公环境。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version