大家用 DGX Spark 跑什么
微调、本地推理、检索管线等等。每一页讲清楚 128GB 统一内存装得下什么,以及怎么开始。
在租用的 DGX Spark 上微调大语言模型
NVIDIA 称单台 DGX Spark 可以微调最高 700 亿参数的模型。128GB 能装下什么、该用哪些方法,以及怎么估算一次训练。
在 DGX Spark 上运行大模型推理
在一台机器上用 FP4 运行最高约 2000 亿参数的开源权重模型。解码速度可以期待多少,哪类模型跑得最好。
在一台机器上搭检索增强生成(RAG)管线
在一台 128GB 统一内存的 DGX Spark 上,同时运行嵌入模型、向量索引和生成模型,端到端做出 RAG 系统的原型。
DGX Spark 上的量化:FP4、FP8 和 GGUF
低精度格式如何改变 DGX Spark 上的内存占用和速度,以及怎么估算量化后的模型能不能放进 128GB。
不买硬件,也能跑模型评测和基准测试
评测任务短、可重复、集中爆发。为什么 DGX Spark 按分钟租用很适合,以及怎么做出干净、可复现的对比。
准备好了就开机
先充值,再选规格。没有空闲机器时,排队不收费。