ANSWERS / 采购问答
成都企业本地部署大模型,服务器怎么选?
先确认模型规模、精度或量化方式、同时访问人数、上下文长度,以及训练还是推理,再确定GPU显存、计算能力、内存和存储。仅凭模型参数量不能给出可靠的完整配置。
进一步了解
采购沟通建议
向我们提供模型名称及版本、使用框架、目标吞吐、现有机房供电和网络条件。建议以目标工作负载验证配置,并保留后续扩展空间。
联系本地团队
成都及四川采购咨询
成都鸿盛广达科技有限公司,罗先生:13981931555(微信同号)。
先确认模型规模、精度或量化方式、同时访问人数、上下文长度,以及训练还是推理,再确定GPU显存、计算能力、内存和存储。仅凭模型参数量不能给出可靠的完整配置。
向我们提供模型名称及版本、使用框架、目标吞吐、现有机房供电和网络条件。建议以目标工作负载验证配置,并保留后续扩展空间。
成都鸿盛广达科技有限公司,罗先生:13981931555(微信同号)。