标签：推理场景

问题一：在台湾部署用于深度学习的服务器时，如何选择合适的硬件规格？ 简要回答 选择服务器时，应以模型类型和业务场景为核心，优先考虑计算能力、显存、互联带宽与存储性能。针对大规模训练推荐多卡高显存GPU、NVLink或RDMA互联；针对在线推理可优先选择低延迟、高单卡算力的GPU或专用推理加速卡。 详细建议 1）若以Transformer类大模型