应用介绍
具体来看,MI350系列采用CDNA 4 GPU架构,3纳米,它的特点是:1、更快的AI训练和推理:AI算力较上代提升4倍,在FP4精度下可达20PF,同时在FP6精度下可提升训练和推理的速度;2、支持更大的大模型:由于每个模块都配备了288GB HBM3E高性能内存,所以单个GPU就能运行5200亿参数的模型,可想而知,这就有利于降低大模型推理的成本;3、支持快速部署AI基础设施:该系列基于行业标准的UBB8平台,支持“风冷”和“液冷”两种散热方案。
具体来看,MI350系列采用CDNA 4 GPU架构,3纳米,它的特点是:1、更快的AI训练和推理:AI算力较上代提升4倍,在FP4精度下可达20PF,同时在FP6精度下可提升训练和推理的速度;2、支持更大的大模型:由于每个模块都配备了288GB HBM3E高性能内存,所以单个GPU就能运行5200亿参数的模型,可想而知,这就有利于降低大模型推理的成本;3、支持快速部署AI基础设施:该系列基于行业标准的UBB8平台,支持“风冷”和“液冷”两种散热方案。