以ChatGPT为代表生成类模型需要在海量的训练数据中进行学习，才能实现高质量的生成输出。为了支持高效率训练和推理，生成类模型对于相关芯片也有自己的需求。今天就由半导体展NEPCON小编为你解读更多行业新趋势。

先就是对于分布式计算的需求。ChatGPT这类语言类生成模型的参数量高达千亿，几乎不可能使用单机训练和推理，而必须大量使用分布式计算。在进行分布式计算时，对于机器之间的数据互联带宽，以及计算芯片对于这类分布式计算（例如RDMA）就有了很大的需求，因为很多时候任务的瓶颈可能并不在计算，而是在数据互联上面，尤其是在此类大规模分布式计算中，芯片对于分布式计算的高效率支持更加成为了关键。

其次是内存容量和带宽。虽然对于语言类生成模型分布式训练和推理不可避免，但是每个芯片的本地内存和带宽也将很大程度上决定单个芯片的执行效率（因为每个芯片的内存都被使用到了限）。对于图像类生成模型来说，可以把模型（20GB左右）都放在芯片的内存中，但是随着未来图像生成类模型的进一步演进，它对于内存的需求可能也会进一步提升。在这个角度来看，以HBM为代表的超高带宽内存技术将会成为相关加速芯片的必然选择，同时生成类模型也会加速HBM内存进一步增大容量和增大带宽。除了HBM之外，CXL等新的存储技术加上软件的优化也有将在这类应用中增加本地存储的容量和性能，估计会从生成类模型的崛起中获得更多的工业界采用。

后是计算，无论是语言类还是图像类生成类模型的计算需求都很大，而图像类生成模型随着生成分辨率越来越高以及走向视频应用，对于算力的需求可能会大大提升——目前的主流图像生成模型的计算量在20 TFlops左右，而随着走向高分辨率和图像，100-1000 TFLOPS的算力需求很有可能会是标准。

综上所述，我们认为生成类模型对于芯片的需求包括了分布式计算，存储以及计算，可谓是涉及了芯片设计的方方面面，而更重要的是如何把这些需求都以合理的方法结合到一起来确保某一个单独的方面不会成为瓶颈，这也将会成为一个芯片设计系统工程的问题。

以上便是半导体展NEPCON小编为大家整理的相关内容，如果大家对这方面比较感兴趣，可以到半导体展NEPCON参观交流。2023年10月11日-13日，半导体展NEPCON将于深圳国际会展中心（宝安新馆）隆重开幕，将以“跨界+芯+智造”为创新理念，展会将汇聚1,200个企业及品牌参展，展示电子元器件、PCBA制程、智能制造、 EMS服务、半导体封测等相关的国内外设备新品及先进技术解决方案。与同期多展联动，带来消费电子、家电、工控、通信通讯、汽车、触控显示、新能源、医疗器械、光电等领域跨界商机，绽放亚洲电子工业新活力。此外，同期将举办超30场跨国、跨界活动，覆盖PCBA制程、半导体封装、工业机器人、智能仓储与物流、机器视觉、智慧工厂、工业互联网、激光、3C、家用电器、通信、汽车、5G、物联网、人工智能、AR/VR、新能源、医疗器械、照明等热门话题，创新打造多元化国内、外商务配对社交机会，一站式捕捉亚洲跨界商贸网络，诚邀您莅临参观，为您解读更多行业发展新趋势。

文章来源：半导体行业观察