随着摩尔定律的放缓,传统的指令集架构面临着内存墙问题,芯片有效算力的发挥受到制衡。在这个背景下,人工智能算法的快速发展对算力支撑提出了更高的需求。市场需要高性能、低延时、高算力性价比的商用AI芯片,需要创新的架构来解除算力的使用限制。

科研团队提出的定制计算激发了AI计算架构设计工程师的新思路,新的AI计算方式需要高性能的计算架构支持,数据流架构应运而生,这是一种为深度学习神经网络定制的高性能AI计算架构。它通过数据流流动次序来控制计算顺序,消除指令操作导致的额外时间开销。

数据流架构能够实现高效流水线运算,同时可并行执行数据访问和数据计算,进一步减少计算单元的空闲时间,充分利用芯片的计算资源。这使得数据流架构能够提供更高的实测算力和算力性价比。数据流架构的特点包括高算力利用率、高架构通用性和高软件易用性。在保持计算正确的前提下,它通过不断压缩每个空闲时钟来推高芯片实测性能,以接近芯片物理极限。同时在保证算法在数据流架构上运行能够实现高芯片利用率,数据流架构通用支持所有主流CNN算法、transformer类CV网络和GPT等大语言模型。通过专为数据流架构定制的编译工具链,算法端到端自动部署用户可以简单两步即可实现算法迁移和部署,降低使用门槛。

随着人工智能的迅速发展,AI算力需求与日俱增。与指令集架构不同的数据流架构,使用专用数据通道连接不同类型的高度优化的计算模块。它基于配置硬件控制和状态寄存器,一边读写,一边计算,节省了数据传输时间和计算时间。利用分布式专用本地内存,提供不同的访问模式以适应不同的AI算子,打破指令级数据依赖,提供张量粒度的优化计算单元,消除取指令和指令解码的开销。

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com