AI芯片的发展，离不开人工智能技术的发展。人工智能从1956年诞生至今，共经历过三次大的浪潮。进入21世纪，随着计算机性能的提升和海量数据的产生，机器学习和CNN网络(卷积神经网络)获得突破，算法、算力和数据满足了人工智能的商业化落地需求，人工智能迎来了高速发展的阶段。
据千讯咨询发布的《中国芯片市场前景调查分析报告》显示，人工智能芯片主要包含三个发展脉络，一是由于前期人工智能落地的旺盛需求，英伟达的图像处理器GPU因为可以支持CNN等算法网络，满足基本的人工智能落地需求，在这个时期获得了大范围应用，其也通过芯片架构不断迭代，逐步转型成为人工智能芯片供应商。
因为算法的不断迭代，对芯片和算力提出了更高的要求，这时候国内外的初创企业和华为等采用与英伟达类似的指令集技术路线，通过架构创新，推出了一批新的专用人工智能芯片。三是影响芯片性能的制程工艺发展日趋成熟，摩尔定律放缓对指令集技术路线的发展提出了挑战，目前也有初创企业采用全新的数据流技术路线，推出新的专用人工智能芯片。
当前国内主要是后两种人工智能芯片，各家企业都处于推出产品、进行市场化落地的阶段。例如，鲲云科技就在去年发布了通用AI底层CAISA芯片架构，可以实现高达98%的芯片利用率，在智慧城市、工业检测、电力安防等领域实现了规模落地。