在东谈主工智能限制，大谈话模子的测验与推理资本一直是适度时代普及的要道成分之一。近日，北京大学东谈主工智能商讨院助理考验张牧涵团队在鲲鹏昇腾科教立异非常中心（简称“非常中心”）提供的算力支捏下开云体育，得手研发出一套高效的大模子测验推理架构，已毕了百万tokens输入资本低至1元，为产业提供了高遵守、低资本的管理决议。

此商讨后果包括三项要道时代立异。最初，当今庸碌使用的相对位置编码存在较大的寥落性，团队通过将每个翔实力头中的位置信息和非位置信息离别，对位置编码进行了低秩压缩，仅使用3%的位置信息，即可保管原有抒发才能。该智商通过优化昇腾硬件的flash-attention算子，使得翔实力头的参数获取更高效诈欺。

第二，非位置编码信息在原始模子中频频处于被扼制状况。通过将位置编码与非位置编码离别，非位置编码获取了较大的压缩空间。团队遴荐了鸠集KV的低秩压缩智商，仅保留12.5%的KV Cache即可保管原始模子的才能。这一智商无意灵验诈欺昇腾硬件高效的计较才能，松开访存压力，显赫种植推理效率。

临了，基于昇腾硬件在出色的并行计较才能，团队已毕的Recurrent Decoding（RD）时代通过替换LM-head种植了测验数据诈欺率并加快了推理。在测验阶段，RD通过将解码出的多个tokens与target tokens进行对比，已毕了测验数据的高效诈欺；在推理阶段，衔尾投契推理显赫提高了tokens的采样通过率，进而种植了推理速率。

这一后果获取了学术界的庸碌原谅开云体育，不仅为科研提供了可复用的高效架构，也为AI大模子在企业中的应用大幅裁汰了资本。自旧年6月缔造以来，北京大学与华为在产业前沿课题的鸠集攻关捏续鼓励，本次后果考证了昇腾算力平台撑捏顶端科研的时代实力。非常中心将不息潜入开展大模子要道时代立异，为构建中国时代生态提供坚实撑捏。