爱芯通元NPU完成Llama 3和Phi-3大模型适配,推动AI大模型技术应用普及
中国 2024年04月28日——人工智能芯片研发及基础算力平台公司爱芯元智宣布,近日,Meta、Microsoft相继发布具有里程碑意义的Llama 3系列和Phi-3系列模型。为了进一步给开发者提供更多尝鲜,爱芯元智的NPU工具链团队迅速响应,已基于AX650N平台完成 Llama 3 8B和Phi-3-mini模型适配。
Llama 3
上周五,Meta发布了Meta Llama 3系列语言模型(LLM),具体包括一个8B模型和一个70B模型在测试基准中,Llama 3模型的表现相当出色,在实用性和安全性评估中,与那些市面上流行的闭源模型不相上下。
在架构层面,Llama 3选择了标准的仅解码(decoder-only)式Transformer架构,采用包含128K token词汇表的分词器。Llama 3使用了超过15T的公开数据进行训练,其中5%为非英文数据,涵盖30多种语言,训练数据量是前代Llama 2的七倍。
根据Meta的测试结果,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项性能基准上均超过了Gemma 7B和Mistral 7B Instruct,70B模型则超越了名声在外的闭源模型Claude 3的中间版本Sonnet,和谷歌的Gemini Pro 1.5相比三胜两负。
实际上板结果:目前AX650N已经完成了Llama 3 8B Int8版本的适配,若采用Int4量化,每秒token数还能再翻一倍,能满足正常的人机交流。
Phi-3
Llama 3刚发布没多久,竞争对手就来了,而且是可以在手机上运行的小体量模型。
本周二,微软发布了自研小尺寸模型Phi-3。尽管Phi-3-mini被优化至可部署在手机上,但它的性能可以与Mixtral 8x7B和GPT-3.5等模型相媲美。微软表示,该创新主要在于用了质量更好的训练数据集。
实际上板结果:目前AX650N已经完成了Phi-3-mini Int8版本的适配,已能满足正常的人机交流。
其他成果
AX650N能第一时间完成Llama 3和Phi-3的适配,源于今年以来相关团队悄悄完成了现有NPU工具链针对大语言模型的支持和调优。目前除了Llama 3之外,已经完成了Llama 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等国内外主流的开源大语言模型适配。
后续计划
今年是AIPC的元年,爱芯元智将针对AIPC的常见应用提供更多的解决方案。充分发挥爱芯通元NPU高能效比的技术优势,让各种有趣的大模型实现高性价本地化部署,做到“人人都用得起大模型”,深入实践“普惠AI,造就美好生活”。
原文标题 : 爱芯通元NPU完成Llama 3和Phi-3大模型适配,推动AI大模型技术应用普及
图片新闻
最新活动更多
-
5月14日火热报名>> “大航海时代”,车企如何优化创新竞争力?
-
5月16日火热报名>>> OFweek锂电/半导体行业数字化转型在线研讨会
-
5月22日立即观看>> 蔡司-“质”敬明天线上峰会-电子行业主题日
-
5月22日立即报名>>> OFweek 2024新周期显示技术趋势研讨会
-
5月28日立即观看>> 【在线研讨会】Ansys镜头点胶可靠性技术及方案
-
5月31日立即报名>> 【线下论坛】新唐科技2024未来创新峰会
- 1 拆机实锤!华为Pura70使用新芯片,推测为7nm,性能如何?
- 2 中国芯片基地诞生:一年产量1055亿颗,占全国30%,三省共占67%
- 3 华为P70系列即将强势来袭,能否再次复制华为Mate60系列的辉煌?
- 4 华为麒麟9010、苹果A17、高通8Gen3对比,差距有多大?
- 5 避免内卷?中国大陆4大芯片代工厂,产能、营收、优势介绍
- 6 华为Pura70又打脸了?美国商务部长:华为芯片没那么先进
- 7 华为Pura70证明:我们7nm已没问题,接下来是5nm、3nm
- 8 MTK和Intel联手,投资RISC-V芯片新贵谋发展?
- 9 应用在防蓝光显示器中的LED防蓝光灯珠
- 10 AI计算搅动先进封装市场变局,FOPLP异军突起
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论