AI文摘

blog-thum
【20241】仍然活跃的开源LLM

0、前言目前大家关注开源LLM模型的热潮已经褪去,但过去3个月这方面仍有一些工作发布。本文是我本轮调研的一个笔记,顺便发出来供读者参考。由于这方面的玩家较多,也没有很合适效果或者影响力排序,所以为了尽

read more
blog-thum
大模型量化技术原理-LLMint8()、GPTQ

【点击】加入大模型技术交流群近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,从而导致模型变得越来越大,因此,我们需要一些大模型压缩技术来降低模型部署的成本

read more