記事論文
arXiv••3 min read
SignRoundV2: LLMの極低ビット量子化で精度ギャップを解消
大規模言語モデル（LLM）をスマホやPCなどのエッジデバイスで動かすために必要な「量子化（軽量化）」技術の最新版、「SignRoundV2」の発表です。 これまで、モデルを4ビットや2ビットまで圧縮すると、急激に頭が悪くなる（精度が落ちる）という問題がありました。 SignRoundV2は、モデルの微調整（再学習）を必要としない「事後学習量子化（PTQ）」の枠組みで、この精度の壁を打破する新しいアプローチを提案しています[1]。 Sig
#LLM#Quantization#Edge AI