記事論文
arXiv••2 min read
DoPEがRoPEの外れ周波数を抑えて長文耐性を底上げ
DoPE（Denoising Rotary Position Embedding）はRoPEをノイズを含む特徴写像とみなし、外れ周波数を検出・再パラメータ化して64Kトークン級長文タスクで崩れを抑える“推論時のみ”の手法です。
#LLM Research#長文コンテキスト
DoPE
Research / 1 件
編集体制
一次情報の確認と要約は編集部が担当し、生成AIはリサーチ補助とドラフト作成に使っています。出典・確認日を明記し、誤りやリンク切れは順次修正します。