DoPE

DoPEがRoPEの外れ周波数を抑えて長文耐性を底上げ

DoPE（Denoising Rotary Position Embedding）はRoPEをノイズを含む特徴写像とみなし、外れ周波数を検出・再パラメータ化して64Kトークン級長文タスクで崩れを抑える“推論時のみ”の手法です。