
記事公式発表
NVIDIA••4 min read
NVIDIA TTT-E2E|コンテキストを重みに圧縮してLLMが推論時に学習
NVIDIA TTT-E2E|コンテキストを重みに圧縮してLLMが推論時に学習. 1. これは何の話? NVIDIAが発表したTTT-E2E(Test-Time Training with an End-to-End formulation)は、LLMのメモリの在り方を根本から再考する研究です。
#研究#長文脈#推論最適化
AI Model / 6 件

NVIDIA TTT-E2E|コンテキストを重みに圧縮してLLMが推論時に学習. 1. これは何の話? NVIDIAが発表したTTT-E2E(Test-Time Training with an End-to-End formulation)は、LLMのメモリの在り方を根本から再考する研究です。

LLM事前学習で発生する出力ロジット発散を抑える新手法「OEC」が提案されました。μセンタリングとμ損失の2実装で、z-lossより安定した学習を実現します。

LLMアプリケーション向けの自動テストフレームワーク「STELLAR」が提案されました。進化的最適化を用いて障害を引き起こす入力を探索し、従来手法の最大4.3倍の障害検出を実現しています。

arXiv論文が人間とLLMの認知構造の根本的違いを「7つの認識論的断層線」として整理。言語的もっともらしさが判断を代替する「Epistemia」状態への警鐘と、評価・ガバナンス・リテラシーへの示唆を解説します。

LLMが検索エンジンに取って代わる未来を想定し、プロバイダ・コンテンツ作成者・ユーザーの観点から15種類の社会的課題と技術・法的対応策を整理した論説です。

Cornell大学研究:AI使用で論文数は増加も質への懸念. 1. これは何の話? Cornell大学の研究チームが、大規模言語モデル(LLM)の利用が学術論文の執筆に与える影響を分析した研究結果を発表しました。LLMの活用により論文の執筆数は増加傾向にある一方、論文の品質にばらつきが生じる懸念も指摘されています。