1M コンテキスト時代にこそ「Lost in the Middle」を思いだす
リンクの紹介は目視で確認。文章ドラフトおよび調査においてGPTを利用しています。 Gemini が 1M コンテキストをサポートしたあたり(当時2024年)から、定期的にこんなフレーズを見かけます。 「雑に 1M コンテキストに全部突っ込めばよくない？」 確かに、最近の LLM は「数十万〜数百万トークンまで突っ込めます」と大々的に宣伝しています。 ただ、そのノリのまま設計すると けっこう危ない という話を、数年前の論文が既にしています。 それが 「Lost in the Middle: How Lang
https://zenn.dev/rna4219/articles/043f8a5dd599dd
