推論高速化

Speculative Decoding (SD)は, LLMの推論を高速化するための手法です.まずはSDを簡単に説明します. SDでは高速化したいLLM (verifierと呼ばれます)とは別... Read more