量子化

詳しい解説

AIモデルの重みを低精度の数値表現に変換し、モデルサイズを小さくする技術。4bit量子化が実用化しており、GPUなしのPCでも大規模モデルを動かせます。