KV கேச் ஒவ்வொரு கான்டெக்ஸ்ட் டோக்கனுடனும் வளர்கிறது. இந்த கால்குலேட்டர் வெவ்வேறு கான்டெக்ஸ்ட் நீளங்கள் மற்றும் குவாண்டைசேஷன்களில் கேச் எவ்வளவு நினைவகத்தைப் பயன்படுத்தும் என்பதைக் காட்டுகிறது, எனவே மாடலை இயக்கும் முன் உங்கள் GPU-க்கு எது பொருந்தும் என்பதை நீங்கள் அறிவீர்கள்.
தோராய மதிப்பீடு: layers × kv_heads × head_dim × 2 × bytes_per_value × context.
மாடல் எடைகள் உள்ளிட்ட துல்லியமான எண்களுக்கு, LLM VRAM கால்குலேட்டரைப் பயன்படுத்தவும்.
அதை எவ்வாறு குறைப்பது என்பதற்கான KV கேச் வழிகாட்டியைப் பார்க்கவும்.