🧪 VelsTech ஆய்வகம்
உண்மையான வன்பொருளில் நடைமுறை சோதனைகள் – செய்திக்குறிப்புகள் அல்ல. ஒவ்வொரு ஆய்வகப் பதிவும் முன்நிபந்தனைகள், வன்பொருள்/மென்பொருள் விவரங்கள், முறை, மூல முடிவுகள் மற்றும் என்ன உடைந்தது என்பதை பட்டியலிடுகிறது – தோல்விகள் உட்பட.
அனைத்து சோதனைகள் · VRAM கால்குலேட்டர் · GPU செயல்திறன் · ஆய்வக கண்ணோட்டம்
ஒரே 12GB RX 6800M + R9 5900HX – Tiel-Coder 35B-A3B Q4_K_XL MTP டிராஃப்ட் ஹெட் உடன் மற்றும் இல்லாமல், 262K q8 KV, 28-32 CPU எக்ஸ்பர்ட்ஸ், ROCm 10.0 இல். MoE இல் speculative decoding பலன் தருகிறதா?
MTP 29.09 vs 25.39 tok/s (+14.6%) · ஏற்பு 54.7% · சராசரி நீளம் 2.64ஒரே 12GB RX 6800M – Ornith MoE (3B ஆக்டிவ், 262K) vs Qwen dense (27B, 16K) q8 KV இல், ROCm vs Vulkan நேரடி ஒப்பீடு. MoE எப்போது வெற்றி பெறுகிறது, எப்போது இல்லை.
ROCm 25.6 vs 19.6 tok/s (Ornith) · Vulkan 21.8 vs 18.1 (Qwen)262K q8 KV இல் 35B-A3B (3B ஆக்டிவ்) Q5/Q4 கலவை, 28 CPU எக்ஸ்பர்ட்கள் – ROCm 25.6 tok/s vs Vulkan 19.6, 83 tok/s ப்ராம்ப்ட். பெரிய கான்டெக்ஸ்ட், ஸ்பார்ஸ் டிகோட்.
12GB · q8 KV · --n-cpu-moe 28 · kv_unified=false16K q8 KV இல் 3.7bpw இல் 27B (~12.5GB) – ROCm 18.12 tok/s vs Vulkan 21.84, 217 vs 149 tok/s ப்ராம்ப்ட். மூல பதிவுகளுடன் முதல் ஆய்வகம்.
12GB · q8 KV · -ngl 999 (fit abort) · blk.64 nextn7B, 14B மற்றும் 32B LLM களுக்கு தேவையான VRAM – எடைகள், குவாண்டைசேஷன், KV கேச் மற்றும் கான்டெக்ஸ்ட் நீளம், புக்மார்க் செய்யக்கூடிய விரைவுக் குறிப்பு அட்டவணையுடன்.
வழிகாட்டி · VRAM கால்குலேட்டருடன் இணைந்ததுஇரண்டு மாடல்களையும் கட்டாய -ngl 999 இல்லாமல் (பொருந்திய லேயர்களை பதிவு செய்து) மற்றும் 28 CPU எக்ஸ்பர்ட்களுக்கு --load-mode none உடன் மீண்டும் இயக்குதல் – 262K இல் +30% ROCm நீடிக்குமா?
மேலே உள்ள பெஞ்ச்மார்க்குகளின் அடிப்படையில், உள்ளூர் AI ஐ இயக்குவதற்கான நடைமுறை தேர்வுகள்:
RTX vs Radeon, உங்களுக்கு உண்மையில் எவ்வளவு VRAM தேவை, மற்றும் llama.cpp மற்றும் Ollama க்கு உண்மையில் என்ன முக்கியம்.
Aug 27, 2026எந்த கார்டுகள் பட்ஜெட்டில் பொருந்தும் மற்றும் உள்ளூர் LLM களை இயக்க முடியும், ரூபாய்க்கு VRAM ஒப்பிடப்பட்டது.
Aug 27, 2026LLM களை உள்ளூரில் இயக்க உருவாக்கப்பட்ட பெரிய NPU கொண்ட சிறிய டெஸ்க்டாப் – உள்ளே என்ன இருக்கிறது மற்றும் வாங்குவது மதிப்புள்ளதா.
Aug 27, 2026ஒவ்வொரு ஆய்வகமும் ஒரே வடிவத்தைப் பின்பற்றுகிறது, இதனால் ரன்களை ஒப்பிடலாம்:
llama-server கட்டளை, ப்ராம்ப்ட் டோக்கன்கள், ஸ்லாட்கள், KV அமைப்புகள்print_timing அட்டவணை – ப்ராம்ப்ட் eval ms/tok & tok/s, decode tg, மீண்டும் பயன்படுத்தப்பட்ட வரைபடங்கள், மொத்த நேரம் (மென்மையாக்கம் இல்லை)failed to fit params / tensor overrides to CPU with mmap / blk.64 unused nextn போன்ற எச்சரிக்கைகள் மற்றும் தீர்வுதோல்விகள் மதிப்புமிக்க உள்ளடக்கம் – நாங்கள் அவற்றை பதிவு செய்கிறோம். ஒரு ரன் OOM ஆனாலும் அல்லது ஆஃப்லோட் ஆனாலும், அதுவே முடிவு.