AMD இல் ROCm & Vulkan: Radeon இல் உள்ளூர் AI இயக்குதல்

நீங்கள் AMD Radeon கார்டில் உள்ளூர் AI இயக்கினால், இரண்டு போட்டி பேக்எண்ட்களை சந்திப்பீர்கள்: ROCm மற்றும் Vulkan. எதைப் பயன்படுத்துகிறீர்கள் என்பது உங்கள் டோக்கன்கள்-பெர்-செகண்ட், உங்கள் அமைப்பு முயற்சி மற்றும் எத்தனை GPUகள் ஆதரிக்கப்படுகின்றன என்பதை மாற்றுகிறது. இந்த வழிகாட்டி வித்தியாசத்தை விளக்குகிறது, ஒவ்வொன்றையும் எவ்வாறு அமைப்பது மற்றும் – எங்கள் RX 6800M பெஞ்ச்மார்க்குகள் அடிப்படையில் – எதை தேர்வு செய்வது என்பதை விளக்குகிறது.

வித்தியாசம் என்ன?

இரண்டுமே llama.cpp மற்றும் Ollama போன்ற மென்பொருள்கள் உங்கள் GPU-வுடன் பேசுவதற்கான வழிகள். அவை ஒரே சிக்கலைத் தீர்க்கின்றன (மாடலை CPU-க்கு பதிலாக கிராபிக்ஸ் கார்டில் இயக்குதல்) ஆனால் அதை வித்தியாசமாக செய்கின்றன:

• ROCm என்பது AMD-யின் CUDA சமமானது – HIP (AMD-யின் CUDA போன்ற மொழி) உடன் ஒரு நோக்கத்திற்காக கட்டப்பட்ட கம்ப்யூட் ஸ்டேக். AMD AI மற்றும் HPC-க்காக தள்ளுவது இதுவே.
• Vulkan என்பது கிராஸ்-வெண்டர் கிராபிக்ஸ் மற்றும் கம்ப்யூட் API. இது கீழ்நிலை மற்றும் மிகவும் பொதுவானது, ஆனால் llama.cpp-யின் Vulkan பேக்எண்ட் பரந்த அளவில் வேலை செய்கிறது, ஏனெனில் இது AMD-குறிப்பிட்ட டிரைவர் குறைபாடுகளை சார்ந்திருக்காது.

நடைமுறை வேறுபாடுகள்: ROCm பொதுவாக ஆதரிக்கப்படும் கார்டுகளில் வேகமானது, ஆனால் அதிகாரப்பூர்வமாக ஒரு குறுகிய பட்டியலை ஆதரிக்கிறது. Vulkan அதிக GPUகளில் (பழைய மற்றும் ஆதரிக்கப்படாத Radeonகள் உட்பட) வேலை செய்கிறது மற்றும் இயக்குவது எளிதானது, ஆனால் சில பணிச்சுமைகளில் சிறிது மெதுவாக இருக்கலாம்.

எது வேகமானது?

RX 6800M (12 GB) இல் எங்கள் சோதனையிலிருந்து நேர்மையான பதில்: இது பணிச்சுமையைப் பொறுத்தது.

• 16K சூழலில் Qwen 27B (அடர்த்தியானது): Vulkan ~20% வேகமானது டிகோடில் (21.8 vs 18.1 tok/s), அதே நேரத்தில் ROCm ப்ராம்ப்ட் ஈவாலில் ~45% வென்றது.
• 262K இல் Ornith 35B MoE: ROCm ~30% வேகமானது டிகோடில் (25.6 vs 19.7 tok/s).

ஏன் மாறுகிறது? தடை மாறுகிறது. பகுதியாக ஆஃப்லோட் செய்யப்பட்ட அடர்த்தியான மாடலில், மெதுவான பகுதி GPU-க்கு பைட்டுகளை ஊட்டுவது – அங்கு Vulkan-ன் எளிமையான பாதை வெல்லும். பல CPU நிபுணர்களுடன் கூடிய பெரிய-சூழல் MoE-யில், கட்டுப்பாடு வேறு இடத்திற்கு நகர்கிறது மற்றும் ROCm-யின் கம்ப்யூட் நன்மை தெரிகிறது. முழு எண்கள் பெஞ்ச்மார்க் தரவுத்தளத்தில் மற்றும் MoE vs Dense ஆய்வக சோதனையில் உள்ளன.

ROCm அமைத்தல்

ROCm மிகவும் சிக்கலான நிறுவல் ஆகும். Ubuntu-வில், நீங்கள் AMD-யின் இன்ஸ்டாலரைப் பயன்படுத்துகிறீர்கள், உங்கள் கார்டுக்கான சரியான GPU வெர்ஷன் கொடியை தேர்வு செய்கிறீர்கள். எங்கள் படிப்படியான Ubuntu-வில் ROCm வழிகாட்டி முழு செயல்முறையையும் உள்ளடக்கியது – apt ரெப்போவிலிருந்து rocminfo உங்கள் GPU-வைப் பார்ப்பதை சரிபார்ப்பது வரை. சுருக்கமான பதிப்பு:

sudo amdgpu-install --usecase=rocm,graphics --gfxversion=gfx1031   # RX 6800M
rocminfo   # verify the GPU shows up

பின்னர் ROCm ஆதரவுடன் llama.cpp-ஐ உருவாக்கவும்: cmake .. -DLLAMA_HIPBLAS=ON. RDNA2 (gfx1030) மற்றும் RDNA3 (gfx1100) வெவ்வேறு கொடிகள் தேவைப்படுகின்றன, மேலும் GPU மற்றும் CPU இடையே எடைகளைப் பிரிப்பதைத் தவிர்க்க llama.cpp-இல் --load-mode none தேவைப்படலாம்.

Vulkan அமைத்தல்

Vulkan எளிமையானது. Vulkan டிரைவர்களை நிறுவவும், பின்னர் Vulkan உடன் llama.cpp-ஐ உருவாக்கவும்:

# Ubuntu: install the Vulkan driver
sudo apt install mesa-vulkan-drivers
# llama.cpp with Vulkan
cmake .. -DLLAMA_VULKAN=ON
make -j$(nproc)

Ollama AMD-க்கான Vulkan பில்ட்களையும் அனுப்புகிறது. பெரிய வெற்றி: உங்கள் கார்டு ROCm-யின் அதிகாரப்பூர்வ ஆதரவு பட்டியலில் இல்லையென்றால், Vulkan கிட்டத்தட்ட நிச்சயமாக உங்கள் வேலை செய்யும் விருப்பமாகும்.

எப்படி தேர்வு செய்வது

பாதுகாப்பான ஆலோசனை: இரண்டையும் முயற்சித்து பெஞ்ச்மார்க் செய்யுங்கள். இரண்டு பேக்எண்ட்களையும் உருவாக்கி ஒவ்வொன்றிலும் ஒரே ப்ராம்ப்ட்டை இயக்குவது நிமிடங்கள் எடுக்கும், மேலும் வெற்றியாளர் உண்மையில் உங்கள் சரியான கார்டு மற்றும் மாடலைப் பொறுத்தது. எங்கள் ஆய்வகம் இதைத்தான் செய்கிறது – பார்க்கவும் Qwen 27B ROCm vs Vulkan சோதனை மற்றும் Ornith 35B ROCm vs Vulkan சோதனை.

இறுதி வரி

ROCm மற்றும் Vulkan இரண்டும் AMD இல் உள்ளூர் AI-யை இயக்குகின்றன, மேலும் எதுவும் உலகளவில் சிறந்ததல்ல. ROCm அதிகபட்ச கம்ப்யூட்டுக்காக ஆதரிக்கப்படும் கார்டுகளை இலக்காகக் கொண்டுள்ளது; Vulkan மற்ற அனைத்தையும் உள்ளடக்கியது மற்றும் அரட்டை-வேகத்தில் அடிக்கடி வெல்லும். உங்கள் கார்டில் வேலை செய்யும் எளிமையான பேக்எண்டில் தொடங்குங்கள் (பொதுவாக Vulkan), மற்றும் மற்றொன்றை பெஞ்ச்மார்க் செய்ய பயப்பட வேண்டாம் – எண்கள், மார்க்கெட்டிங் அல்ல, முடிவு செய்ய வேண்டும்.

உங்கள் Radeon என்ன செய்ய முடியும் என்பதை அறிய விரும்புகிறீர்களா? பெஞ்ச்மார்க் தரவுத்தளத்தை அல்லது GPU AI செயல்திறன் கால்குலேட்டரை பார்க்கவும்.