Apple Silicon Macகள் – M1, M2, M3, மற்றும் M4 – நீங்கள் வாங்கக்கூடிய மிகச் சிறந்த உள்ளூர்-AI இயந்திரங்களில் சில. GPU மிக வேகமானது என்பதால் அல்ல, மாறாக unified memory காரணமாக: அதே RAM CPU மற்றும் GPU இரண்டாலும் பகிரப்படுகிறது, இது ஒரு LLM-ஐ இயக்க விரும்புவது துல்லியமாக இதுதான். போதுமான RAM உள்ள ஒரு Mac, PC-இல் விலை உயர்ந்த தனி GPU தேவைப்படும் மாதிரிகளை வைத்திருக்க முடியும்.
Mac-இல் LLMகளை இயக்குவது பற்றி நீங்கள் தெரிந்து கொள்ள வேண்டியது, உங்கள் இயந்திரத்திற்கு எது பொருந்தும், மற்றும் எவ்வாறு தொடங்குவது என்பதை இங்கே காணலாம்.
Macகள் உள்ளூர் AI-இல் ஏன் சிறந்தவை
ஒரு LLM-இன் வேகம் பெரும்பாலும் அதன் எடைகளை (weights) கணக்கீட்டு அலகுகளுக்கு எவ்வளவு வேகமாக அளிக்கிறீர்கள் என்பதைப் பொறுத்தது – அதுவே மெமரி பேண்ட்விட்த். Apple Silicon-இன் unified memory என்பது:
- VRAM சுவர் இல்லை. PC-இல் நீங்கள் GPU VRAM-ஆல் வரம்பிடப்படுகிறீர்கள் (பொதுவாக 12–24 GB). Mac-இல், முழு சிஸ்டம் RAM-ஐயும் மாடலுக்கு பயன்படுத்தலாம். 64 GB M-சீரிஸ் Mac, 24 GB PC GPU-ஆல் இயக்க முடியாத மாதிரிகளை இயக்குகிறது.
- திறமையான Metal பேக்எண்ட். llama.cpp மற்றும் Ollama-க்கு சிறந்த Metal ஆதரவு உள்ளது, எனவே மாதிரிகள் GPU-ஐ தானாகவே பயன்படுத்துகின்றன.
- குறைந்த மின்சாரம். M-சீரிஸ் லேப்டாப் கூட inference இயக்கும்போது மிகக் குறைந்த மின்சாரத்தை எடுக்கிறது, எனவே இது உண்மையிலேயே நடைமுறையான எப்போதும்-இயங்கும் AI இயந்திரம்.
பிடிப்பு (catch): RAM தான் எல்லாம், மற்றும் அது சாலிடர் செய்யப்பட்டது. மூன்று ஆண்டுகளுக்குப் பிறகு உங்களுக்கு வேண்டிய RAM-ஐ இப்போதே வாங்குங்கள், ஏனென்றால் அதை பிறகு மேம்படுத்த முடியாது.
உங்கள் Mac-க்கு எது பொருந்தும்
4-bit (Q4_K_M) இல் மாடல் அளவு தோராயமாக தேவையான RAM-ஐ ஒத்திருக்கிறது, கூடுதலாக சிஸ்டத்திற்கு சில GB தேவைப்படுகிறது:
| Mac RAM | வசதியான மாடல் (Q4) | பயன்பாட்டு நிலை |
|---|---|---|
| 8 GB | 3B–4B | அடிப்படை அரட்டை, இலகுவான பணிகள் |
| 16 GB | 7B–9B | திடமான தினசரி டிரைவர் |
| 24 GB | 13B–14B | தீவிர உள்ளூர் AI |
| 32 GB | 27B–30B | பெரிய மாதிரிகள், நல்ல காண்டெக்ஸ்ட் |
| 64 GB+ | 70B | Frontier அளவில் |
வேகத்திற்கு மெமரி பேண்ட்விட்த் முக்கியம் – M-சீரிஸ் Pro/Max சில்லுகளுக்கு அடிப்படை M-சீரிஸை விட அதிக பேண்ட்விட்த் உள்ளது, எனவே "அதே RAM, பெரிய சிப்" கொண்ட Mac வேகமாக இயங்கும்.
தொடங்குதல்
எளிதான வழி Ollama, இது Metal-ஐ தானாகவே கண்டறியும். அதை நிறுவிய பிறகு:
brew install ollama ollama pull llama3.2:3b ollama run llama3.2:3b
Ollama உங்கள் Mac-இன் GPU-ஐ முன்னிருப்பாகவே பயன்படுத்துகிறது. மேலும் கட்டுப்பாட்டிற்கு, llama.cpp-ஐ Metal உடன் கட்டமைத்து நேரடியாக பயன்படுத்துங்கள் – llama.cpp வழிகாட்டியில் இருப்பது போலவே, வெறுமனே Metal பேக்எண்டுடன்.
உள்ளூர் AI-க்கு முற்றிலும் புதியவரா? தொடங்குதல் வழிகாட்டி முழு செயல்முறையையும் விளக்குகிறது.
செயல்திறன் எதிர்பார்ப்புகள்
வசதியாக பொருந்தக்கூடிய ஒரு மாதிரியுடன் M-சீரிஸ் Mac-இல் 5–20 tok/s decode-ஐ எதிர்பார்க்கலாம் – அரட்டைக்கு பயன்படக்கூடியது, உடனடியானது அல்ல. சரியான எண் உங்கள் சிப், RAM, மாடல் அளவு, மற்றும் குவாண்டிசேஷனைப் பொறுத்தது. பெஞ்ச்மார்க் தரவுத்தளத்தில் உண்மையான முடிவுகளுடன் ஒப்பிடுங்கள் (நாங்கள் Radeon-ஐ சோதிக்கிறோம், ஆனால் decode சூத்திரம் – பேண்ட்விட்த் ÷ ஒரு டோக்கனுக்கான பைட்டுகள் – அதே வழியில் பொருந்தும்).
உங்கள் தேர்ந்தெடுத்த காண்டெக்ஸ்ட் மற்றும் குவாண்டிசேஷனில் ஒரு மாதிரி உங்கள் Mac-இன் RAM-க்கு பொருந்துமா என்பதை மதிப்பிட LLM VRAM கால்குலேட்டரை பயன்படுத்துங்கள்.
நடைமுறை உதவிக்குறிப்புகள்
- சேமிப்பகத்தை விட RAM வாங்குங்கள். சேமிப்பகத்தை வெளிப்புறமாக சேர்க்க மலிவு; சாலிடர் செய்யப்பட்ட RAM என்றென்றும் நிரந்தரம்.
- பெரிய மாதிரிகளை இயக்கும்போது மற்ற பயன்பாடுகளை மூடுங்கள் – மாதிரி அதே unified memory-க்காக அவற்றுடன் போட்டியிடுகிறது.
- Q4_K_M ஐ விரும்புங்கள் பெரிய மாதிரிகளை பொருத்துவதற்கு; தர வர்த்தக-முடிவை குவாண்டிசேஷன் ஆழமான ஆய்வில் பார்க்கவும்.
- Pro/Max சில்லுகள் வேகமாக இயங்குகின்றன அதே RAM-இல், அதிக மெமரி பேண்ட்விட்த் காரணமாக.
இறுதி முடிவு
Apple Silicon மிகவும் நடைமுறையான உள்ளூர்-AI தளங்களில் ஒன்று. இது அமைதியானது மற்றும் குறைந்த மின்சாரம். Unified memory காரணமாக, பாதி RAM கொண்ட PC GPU-ஐ திணறடிக்கும் மாதிரிகளை இது இயக்க முடியும். 16 GB Mac ஒரு உண்மையான தினசரி-டிரைவர் உள்ளூர்-AI இயந்திரம். 32 GB+ உள்ளது ஒரு தீவிர பணிநிலையம். முக்கிய முடிவு போதுமான RAM-ஐ முன்கூட்டியே வாங்குவதே.