VelsTech AI
LLM கள் எப்படி வேலை செய்கின்றன என்பதைப் புரிந்துகொள்வதிலிருந்து மாடல்களை உங்கள் சொந்த வன்பொருளில் இயக்குவது வரை – எளிய மொழியில், விளம்பரப் பிரபலம் இல்லாமல் ஒரு இயற்கையான கற்றல் பாதை.
அடிப்படைகளைப் புரிந்துகொள்ளுங்கள்
இதற்கு புதியவரா? வழிகாட்டப்பட்ட பாதையைப் பின்பற்றுங்கள் →
இயந்திர கற்றல் என்றால் உண்மையில் என்ன?
தரவிலிருந்து கற்றல் என்றால் என்ன – பயிற்சி, மாடல்கள் மற்றும் கணிப்பு – LLM களுக்கு முன்பே.
பெரிய மொழி மாதிரி (Large Language Model) என்றால் உண்மையில் என்ன?
LLM கள் உள்ளே எப்படி வேலை செய்கின்றன – டோக்கன்கள், கான்டெக்ஸ்ட் மற்றும் நிகழ்தகவுகள் – எளிய மொழியில்.
சிறந்த ப்ராம்ப்ட்களை எப்படி எழுதுவது
ChatGPT, Claude மற்றும் ஒத்த கருவிகளில் இருந்து சிறந்த பதில்களைப் பெறும் நடைமுறை முறைகள்.
உள்ளூர் AI (Local AI)
உள்ளூர் AI ஐ எப்படி தொடங்குவது (2026)
வன்பொருளைத் தேர்வு செய்யுங்கள், Ollama நிறுவுங்கள், ஒரு மாடலை பதிவிறக்குங்கள், மற்றும் உங்கள் சொந்த கணினியில் இயக்குங்கள்.
GGUF விளக்கம்
கோப்பு வடிவம் என்ன, Q4_K_M என்றால் என்ன, மற்றும் சரியான குவாண்டைசேஷனை எப்படி தேர்வு செய்வது.
llama.cpp வழிகாட்டி
Ollama க்கு பின்னால் இருக்கும் எஞ்சினைக் கொண்டு GGUF மாடல்களை நிறுவி, இயக்கி, பெஞ்ச்மார்க் செய்யுங்கள்.
உள்ளூர் AI vs கிளவுட் AI
தனியுரிமை, செலவு மற்றும் திறன் – உங்கள் சொந்த வன்பொருளில் மாடல்களை இயக்குவது vs கிளவுட் API கள்.
உங்களுக்கு எவ்வளவு VRAM தேவை?
7B, 14B மற்றும் 32B மாடல்களுக்கான VRAM – எடைகள், குவாண்டைசேஷன், KV கேச் மற்றும் கான்டெக்ஸ்ட்.
LLM களை உள்ளூரில் இயக்க சிறந்த GPU
RTX vs Radeon, உங்களுக்கு உண்மையில் எவ்வளவு VRAM தேவை, மற்றும் llama.cpp க்கு உண்மையில் என்ன முக்கியம்.
உண்மையான வன்பொருளில் சோதிக்கப்பட்டது
பெஞ்ச்மார்க் தரவுத்தளம்
உண்மையான GPU களில் LLM களுக்கான tokens/sec ஐ தேடி, வடிகட்டி, ஒப்பிடுங்கள் – சோதிக்கப்பட்ட மற்றும் மதிப்பிடப்பட்டது.
Qwen 27B: RX 6800M இல் ROCm vs Vulkan
12 GB கார்டில் 16K இல் 18 vs 22 tok/s டிகோட் – ஆய்வகத்தில் சோதிக்கப்பட்டது.
Ornith 35B MoE at 262K: ROCm vs Vulkan
28 CPU எக்ஸ்பர்ட்களுடன் 12 GB கார்டில் 26 vs 20 tok/s டிகோட்.
RX 6800M இல் MoE vs Dense
16K/262K இல் 3B ஆக்டிவ் vs 27B – எந்த கட்டமைப்பு எங்கு வெற்றி பெறுகிறது.
உங்கள் சொந்த எண்களை கணக்கிடுங்கள்
மாடல் செய்திகள் & புதுப்பிப்புகள்
உள்ளே சென்று பாருங்கள்
குவாண்டைசேஷன் ஆழ்ந்த பார்வை
Q4, Q5 மற்றும் Q8 தரம், அளவு மற்றும் வேகத்தை எப்படி மாற்றுகின்றன – உண்மையான எண்களுடன்.
KV கேச் விளக்கம்
கான்டெக்ஸ்ட் விண்டோக்கள் ஏன் மெமரியை சாப்பிடுகின்றன, மற்றும் அதை உங்கள் GPU க்கு எப்படி கணக்கிடுவது.
Flash Attention & ஸ்பெகுலேட்டிவ் டிகோடிங்
LLM களை வேகமாகவும் குறைந்த மெமரியுடனும் மாற்றும் இரண்டு நுட்பங்கள் – அவை எப்படி வேலை செய்கின்றன.
உங்கள் வன்பொருளில் இயக்குங்கள்
AMD இல் ROCm & Vulkan
எந்த பேக்கெண்டை தேர்வு செய்வது, எப்படி நிறுவுவது, மற்றும் RX 6800M இல் பெஞ்ச்மார்க் முடிவுகள்.
Apple Silicon இல் LLM களை இயக்குதல்
Mac கள் உள்ளூர் AI ஐ எப்படி கையாளுகின்றன, உங்கள் RAM க்கு எந்த மாடல்கள் பொருந்தும், மற்றும் Metal உடன் தொடங்குவது.
ஸ்கிரட்ச்சிலிருந்து RAG
உங்கள் சொந்த ஆவணங்களைப் பற்றி கேளுங்கள் – லோட், எம்பெட், ரிட்ரீவ், ஜெனரேட், அனைத்தும் உள்ளூரில்.