RAG: अपनी फ़ाइल से पूछें

यह एक सरल कीवर्ड-मिलान retrieval-augmented generation (RAG) पाइपलाइन है — कोई embeddings नहीं, कोई वेक्टर स्टोर नहीं।

1. Chunking

फ़ाइल को ~500 शब्दों के ओवरलैपिंग chunks में विभाजित किया जाता है (~50 शब्द ओवरलैप)। प्रत्येक chunk दस्तावेज़ में अपनी अनुमानित स्थिति बनाए रखता है।

2. Scoring

आपका प्रश्न tokenized किया जाता है (लोअरकेस, नॉन-अल्फ़ान्यूमेरिक हटा दिया जाता है)। प्रत्येक chunk को यह गिनकर स्कोर किया जाता है कि प्रश्न के कितने tokens उसमें दिखाई देते हैं, जिसमें बार-बार आने वाले शब्दों के लिए फ़्रीक्वेंसी बोनस होता है।

3. Retrieval

शीर्ष 3 स्कोरिंग chunks को context के रूप में चुना जाता है। यदि किसी chunk का स्कोर 0 से ऊपर नहीं है, तो प्रश्न बिना context के भेजा जाता है।

4. Generation

context chunks + आपका प्रश्न chat.velstech.net (Llama 3.1 8B via Cloudflare Workers AI) पर AI मॉडल को भेजा जाता है। मॉडल को केवल प्रदान किए गए context के आधार पर उत्तर देने का निर्देश दिया जाता है।