तीन कॉन्फ़िग जनरेटर एक ही जगह पर। कुछ फ़ील्ड भरें और एक कॉपी-पेस्ट रेडी Docker Compose फ़ाइल, systemd यूनिट, या सही लाइब्रेरी पथ के साथ पूरा llama-server कमांड प्राप्त करें। पूर्वावलोकन आपके टाइप करते ही लाइव अपडेट होता है – सब कुछ आपके ब्राउज़र में चलता है।

पोर्ट

वॉल्यूम

एनवायरनमेंट वेरिएबल

docker-compose.yml

वॉल्यूम host:container पथ का उपयोग करते हैं। होस्ट पथ compose फ़ाइल के सापेक्ष हल किए जाते हैं; निरपेक्ष पथ और नामित वॉल्यूम (name:/path) भी काम करते हैं। कस्टम नेटवर्क bridge ड्राइवर के साथ बनाए जाते हैं।

एनवायरनमेंट वेरिएबल

myapp.service

जनरेट की गई फ़ाइल को /etc/systemd/system/ में डालें, फिर sudo systemctl daemon-reload और sudo systemctl enable --now myapp चलाएँ।

विकल्प
llama-server.sh

जनरेट किया गया कमांड पहले LD_LIBRARY_PATH को एक्सपोर्ट करता है ताकि llama-server अपनी साझा लाइब्रेरी ढूँढ सके, फिर सर्वर शुरू करता है। -fa Vulkan बिल्ड के लिए स्वचालित रूप से छोड़ दिया जाता है यदि आप चाहें – बस अनचेक करें।

संबंधित गाइड