Jev-ஆல் agent skills பரிந்துரை: 182 rank, 3 verify, அதிகபட்சம் 1 load

பெரிய skill rosters உள்ள agents தகவலே இல்லாமல் தேர்வு செய்கின்றன: roster index-ஆக வருகிறது – skill-க்கு ஒரு truncated வரி (Hermes descriptions-ஐ 60 characters-ஆக வெட்டுகிறது) – எனவே .pptx files edit செய்யும் skill author செய்யும் skill போலவே வாசிக்கப்படுகிறது; எதுவும் பொருந்தாத turns-இலும் பெயர் பட்டியல் guess-ஐ அழைக்கிறது. TypeSafe-இன் skill-suggestion cookbook progressive disclosure-ஆல் இதைச் சரி செய்கிறது: மலிவான ஒரு request 182 skills-ஐயும் rank செய்து turn-க்கு skill தேவையா எனக் கேட்கிறது; இரண்டாம் request top மூன்றை மட்டும் முழு விவரத்துடன் மீண்டும் படித்து அனைத்தையும் reject செய்யலாம். Winner பெயர் system prompt-இன் ஒரு வரியில் செல்கிறது. இந்த guide recipe + அளவிடப்பட்ட முடிவுகளின் சுருக்கம்.

Baseline ஏன் மோசம்

claude-haiku-4-5 மீது 488 requests-இல் அளவிடப்பட்டது (315 சரியாக ஒரு skill-ஆல் covered, 173 எதனாலும் இல்லை – 85 everyday requests + guessing-ஐ தண்டிக்க எழுதிய 46 near-misses உட்பட, X-ஐ cover செய்யும் ஆனால் Mastodon-ஐ செய்யாத roster-இல் "post this to Mastodon" போல), roster மட்டும் உள்ள agent தவறான skill-ஐ 16.8% முறை load செய்கிறது, பொருந்தாதபோதும் 9.8% முறை load செய்கிறது. 36 தவறான first picks-இல் 10 சரியான skill-இன் சொந்த category-லிருந்து – agent பெரும்பாலும் சரியான இடத்தைப் பார்க்கிறது, கடினம் lookalikes-ஐப் பிரிப்பது.

Call 1 – 182-ஐயும் skim செய்க

ஒரு request இரு வகை கேள்விகள்: 182 skill names மீது Choice (ஒவ்வொரு option-க்கும் criteria index description – agent-க்குக் கிடைக்கும் அதே text), probabilities ranking; மேலும் turn-க்கு விளக்கத்துக்குப் பதில் action தேவையா என வெவ்வேறு விதமாகக் கேட்கும் மூன்று Nouls (user system-இல் act? documented procedure consult? prose போதுமா – inverted). Mean எதுவும் suggest செய்வதா என முடிவு; 0.30-க்குக் கீழ் அமைதி. இரண்டும் ஒரு round trip-இல்.

Call 2 – top 3-ஐ முறையாகப் படிக்க

மூன்று options-இல் ஒவ்வொரு skill-இன் full description + SKILL.md opening அடங்கும், எனவே அதே கேள்வி சிறந்த evidence-க்குச் செல்கிறது: shortlist மீது Choice, ஒவ்வொரு candidate-க்கும் ஒரு absolute fits::{name} Noul – இந்த skill கேட்ட specific வேலையைச் செய்யுமா? அனைத்தும் low-ஆக வரலாம்; best fits 0.30-க்குக் கீழ் shortlist முழு drop.

.pptx ஜோடி சரியாக இங்கு பிரிகிறது: wide ranking deck-authoring request-க்கு editing skill-ஐ முதலில் வைக்கிறது (0.700 vs 0.300); முழுமையாகப் படித்ததும் Choice authoring skill-க்கு flip ஆகிறது. Choice-ம் Nouls-ம் disagree செய்யலாம் (இங்கு Nouls editing skill-ஐ உயர்வாக score செய்கின்றன) – வெவ்வேறு கேள்விகளுக்குப் பதில்: Choice எது என முடிவு, Nouls எதுவும் சொல்வதா என முடிவு. இதே Choice-vs-Noul பிரிவு Jev 1.13 jaggedness guide-இன் failure mode 8.

முழு recipe: இரண்டு requests + இரண்டு thresholds

def suggest(request: str) -> tuple[str, ...]:
    """At most one skill name for a request, or () for "nothing here applies"."""
    wide = rank_wide(request)
    if wide["gate"] < GATE_THRESHOLD:  # 0.30
        return ()
    shortlist = tuple(name for name, _ in wide["ranked"][:SHORTLIST])  # top 3
    result = rerank(request, shortlist, EXCERPT_CHARS)
    if max(result["fits"].values()) < FITS_THRESHOLD:  # 0.30
        return ()
    return (result["winner"],)

Suggestion தன் block-இல் roster-க்குப் பிறகு செல்லும், உள்ளே ஒருபோதும் அல்ல – roster text ஒவ்வொரு turn-லும் identical, prefix caching நிலைக்கும்:

<skill_relevance>
Relevant to the current request: pptx-author. Ignore this if it does not
fit what the user actually asked for.
</skill_relevance>

Wording இரு வேலை: suggestion ignore செய்யலாம் என்கிறது (அழுத்துவது தவறான suggestions-க்கும் compliance வாங்கும், தவறானது none-ஐ விட மோசம்), காலி turn-லும் "nothing appears relevant" வாக்கியம் செல்லும் – roster-இன் சொந்த "err on the side of loading" instruction எதிர்க்கப்பட்டு நிற்கும், எதிர்ப்பின்றி அல்ல.

அளவிடப்பட்ட முடிவுகள்

அதாவது 2.3× குறைவான wrong loads, 2.4× குறைவான needless ones – truncated index-லிருந்து guessing-க்கும் சரியான பதில் கிடைப்பதற்கும் இடையிலான பெரும் இடைவெளி. 315 covered requests-இல் suggestion 37-ஐ fix செய்தது, agent தானே சரி செய்த 7-ஐ உடைத்தது: confident தவறான suggestion persuade செய்யும், turn-க்கு முன் வைப்பதன் விலை இது. (Ceiling வரியும் zero அல்ல – சரியான skill கொடுக்கப்பட்ட agent கூட எப்போதும் load செய்வதில்லை.)

இறுதி முடிவு

பெரிய roster உள்ள உங்கள் agent-க்கு இதே shape copy செய்க: அனைத்தின் மீதும் மலிவான ranking, பிறகு இரண்டு-மூன்றை உற்றுப் பார்க்க – இரண்டு steps-ம் வெறுங்கையுடன் திரும்பலாம். Full source: TypeSafe skill-suggestion cookbook (runs-இல் jev-1.12); அதே shape வேறு இடங்களில் – TypeSafe patterns docs-இல் intent routing, confidence-gated routing, speculative fan-out பார்க்கவும்.