Active-Prompt
Prezentare generală
Metodele chain-of-thought (CoT) se bazează pe un set fix de exemplare adnotate de oameni. Problema cu aceasta este că exemplarele ar putea să nu fie cele mai eficiente exemple pentru sarcinile diferite. Pentru a aborda aceasta, Diao et al., (2023) au propus recent o nouă abordare de promptare numită Active-Prompt pentru a adapta LLM-urile la diferite prompturi de exemple specifice sarcinilor (adnotate cu raționament CoT proiectat de oameni).
Cum funcționează
Mai jos este o ilustrare a abordării. Primul pas este să interoghezi LLM-ul cu sau fără câteva exemple CoT. k răspunsuri posibile sunt generate pentru un set de întrebări de antrenament. O metrică de incertitudine este calculată pe baza celor k răspunsuri (se folosește dezacordul). Cele mai incerte întrebări sunt selectate pentru adnotarea de către oameni. Noile exemplare adnotate sunt apoi folosite pentru a deduce fiecare întrebare.
Sursa imaginii: Diao et al., (2023)
Beneficii cheie
- Exemplare adaptive: Selectează automat cele mai eficiente exemple pentru sarcini specifice
- Selecția bazată pe incertitudine: Folosește metrici de dezacord pentru a identifica cazurile provocatoare
- Omul în buclă: Încorporează expertiza umană pentru selecția optimă a exemplarelor
- Optimizarea specifică sarcinilor: Adaptează prompturile la cerințele individuale ale sarcinilor
Aplicații
- Sarcini de raționament complexe
- Rezolvarea problemelor matematice
- Raționament logic în mai mulți pași
- Optimizarea prompturilor specifice sarcinilor
Subiecte conexe
- Promptarea Chain-of-Thought - Înțelegerea tehnicilor de promptare CoT
- Promptarea cu câteva exemple - Învățarea din exemple
- Ghidul de inginerie a prompturilor - Tehnici generale de inginerie a prompturilor
Referințe
- Diao et al., (2023) - Active-Prompt: Active Prompting with Chain-of-Thought for Large Language Models