Ghid Prompting AI

Română

English

Română

English

Appearance

Raționamentul automat și folosirea instrumentelor (ART) ​

Prezentare generală ​

Combinarea promptării CoT și instrumentelor într-un mod intercalat s-a dovedit a fi o abordare puternică și robustă pentru a aborda multe sarcini cu LLM-uri. Aceste abordări necesită de obicei crearea manuală de demonstrații specifice sarcinilor și intercalarea cu grijă a generărilor modelului cu folosirea instrumentelor. Paranjape et al., (2023) propun un nou cadru care folosește un LLM înghețat pentru a genera automat pașii de raționament intermediari ca un program.

Cum funcționează ​

ART funcționează după cum urmează:

  1. Selecția demonstrațiilor: Având în vedere o sarcină nouă, selectează demonstrații de raționament în mai mulți pași și folosirea instrumentelor dintr-o bibliotecă de sarcini
  2. Integrarea instrumentelor: La momentul testării, oprește generarea ori de câte ori sunt apelate instrumente externe și integrează ieșirea lor înainte de a relua generarea
  3. Generalizarea: ART încurajează modelul să generalizeze din demonstrații pentru a descompune o sarcină nouă și să folosească instrumentele în locurile potrivite, într-un mod zero-shot

În plus, ART este extensibil deoarece permite de asemenea oamenilor să corecteze greșelile din pașii de raționament sau să adauge instrumente noi prin simpla actualizare a bibliotecilor de sarcini și instrumente. Procesul este demonstrat mai jos:

ART

Sursa imaginii: Paranjape et al., (2023)

Rezultatele de performanță ​

ART îmbunătățește substanțial promptarea cu câteva exemple și CoT automat pe sarcini nevăzute în benchmark-urile BigBench și MMLU, și depășește performanța prompturilor CoT create manual când feedback-ul uman este încorporat.

Mai jos este un tabel care demonstrează performanța ART pe sarcinile BigBench și MMLU:

Performanța ART

Sursa imaginii: Paranjape et al., (2023)

Beneficii cheie ​

  • Generalizarea Zero-shot: Funcționează pe sarcini nevăzute fără reantrenare
  • Raționamentul automat: Generează automat pașii de raționament intermediari
  • Integrarea instrumentelor: Integrează fără probleme instrumente externe și API-uri
  • Supravegherea umană: Permite intervenția și corectarea umană
  • Cadru extensibil: Ușor de adăugat instrumente și sarcini noi

Aplicații ​

  • Sarcini de raționament complexe care necesită informații externe
  • Rezolvarea problemelor în mai mulți pași
  • Modele de limbaj augmentate cu instrumente
  • Sisteme de raționament automatizate
  • Descompunerea sarcinilor și planificarea

Subiecte conexe ​

Referințe ​

  • Paranjape et al., (2023) - ART: Automatic Reasoning and Tool-use