Ghid Prompting AI

Română

English

Română

English

Appearance

Inginerul automat de prompturi (APE) ​

Prezentare generală ​

Zhou et al., (2022) propun inginerul automat de prompturi (APE) un cadru pentru generarea și selecția automată a instrucțiunilor. Problema generării instrucțiunilor este formulată ca sinteza limbajului natural abordată ca o problemă de optimizare black-box folosind LLM-uri pentru a genera și căuta soluții candidate.

APE

Sursa imaginii: Zhou et al., (2022)

Cum funcționează ​

Primul pas implică un model de limbaj mare (ca model de inferență) căruia i se dau demonstrații de ieșire pentru a genera instrucțiuni candidate pentru o sarcină. Aceste soluții candidate vor ghida procedura de căutare. Instrucțiunile sunt executate folosind un model țintă, iar apoi cea mai potrivită instrucțiune este selectată pe baza scorurilor de evaluare calculate.

Descoperirea cheie ​

APE descoperă un prompt zero-shot CoT mai bun decât promptul proiectat de oameni "Să gândim pas cu pas" (Kojima et al., 2022).

Promptul "Să rezolvăm aceasta pas cu pas pentru a ne asigura că avem răspunsul corect." elicitează raționamentul chain-of-thought și îmbunătățește performanța pe benchmark-urile MultiArith și GSM8K:

APECOT

Sursa imaginii: Zhou et al., (2022)

Cercetări conexe ​

Această lucrare atinge un subiect important legat de inginerie prompturilor, care este ideea de a optimiza automat prompturile. Deși nu mergem adânc în acest subiect în acest ghid, iată câteva lucrări cheie dacă ești interesat de subiect:

  • Prompt-OIRL - propune să folosească învățarea prin întărire inversă offline pentru a genera prompturi dependente de interogare.
  • OPRO - introduce ideea de a folosi LLM-uri pentru a optimiza prompturile: lăsând LLM-urile să "Respire adânc" îmbunătățește performanța la problemele matematice.
  • AutoPrompt - propune o abordare pentru a crea automat prompturi pentru un set divers de sarcini bazat pe căutarea ghidată de gradient.
  • Prefix Tuning - o alternativă ușoară la finetuning care adaugă un prefix continuu antrenabil pentru sarcinile NLG.
  • Prompt Tuning - propune un mecanism pentru învățarea prompturilor soft prin backpropagation.

Beneficii cheie ​

  • Optimizare automată: Elimină efortul manual de inginerie a prompturilor
  • Îmbunătățirea performanței: Descoperă prompturi mai bune decât cele proiectate de oameni
  • Abordare scalabilă: Poate fi aplicată la diverse sarcini și domenii
  • Optimizare black-box: Funcționează cu orice LLM fără să necesite acces la model

Aplicații ​

  • Optimizarea promptării chain-of-thought
  • Generarea de instrucțiuni pentru sarcini specifice
  • Descoperirea automată de prompturi
  • Îmbunătățirea performanței pe benchmark-urile de raționament

Subiecte conexe ​

Referințe ​

  • Zhou et al., (2022) - Large Language Models are Human-Level Prompt Engineers