Ghid Prompting AI

Română

English

Română

English

Appearance

Promptarea cu cunoștințe generate ​

Prezentare generală ​

LLM-urile continuă să fie îmbunătățite și o tehnică populară include capacitatea de a încorpora cunoștințe sau informații pentru a ajuta modelul să facă predicții mai precise.

Folosind o idee similară, poate fi folosit și modelul pentru a genera cunoștințe înainte de a face o predicție? Aceasta este ceea ce se încearcă în lucrarea lui Liu et al. 2022 -- să genereze cunoștințe pentru a fi folosite ca parte a promptului. În special, cât de utilă este aceasta pentru sarcini precum raționamentul de bun simț?

Exemplu de bază ​

Să încercăm un prompt simplu:

Prompt:

O parte din golf este încercarea de a obține un total de puncte mai mare decât alții. Da sau Nu?

Ieșire:

Da.

Acest tip de greșeală relevă limitările LLM-urilor de a executa sarcini care necesită mai multe cunoștințe despre lume. Cum îmbunătățim aceasta cu generarea de cunoștințe?

Procesul de generare a cunoștințelor ​

Mai întâi, generăm câteva "cunoștințe":

Prompt:

Intrare: Grecia este mai mare decât Mexicul.
Cunoștințe: Grecia este aproximativ 131.957 km², în timp ce Mexicul este aproximativ 1.964.375 km², făcând Mexicul cu 1.389% mai mare decât Grecia.
Intrare: Ochelarii se încețoșează întotdeauna.
Cunoștințe: Condensarea apare pe lentilele ochelarilor când vaporii de apă din transpirația ta, respirația și umiditatea ambientală aterizează pe o suprafață rece, se răcește și apoi se transformă în picături mici de lichid, formând un film pe care îl vezi ca ceață. Lentilele tale vor fi relativ reci comparativ cu respirația ta, mai ales când aerul din exterior este rece.
Intrare: Un pește este capabil să gândească.
Cunoștințe: Peștii sunt mai inteligenți decât par. În multe zone, cum ar fi memoria, puterile lor cognitive se potrivesc sau depășesc pe cele ale vertebratelor 'superioare', inclusiv primatele non-umane. Memoriile pe termen lung ale peștilor îi ajută să țină evidența relațiilor sociale complexe.
Intrare: Un efect comun al fumatului multor țigări în viața cuiva este o șansă mai mare decât normal de a avea cancer pulmonar.
Cunoștințe: Cei care au avut în mod consecvent în medie mai puțin de o țigară pe zi în viața lor au avut de nouă ori riscul de a muri de cancer pulmonar decât nefumătorii. Printre oamenii care au fumat între una și 10 țigări pe zi, riscul de a muri de cancer pulmonar era aproape de 12 ori mai mare decât cel al nefumătorilor.
Intrare: O piatră este de aceeași dimensiune cu un pietriș.
Cunoștințe: Un pietriș este un clast de rocă cu o dimensiune a particulei de 4 la 64 milimetri bazat pe scala Udden-Wentworth de sedimentologie. Pietrișii sunt în general considerați mai mari decât granulele (2 la 4 milimetri diametru) și mai mici decât bolovanii (64 la 256 milimetri diametru).
Intrare: O parte din golf este încercarea de a obține un total de puncte mai mare decât alții.
Cunoștințe:

Cunoștințele generate 1:

Obiectivul golfului este să joci un set de găuri în cel mai mic număr de lovituri. O rundă de golf constă în mod tipic din 18 găuri. Fiecare gaură este jucată o dată în rundă pe un teren de golf standard. Fiecare lovitură este numărată ca un punct, iar numărul total de lovituri este folosit pentru a determina câștigătorul jocului.

Cunoștințele generate 2:

Golf-ul este un sport de precizie cu club și minge în care jucătorii concurenți (sau golferii) folosesc multe tipuri de cluburi pentru a lovi mingi într-o serie de găuri pe un teren folosind cel mai mic număr de lovituri. Scopul este să completezi terenul cu cel mai mic scor, care este calculat prin adăugarea numărului total de lovituri luate pe fiecare gaură. Jucătorul cu cel mai mic scor câștigă jocul.

Folosim promptul furnizat în lucrarea lui Liu et al. 2022.

Integrarea cunoștințelor ​

Următorul pas este să integrăm cunoștințele și să obținem o predicție. Am reformatat întrebarea în format QA pentru a ghida formatul răspunsului.

Prompt:

Întrebare: O parte din golf este încercarea de a obține un total de puncte mai mare decât alții. Da sau Nu?
Cunoștințe: Obiectivul golfului este să joci un set de găuri în cel mai mic număr de lovituri. O rundă de golf constă în mod tipic din 18 găuri. Fiecare gaură este jucată o dată în rundă pe un teren de golf standard. Fiecare lovitură este numărată ca un punct, iar numărul total de lovituri este folosit pentru a determina câștigătorul jocului.
Explică și răspunde:

Răspunsul 1 (încrederea foarte mare):

Nu, obiectivul golfului nu este să obții un total de puncte mai mare decât alții. Mai degrabă, obiectivul este să joci un set de găuri în cel mai mic număr de lovituri. Numărul total de lovituri este folosit pentru a determina câștigătorul jocului, nu numărul total de puncte.

Prompt:

Întrebare: O parte din golf este încercarea de a obține un total de puncte mai mare decât alții. Da sau Nu?
Cunoștințe: Golf-ul este un sport de precizie cu club și minge în care jucătorii concurenți (sau golferii) folosesc multe tipuri de cluburi pentru a lovi mingi într-o serie de găuri pe un teren folosind cel mai mic număr de lovituri. Scopul este să completezi terenul cu cel mai mic scor, care este calculat prin adăugarea numărului total de lovituri luate pe fiecare gaură. Jucătorul cu cel mai mic scor câștigă jocul.
Explică și răspunde:

Răspunsul 2 (încrederea este mult mai mică):

Da, o parte din golf este încercarea de a obține un total de puncte mai mare decât alții. Fiecare jucător încearcă să completeze terenul cu cel mai mic scor, care este calculat prin adăugarea numărului total de lovituri luate pe fiecare gaură. Jucătorul cu cel mai mic scor câștigă jocul.

Perspective cheie ​

Câteva lucruri foarte interesante s-au întâmplat cu acest exemplu. În primul răspuns, modelul era foarte încrezător, dar în al doilea nu prea. Am simplificat procesul în scopuri demonstrative, dar există câteva detalii suplimentare de luat în considerare când ajungi la răspunsul final. Verifică lucrarea pentru mai multe detalii.

Beneficii cheie ​

  • Îmbunătățirea cunoștințelor: Furnizează context suplimentar pentru un raționament mai bun
  • Acuratețea factuală: Reduce halucinația prin încorporarea cunoștințelor generate
  • Raționamentul de bun simț: Îmbunătățește performanța la sarcini care necesită cunoștințe despre lume
  • Calibrarea încrederii: Ajută la evaluarea certitudinii modelului în răspunsuri

Aplicații ​

  • Raționamentul de bun simț: Sarcini care necesită cunoștințe despre lume
  • Verificarea faptelor: Verificarea afirmațiilor împotriva cunoștințelor generate
  • Conținutul educațional: Crearea explicațiilor cu informații de fundal
  • Asistența pentru cercetare: Generarea contextului pentru subiecte complexe

Subiecte conexe ​

Referințe ​

  • Liu et al. (2022) - Generated Knowledge Prompting for Commonsense Reasoning