Generarea augmentată cu recuperare (RAG)
Prezentare generală
Modelele de limbaj de scop general pot fi finetunate pentru a realiza mai multe sarcini comune precum analiza sentimentelor și recunoașterea entităților numite. Aceste sarcini nu necesită în general cunoștințe de fundal suplimentare.
Pentru sarcini mai complexe și intensive în cunoștințe, este posibil să construiești un sistem bazat pe model de limbaj care accesează surse externe de cunoștințe pentru a completa sarcinile. Aceasta permite o consistență factuală mai mare, îmbunătățește fiabilitatea răspunsurilor generate și ajută la mitigația problemei "halucinației".
Ce este RAG?
Cercetătorii Meta AI au introdus o metodă numită Generarea augmentată cu recuperare (RAG) pentru a aborda astfel de sarcini intensive în cunoștințe. RAG combină o componentă de recuperare a informațiilor cu un model generator de text. RAG poate fi finetunat și cunoștințele sale interne pot fi modificate într-un mod eficient și fără să necesite reantrenarea întregului model.
Cum funcționează
RAG ia o intrare și recuperează un set de documente relevante/de suport având în vedere o sursă (de exemplu, Wikipedia). Documentele sunt concatenate ca context cu promptul de intrare original și sunt alimentate la generatorul de text care produce ieșirea finală. Aceasta face RAG adaptiv pentru situațiile unde faptele ar putea evolua în timp. Aceasta este foarte utilă deoarece cunoștințele parametrice ale LLM-urilor sunt statice. RAG permite modelelor de limbaj să ocolească reantrenarea, permițând accesul la cele mai recente informații pentru generarea de ieșiri de încredere prin generarea bazată pe recuperare.
Implementarea tehnică
Lewis et al., (2021) au propus o rețetă de finetuning de scop general pentru RAG. Un model seq2seq preantrenat este folosit ca memorie parametrică și un index vectorial dens al Wikipedia este folosit ca memorie non-parametrică (accesat folosind un recuperator neural preantrenat). Mai jos este o privire de ansamblu asupra modului în care funcționează abordarea:
Sursa imaginii: Lewis et al. (2021)
Rezultatele de performanță
RAG performează puternic pe mai multe benchmark-uri precum Natural Questions, WebQuestions și CuratedTrec. RAG generează răspunsuri care sunt mai factuale, specifice și diverse când este testat pe întrebările MS-MARCO și Jeopardy. RAG îmbunătățește de asemenea rezultatele pe verificarea faptelor FEVER.
Aceasta arată potențialul RAG ca o opțiune viabilă pentru îmbunătățirea ieșirilor modelelor de limbaj în sarcinile intensive în cunoștințe.
Dezvoltări recente
Mai recent, aceste abordări bazate pe recuperator au devenit mai populare și sunt combinate cu LLM-uri populare precum ChatGPT pentru a îmbunătăți capacitățile și consistența factuală.
Caz de utilizare: Generarea titlurilor prietenoase pentru lucrări ML
Mai jos, am pregătit un tutorial notebook care demonstrează utilizarea LLM-urilor open-source pentru a construi un sistem RAG pentru generarea de titluri scurte și concise pentru lucrări de învățare automată:
Începerea cu RAG
Tutorialul demonstrează cum să:
- Configurezi un sistem de recuperare a documentelor
- Integrezi cu modelele de limbaj
- Generezi răspunsuri conștiente de context
- Îmbunătățești acuratețea factuală
Beneficii cheie
- Consistența factuală: Reduce halucinația prin cunoștințe externe
- Informații actualizate: Acces la informații curente fără reantrenare
- Integrarea eficientă a cunoștințelor: Combină memoria parametrică și non-parametrică
- Arhitectura scalabilă: Funcționează cu diverse surse de cunoștințe și modele
- Fiabilitatea îmbunătățită: Răspunsuri mai precise și de încredere
Aplicații
- Răspunsurile la întrebări: Întrebări complexe care necesită cunoștințe externe
- Rezumarea documentelor: Crearea de rezumate cu verificare factuală
- Asistența pentru cercetare: Suportarea cercetării academice și profesionale
- Generarea de conținut: Crearea de conținut precis și actualizat
- Verificarea faptelor: Verificarea afirmațiilor împotriva surselor de încredere
Subiecte conexe
- Promptarea Chain-of-Thought - Înțelegerea tehnicilor de raționament
- Promptarea cu câteva exemple - Învățarea din exemple
- Ghidul de inginerie a prompturilor - Tehnici generale de inginerie a prompturilor
Referințe
- Retrieval-Augmented Generation for Large Language Models: A Survey (Dec 2023)
- Retrieval Augmented Generation: Streamlining the creation of intelligent natural language processing models (Sep 2020)
- Lewis et al., (2021) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks