Extragerea numelor modelelor din lucrări

Context

Următorul prompt testează capacitățile unui LLM de a executa o sarcină de extragere a informațiilor care implică extragerea numelor modelelor din rezumatele lucrărilor de machine learning. Aceasta este o sarcină comună în analiza cercetării și procesele de revizuire a literaturii.

Descrierea sarcinii

Scopul este să identifici și să extragi numele specifice ale modelelor AI/ML menționate în rezumatele lucrărilor de cercetare, returnându-le într-un format structurat pentru analiza ulterioară sau procesare.

Structura prompt-ului

Promptul de bază

Sarcina ta este să extragi numele modelelor din rezumatele lucrărilor de machine learning. Răspunsul tău este un array al numelor modelelor în formatul ["numele_modelului"]. Dacă nu găsești nume de modele în rezumat sau nu ești sigur, returnează ["NA"]

Rezumatul: {input}

Exemplu de intrare

Rezumatul: Modelele de limbaj mari (LLM-uri), precum ChatGPT și GPT-4, au revoluționat cercetarea în procesarea limbajului natural și au demonstrat potențialul în inteligența artificială generală (AGI). Cu toate acestea, antrenamentul și implementarea scumpă a LLM-urilor prezintă provocări pentru cercetarea academică transparentă și deschisă. Pentru a aborda aceste probleme, acest proiect open-source LLaMA chineză și Alpaca…

Ieșirea așteptată

Pentru exemplul de mai sus, ieșirea așteptată ar fi:

["ChatGPT", "GPT-4", "LLaMA", "Alpaca"]

Implementarea

Exemplu de cod

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {
            "role": "user",
            "content": "Sarcina ta este să extragi numele modelelor din rezumatele lucrărilor de machine learning. Răspunsul tău este un array al numelor modelelor în formatul [\"numele_modelului\"]. Dacă nu găsești nume de modele în rezumat sau nu ești sigur, returnează [\"NA\"]\n\nRezumatul: Modelele de limbaj mari (LLM-uri), precum ChatGPT și GPT-4, au revoluționat cercetarea în procesarea limbajului natural și au demonstrat potențialul în inteligența artificială generală (AGI). Cu toate acestea, antrenamentul și implementarea scumpă a LLM-urilor prezintă provocări pentru cercetarea academică transparentă și deschisă. Pentru a aborda aceste probleme, acest proiect open-source LLaMA chineză și Alpaca…"
        }
    ],
    temperature=1,
    max_tokens=250,
    top_p=1,
    frequency_penalty=0,
    presence_penalty=0
)

Parametrii API

Parametru	Valoare	Descriere
model	gpt-4	Modelul de limbaj de folosit
temperature	1	Controlează aleatorietatea în generare
max_tokens	250	Lungimea maximă a răspunsului
top_p	1	Parametrul de eșantionare nucleu
frequency_penalty	0	Fără penalizare pentru tokenii frecvenți
presence_penalty	0	Fără penalizare pentru tokenii noi

Caracteristici cheie

1. Formatul de ieșire structurat

• Returnează rezultatele într-un format de array consistent
• Gestionează cazurile unde nu se găsesc modele cu ["NA"]
• Menține formatarea consistentă pentru parsarea ușoară

2. Gestionarea robustă a erorilor

• Returnează ["NA"] când nu este sigur sau nu se găsesc modele
• Previne crash-urile sau ieșirile invalide
• Asigură structura consistentă a răspunsului

3. Definiția clară a sarcinii

• Instrucțiuni explicite pentru sarcina de extragere
• Cerințe specifice pentru formatul de ieșire
• Gestionarea clară a cazurilor limită

Cazuri de utilizare

• Revizuirea literaturii de cercetare: Automatizarea identificării modelelor în lucrări
• Studiile de comparație a modelelor: Colectarea mențiunilor modelelor în cercetare
• Construirea bazelor de date academice: Crearea seturilor de date structurate de referințe ale modelelor
• Analiza tendințelor de cercetare: Urmărirea popularității modelelor în timp

Cele mai bune practici

1. Formatarea clară: Folosește notația de array consistentă
2. Gestionarea erorilor: Gestionează întotdeauna cazurile unde nu se găsesc modele
3. Validarea: Verifică numele extrase împotriva bazelor de date cunoscute de modele
4. Rafinarea iterativă: Ajustează prompt-urile bazat pe calitatea ieșirii
5. Procesarea în lot: Procesează multiple rezumate pentru eficiență

Provocările așteptate

• Variațiile numelor modelelor: Același model referit diferit
• Abrevierea: Modelele menționate cu acronime
• Numerele de versiune: Diferite versiuni ale aceluiași model
• Referințele ambigue: Mențiuni neclare ale modelelor

Referință

Sursa: Ghidul de inginerie a prompt-urilor (16 martie 2023)

Subiecte conexe

• Privirea de ansamblu asupra extragerei informațiilor
• Procesarea textului cu LLM-uri
• Analiza cercetării