Identificarea halucinațiilor în răspunsurile LLM-urilor

Context

Acest prompt testează capacitățile unui LLM de a identifica și evalua halucinațiile în răspunsurile altor modele sau în propriile răspunsuri.

Prompt

Evaluează următorul răspuns pentru halucinații și furnizează un scor de la 1 la 10, unde 1 este foarte halucinat și 10 este complet adevărat:

Răspunsul: {input}

Scorul: [1-10]
Explicația:

Șablonul de prompt

Evaluează următorul răspuns pentru halucinații și furnizează un scor de la 1 la 10, unde 1 este foarte halucinat și 10 este complet adevărat:

Răspunsul: {input}

Scorul: [1-10]
Explicația:

Cod / API

from openai import OpenAI
client = OpenAI()
 
response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {
        "role": "user",
        "content": "Evaluează următorul răspuns pentru halucinații și furnizează un scor de la 1 la 10, unde 1 este foarte halucinat și 10 este complet adevărat:\n\nRăspunsul: {input}\n\nScorul: [1-10]\nExplicația:"
        }
    ],
    temperature=1,
    max_tokens=500,
    top_p=1,
    frequency_penalty=0,
    presence_penalty=0
)

Referință

Ghidul de inginerie a prompt-urilor (16 martie 2023)