Cache-ul de context cu Gemini 1.5 Flash
Google a lansat recent o nouă funcție numită cache-ul de context care este disponibilă prin API-urile Gemini prin modelele Gemini 1.5 Pro și Gemini 1.5 Flash. Acest ghid oferă un exemplu de bază despre cum să folosești cache-ul de context cu Gemini 1.5 Flash.
Tutorial video
Cazul de utilizare: Analizarea unui an de lucrări ML
Ghidul demonstrează cum poți folosi cache-ul de context pentru a analiza rezumatele tuturor lucrărilor ML pe care le-am documentat în ultimul an. Stocăm aceste rezumate într-un fișier text, care poate fi acum alimentat la modelul Gemini 1.5 Flash și interogat eficient.
Procesul: Încărcarea, cache-ul și interogarea
1. Pregătirea datelor
Mai întâi convertește fișierul readme (conținând rezumatele) într-un fișier text simplu.
2. Utilizarea API-ului Gemini
Poți încărca fișierul text folosind biblioteca Google generativeai.
3. Implementarea cache-ului de context
Un cache este creat folosind funcția caching.CachedContent.create(). Aceasta implică:
- Specificarea modelului Gemini Flash 1.5
- Furnizarea unui nume pentru cache
- Definirea unei instrucțiuni pentru model (de ex., "Ești un expert cercetător AI...")
- Setarea unui timp de viață (TTL) pentru cache (de ex., 15 minute)
4. Crearea modelului
Apoi creăm o instanță a modelului generativ folosind conținutul cache-uit.
5. Interogarea
Putem începe să interogăm modelul cu întrebări în limbaj natural precum:
- "Poți să-mi spui cele mai recente lucrări AI ale săptămânii?"
- "Poți să listezi lucrările care menționează Mamba? Listează titlul lucrării și rezumatul."
- "Care sunt unele dintre inovațiile din jurul LLM-urilor cu context lung? Listează titlul lucrării și rezumatul."
Rezultatele și beneficiile
Rezultatele au fost promițătoare. Modelul a recuperat și rezumat cu precizie informațiile din fișierul text. Cache-ul de context s-a dovedit foarte eficient, eliminând necesitatea de a trimite în mod repetat întregul fișier text cu fiecare interogare.
Acest flux de lucru are potențialul de a fi un instrument valoros pentru cercetători, permițându-le să:
- Analizeze și interogheze rapid cantități mari de date de cercetare
- Recupereze descoperiri specifice fără să caute manual prin documente
- Desfășoare sesiuni de cercetare interactive fără să irosească token-i de prompt
Suntem entuziasmați să explorăm aplicații suplimentare ale cache-ului de context, în special în scenarii mai complexe precum fluxurile de lucru agențiale.
Resurse
Notebook-ul poate fi găsit mai jos: