Výpadok vyrovnávacej pamäte promptu
Poskytovateľ drží začiatok Vašej konverzácie vo vyrovnávacej pamäti, takže ďalšia požiadavka ho znova použije namiesto toho, aby všetko čítala odznova. Chetty Vás upozorní, keď odpoveď vyrovnávaciu pamäť minula a zaplatila za to znateľne viac.
Prečo na vyrovnávacej pamäti záleží
Pri predvolenom dlhom uchovaní zostáva vyrovnávacia pamäť teplá asi hodinu pokoja; pri krátkom uchovaní asi päť minút.
Požiadavka po dlhšej pauze prečíta celú históriu znova. Stojí to viac a je to normálne.
Čo oznámenie hovorí
Výpadok v teplom okne znamená, že požiadavka znova použila menej uloženého textu, než mala. Keď jeden krok stojí navyše aspoň 0,25 USD, Chetty zobrazí oznámenie na zvončeku Oznámenia v hornej lište, najviac jedno na odpoveď.
Oznámenie pomenuje konverzáciu, pri delegovanej práci sub-agenta, a uvádza pravdepodobnú príčinu. Vypisuje aj Stratené z vyrovnávacej pamäte, Znova zapísané, Znova spracované, Náklady navyše, Cena volania a Model a odkazuje späť do konverzácie.
Čo výpadok spôsobuje
Chetty porovnáva požiadavku s predchádzajúcou, takže vie pomenovať obvyklé dôvody:
- Zmenil sa systémový prompt. Zmenili sa inštrukcie Chettyho alebo súbory inštrukcií Vášho Projektu.
- Zmenila sa súprava dostupných nástrojov. Plugin alebo zmena oprávnení zmenili nástroje, ktoré ťah mohol použiť.
- Zmenila sa skoršia história konverzácie. Správa bola upravená, odstránená alebo prepísaná.
Keď je začiatok nezmenený, oznámenie povie, že príčina nie je jasná a že poskytovateľ vyrovnávaciu pamäť pravdepodobne uvoľnil, alebo že krok mohol posunúť skorší zápis z dosahu. Prepnutie medzi Plánovaním, Realizáciou a Postupom nemení ani inštrukcie, ani nástroje, takže výpadok nevysvetlí.
Čo urobiť
Väčšina výpadkov nevyžaduje nič. Prečítajte príčinu a rozhodnite sa:
- Keď oznámenie pomenuje skutočnú zmenu, nie je čo robiť; ďalšia požiadavka začne nový, stabilný začiatok.
- Keď sa to isté oznámenie v jednej dlhej konverzácii opakuje, skrátenie kontextu alebo nová konverzácia často stoja menej než nesenie histórie ďalej.
- Zatvorením oznámenia sa príčina nemení; zmizne iba oznámenie.
Tip: Pracujúca konverzácia ukazuje podiel z vyrovnávacej pamäte vedľa živej rýchlosti a panel spotreby označuje rovnaký údaj ako Podiel načítaný z medzipamäte.
Súvisiace návody
Pokračujte s Skrátenie kontextu, Údaje o spotrebe a nákladoch a Čo v konverzácii uvidíte.