Limity a ceny modelov
Katalóg modelov hovorí Chettymu, aký je ktorý model veľký, koľko stojí a či číta obrázky, a určuje, ktoré modely pracovné prostredie ponúka.
Otvorte katalóg
- Otvorte Nastavenia → Modely.
- Hľadajte v katalógu podľa poskytovateľa, ID modelu alebo názvu na spustenie.
- Vyberte model a upravte jeho nastavenia v paneli.
Zoznam ukazuje, ktoré modely jednotliví poskytovatelia ponúkajú a koľko ich je, takže na prvý pohľad vidíte, čo ktorý poskytovateľ prináša.
Čo môžete nastaviť
- Kontextové okno: koľko konverzácie a promptu model prijme.
- Maximum výstupných tokenov: koľko smie model napísať v jednej odpovedi.
- Podporuje obrázky: či model vie čítať ťahy s obrázkami.
- Ceny za milión tokenov: vstup, výstup, čítanie z vyrovnávacej pamäte a zápis do vyrovnávacej pamäte v amerických dolároch.
- Zmenšenie vstupných obrázkov: maximálna šírka a výška, maximálny počet zakódovaných bajtov a kvalita JPEG pre obrázky uložené v konverzácii.
Predvolená je sadzba poskytovateľa alebo katalógu. Skutočne účtovaná cena za požiadavku, ktorú poskytovateľ hlási, má aj tak prednosť.
Limity platia pre dvojicu modelu
Prepis platí pre presnú dvojicu provider/model, takže dvaja poskytovatelia s rovnakým názvom modelu si držia vlastné limity.
Pri uplatnení limitu výstupu necháva Chetty miesto pre prompt. Predvolené maximum výstupu je 8 192 tokenov, ak poskytovateľ alebo administrátor nezadá inú hodnotu, a limit väčší ako okno kontextu sa odmietne.
Roly modelov
Nad katalógom Roly modelov určujú, ktorý model čo robí pre inštanciu: Predvolený model konverzácie, od ktorého začína každá konverzácia, Pomocný model, ktorý píše názvy a triedi spomienky, a model prehľadu dňa, ktorý dedí pomocný model, ak mu ho nenastavíte.
Osobné voľby, ktoré vedľa týchto rolí stoja, popisuje Roly modelov a nastavenia jednotlivých modelov.
Administrátor: Katalóg určuje, čo pracovné prostredie ponúka. Každý účet navyše potrebuje pridelenie a pridelenie nedokáže spustiť model, ktorý v katalógu nie je.