Limity a ceny modelů
Katalog modelů říká Chettymu, jak je který model velký, kolik stojí a zda čte obrázky, a určuje, které modely pracovní prostředí nabízí.
Otevřete katalog
- Otevřete Nastavení → Modely.
- Hledejte v katalogu podle poskytovatele, ID modelu nebo názvu pro spuštění.
- Vyberte model a upravte jeho nastavení v panelu.
Seznam ukazuje, které modely jednotliví poskytovatelé nabízejí a kolik jich je, takže na první pohled vidíte, co který poskytovatel přináší.
Co můžete nastavit
- Kontextové okno: kolik konverzace a promptu model přijme.
- Maximum výstupních tokenů: kolik smí model napsat v jedné odpovědi.
- Podporuje obrázky: zda model umí číst tahy s obrázky.
- Ceny za milion tokenů: vstup, výstup, čtení z mezipaměti a zápis do mezipaměti v amerických dolarech.
- Zmenšení vstupních obrázků: maximální šířka a výška, maximální počet zakódovaných bajtů a kvalita JPEG pro obrázky uložené v konverzaci.
Výchozí je sazba poskytovatele nebo katalogu. Skutečně účtovaná cena za požadavek, kterou poskytovatel hlásí, má i tak přednost.
Limity platí pro dvojici modelu
Přepis platí pro přesnou dvojici provider/model, takže dva poskytovatelé se stejným názvem modelu si drží vlastní limity.
Při uplatnění limitu výstupu nechává Chetty místo pro prompt. Výchozí maximum výstupu je 8 192 tokenů, pokud poskytovatel nebo administrátor nezadá jinou hodnotu, a limit větší než okno kontextu se odmítne.
Role modelů
Nad katalogem Role modelů určují, který model co dělá pro instanci: Výchozí model konverzace, od kterého začíná každá konverzace, Pomocný model, který píše názvy a třídí vzpomínky, a model přehledu dne, který dědí pomocný model, pokud mu jej nenastavíte.
Osobní volby, které vedle těchto rolí stojí, popisuje Role modelů a nastavení jednotlivých modelů.
Administrátor: Katalog určuje, co pracovní prostředí nabízí. Každý účet navíc potřebuje přidělení a přidělení nedokáže spustit model, který v katalogu není.