Was genau ist ein Token? Eine Zahlenfolge. die KI-Gebühren und Speicher miteinander verbindet

In diesem Video wird die Metapher von Mautstellen und Legosteinen verwendet, um in einem Atemzug zu erklären, was Token ist. Ich werde erklären, warum große Modelle Text in Zahlen zerschneiden, die Sie nicht verstehen können, wie diese Zahlen zu Abrechnungseinheiten werden und wie die „Speicherobergrenze“ des Modells von der Anzahl der Token abhängt. Nachdem Sie es gelesen haben, werden Sie verstehen, dass Token tatsächlich drei Rollen gleichzeitig spielt: ein Übersetzer, der die physische Welt in mathematische Symbole umwandelt; eine Maßeinheit, die die Kosten jedes Anrufs beim Geheimdienst bestimmt; und eine Wand, die begrenzt, wie viele Informationen sich das Modell in diesem Moment merken kann. Dies ist die zugrunde liegende Logik der generativen KI. Wenn Sie das Dialogfeld das nächste Mal öffnen, sehen Sie, wie das Token hinter dem Text fließt.