Zum Inhalt springen
TokIQ
Techniken

Few-Shot Prompting erklärt: Beispiele vs. Zero-Shot

Zero-Shot-Prompts haben nur Anweisungen, Few-Shot-Prompts zusätzlich Beispiele. Wann Beispiele die Ausgabe verbessern und wann sie Kopieren und Bias auslösen.

TokIQ Editorial5 Min. Lesezeit
In diesem Artikel
  1. Wie sieht ein Zero-Shot-Prompt aus?
  2. Wie sieht ein Few-Shot-Prompt aus?
  3. Wann helfen Beispiele eindeutig?
  4. Wann schaden Few-Shot-Beispiele?
  5. Müssen die Labels in Beispielen überhaupt stimmen?
  6. Wie viele Beispiele solltest du verwenden?
  7. Sollen Beispiele Anweisungen ersetzen?
  8. Eine kurze Entscheidungshilfe

Zero-Shot Prompting heißt, einem Modell nur Anweisungen und die Eingabe zu geben. Few-Shot Prompting ergänzt eine kleine Zahl durchgespielter Beispiele, damit das Modell das Muster übernehmen kann. Nutze Zero-Shot, wenn sich die Aufgabe leicht in Worten beschreiben lässt, und ergänze Beispiele, wenn sich Format, Stil oder Entscheidungsgrenze leichter zeigen als erklären lassen.

Die Begriffe stammen aus der GPT-3-Arbeit (Brown et al., 2020, "Language Models are Few-Shot Learners"), die zeigte, dass ein großes Modell eine Aufgabe aus einigen Demonstrationen im Prompt lernen kann, ohne Neutraining. Diese Fähigkeit nennt man meist In-Context Learning. Sechs Jahre später befolgen Modelle schlichte Anweisungen weit besser als GPT-3, die Frage lautet also nicht mehr "brauche ich Beispiele, damit das überhaupt funktioniert", sondern "machen Beispiele das für meinen Fall besser oder schlechter".

Das Wichtigste in Kürze

  • Beginne mit Zero-Shot und klaren Anweisungen. Ergänze Beispiele, wenn die Ausgaben bei Format oder Stil uneinheitlich sind.
  • Beispiele werden wörtlicher kopiert, als die meisten erwarten: Länge, Ton, Struktur, sogar das Thema.
  • Variiere deine Beispiele, balanciere die Labels, und setze nicht immer dieselbe Klasse ans Ende.
  • Beispiele ergänzen Anweisungen. Ersetzen tun sie sie selten.

Wie sieht ein Zero-Shot-Prompt aus?

Extrahiere den Firmennamen und die Berufsbezeichnung aus dieser E-Mail-Signatur.
Gib sie als "Firma: ..., Titel: ..." zurück. Wenn eines fehlt, schreibe "unbekannt".

Signatur:
Maria Lopez
Head of Data Platform | Northwind Logistics
+1 555 0100

Ein modernes Modell bekommt das fast immer richtig hin. Die Aufgabe ist gängig, das Ausgabeformat ist genau beschrieben, und für den Fall eines fehlenden Werts gibt es eine Regel. Beispiele würden hier Tokens kosten und nichts bringen.

Wie sieht ein Few-Shot-Prompt aus?

Nun eine Aufgabe, bei der Worte nicht ausreichen. Produktbeschreibungen sollen im Ton deiner Marke umgeschrieben werden, der trocken ist, leicht komisch und allergisch gegen Adjektive. Du könntest versuchen, diesen Ton zu beschreiben. Oder du zeigst ihn:

Schreibe Produktbeschreibungen in unserem Hausstil um.

Original: "Diese hochwertige, extrem robuste Trinkflasche hält Ihre Getränke
erstaunliche 24 Stunden eiskalt!"
Umschrieben: "Hält Wasser 24 Stunden kalt. Übersteht Stürze die Treppe
hinunter, was wir öfter getestet haben, als nötig war."

Original: "Erleben Sie unvergleichlichen Komfort mit unserem luxuriösen,
ergonomisch gestalteten Bürostuhl."
Umschrieben: "Ein Bürostuhl, der deinen unteren Rücken stützt. Du wirst
ihn bald nicht mehr bemerken, und genau das ist der Punkt."

Original: "{{new_description}}"
Umschrieben:

Zwei Beispiele vermitteln mehr über den Ton als ein Absatz voller Adjektive ("witzig, aber zurückhaltend"). Das ist der stärkste Fall für Few-Shot: Stil, Ton und Format, die leicht zu erkennen und schwer zu beschreiben sind.

Wann helfen Beispiele eindeutig?

Aus Erfahrung zahlen sich Beispiele in ein paar wiederkehrenden Situationen aus:

Ungewöhnliche Ausgabeformate. Ein eigenes Markup, eine bestimmte Schreibweise für Datumsangaben, ein Zitierstil, den dein Team erfunden hat. Ein Beispiel für die fertige Ausgabe nimmt viel Raterei weg.

Unscharfe Klassifikationsgrenzen. Wenn "Beschwerde" vs. "Funktionswunsch" von den Konventionen deines Teams abhängt, zeig einen Grenzfall mit dem Label, das du willst. Kombiniere ihn mit einer geschriebenen Regel, denn das Modell verallgemeinert aus einem einzelnen Fall womöglich nicht.

Stilübertragung. Wie oben. Ton ist das Schwierigste zu beschreiben und das Einfachste zu demonstrieren.

Kleinere oder ältere Modelle. Je weniger leistungsfähig das Modell, desto mehr stützt es sich auf Demonstrationen. Wenn du ein kleines Open-Weight-Modell lokal betreibst, zählt Few-Shot oft deutlich mehr als bei einem Frontier-Modell.

Wann schaden Few-Shot-Beispiele?

Das ist der Teil, den die meisten Tutorials überspringen. Beispiele sind starke Signale, und starke Signale haben Nebenwirkungen.

Das Modell kopiert die falschen Dinge

Angenommen, deine beiden Beispiele handeln zufällig von Küchenprodukten und sind etwa 30 Wörter lang. Deine Ausgaben driften dann Richtung 30 Wörter, und du siehst vielleicht Küchenmetaphern in Beschreibungen von Laptoptaschen. Das Modell kann nicht unterscheiden, welche Merkmale des Beispiels der Punkt sind und welche Zufall. Es kopiert alle ein bisschen.

Die Lösung ist Vielfalt. Lass sich die Beispiele in Länge, Thema und Aufbau bei allem unterscheiden, was dir egal ist, und halte sie nur bei dem einen Merkmal einheitlich, auf das es dir ankommt.

Label-Ungleichgewicht und Reihenfolge-Bias

Die Forschung zu Few-Shot-Klassifikation hat das direkt dokumentiert. Zhao et al. (2021, "Calibrate Before Use") stellten fest, dass die Vorhersagen von GPT-3 zu Labels verzerrt waren, die im Prompt häufiger vorkamen, und zum Label des letzten Beispiels. Neuere Modelle sind weniger anfällig, aber die Tendenz ist nicht verschwunden.

Wenn dein Sentiment-Prompt also drei positive Beispiele und ein negatives hat, wundere dich nicht, wenn neutrale Nachrichten als positiv zurückkommen. Balanciere die Klassen und mische die Reihenfolge, oder stell wenigstens sicher, dass das letzte Beispiel nicht immer dasselbe Label trägt.

Beispiele, die den Anweisungen widersprechen

Ein überraschend häufiger Fehler:

Fasse den Artikel in höchstens zwei Sätzen zusammen.

Beispielartikel: ...
Beispielzusammenfassung: Das Unternehmen meldete in diesem Quartal
höhere Umsätze. Es kündigte außerdem einen neuen CEO an. Analysten
erwarten steigende Kurse.

Die Anweisung sagt zwei Sätze, das Beispiel hat drei. Wenn Anweisungen und Beispiele nicht übereinstimmen, folgen Modelle oft dem Beispiel. Prüfe deine Beispiele gegen deine eigenen Regeln, bevor du dem Modell die Schuld gibst.

Beispiele, die ein enges Muster festschreiben

Wenn jedes Beispiel für "Action Items extrahieren" genau zwei Punkte zeigt, liefert das Modell womöglich auch bei einem Meeting mit fünf Punkten zwei. Nimm ein Beispiel ohne Punkte und eins mit vielen auf. Randfälle in deinen Beispielen bringen dem Modell bei, dass Randfälle erlaubt sind.

Müssen die Labels in Beispielen überhaupt stimmen?

Eine interessante Frage, und die Antwort der Forschung lautet: weniger, als man denkt, aber verlass dich nicht darauf. Min et al. (2022, "Rethinking the Role of Demonstrations") stellten fest, dass es bei einer Reihe von Klassifikationsaufgaben die Leistung nur mäßig verschlechterte, wenn man in den Demonstrationen die Labels zufällig vertauschte. Ein Großteil des Nutzens kam davon, die Verteilung der Eingaben, den Labelraum und das Format zu zeigen. Das ist eine nützliche Einsicht, wie Beispiele wirken. Eine Erlaubnis für schlampige Beispiele in der Produktion ist es nicht, denn dort kann ein falsches Beispiel genau bei den Grenzfällen, auf die es ankommt, eine falsche Regel beibringen.

Wie viele Beispiele solltest du verwenden?

Eine allgemeingültige Zahl gibt es nicht. In der Praxis gilt:

  • Ein Beispiel zeigt ein Format, lädt aber zu starkem Kopieren ein.
  • Zwei bis fünf gut gewählte, vielfältige Beispiele bewältigen die meisten Aufgaben.
  • Darüber flachen die Gewinne meist ab, und jedes Beispiel kostet bei jedem Aufruf Geld und Latenz.

Der einzig verlässliche Weg zur Wahl ist Testen. Halte einen kleinen Evaluierungssatz bereit (zwanzig oder dreißig echte Eingaben mit bekannten guten Ausgaben), probiere null, zwei und fünf Beispiele und schau sowohl auf die Genauigkeit als auch auf die Art der Fehler. Manchmal beheben mehr Beispiele eine Fehlerart und führen eine andere ein.

Sollen Beispiele Anweisungen ersetzen?

Selten. Die stärksten Prompts verbinden eine kurze, ausdrückliche Regel mit Beispielen, die sie veranschaulichen. Anweisungen sagen dem Modell, was zählt, Beispiele zeigen, wie es aussieht. Wenn du dich allein auf Beispiele verlässt, muss das Modell deine Absicht rekonstruieren, und manchmal erschließt es dabei eine andere Regel als die, die du im Kopf hattest.

Ein praktisches Muster ist, Beispiele klar zu markieren, damit das Modell sie nicht mit der eigentlichen Eingabe verwechselt:

Ordne jedes Support-Ticket als "bug", "billing" oder "question" ein.
Ein Ticket, das eine Fehlermeldung beschreibt, zählt als "bug", auch
wenn der Nutzer es als Frage formuliert.

<examples>
<example>
Ticket: Warum bekomme ich "Error 502", wenn ich einen Bericht exportiere?
Label: bug
</example>
<example>
Ticket: Kann ich jährlich statt monatlich zahlen?
Label: billing
</example>
<example>
Ticket: Gibt es ein Tastenkürzel für die Suche?
Label: question
</example>
</examples>

Ticket: {{ticket}}
Label:

Beachte, dass das erste Beispiel der Grenzfall ist, den die geschriebene Regel beschreibt. Das ist Absicht: Die Anweisung nennt die Regel, das Beispiel belegt, dass du sie so gemeint hast.

Eine kurze Entscheidungshilfe

Frag dich, ob eine kompetente neue Kollegin die Aufgabe allein anhand deiner schriftlichen Anweisungen erledigen könnte. Wenn ja, bleib bei Zero-Shot und steck deine Mühe in klare Anweisungen und Format. Wenn sie fragen würde "kannst du mir eins zeigen?", ergänze Beispiele, variiere und balanciere sie und prüfe, ob sie zu deinen Regeln passen.

Mehr dazu schlüsselt das Thema Few-Shot weiter auf, und der Begleitartikel zu Chain-of-Thought Prompting behandelt, was passiert, wenn die Beispiele Denkschritte enthalten und nicht nur Antworten. Wenn du bei den Grundlagen anfängst, beginne mit was Prompt Engineering ist.

Häufige Fragen

Was ist der Unterschied zwischen Zero-Shot und Few-Shot Prompting?

Ein Zero-Shot-Prompt beschreibt die Aufgabe nur mit Anweisungen. Ein Few-Shot-Prompt enthält zusätzlich eine Handvoll durchgespielter Eingabe-Ausgabe-Beispiele, aus denen das Modell das Muster ableiten kann.

Wie viele Beispiele sollte ein Few-Shot-Prompt haben?

Meist reichen zwei bis fünf gut gewählte Beispiele. Nimm mehr nur, wenn der Test einen Gewinn zeigt, und achte darauf, dass sie unterschiedliche Fälle abdecken und nicht denselben wiederholen.

Können Few-Shot-Beispiele die Ergebnisse verschlechtern?

Ja. Modelle neigen dazu, Oberflächenmerkmale von Beispielen zu kopieren, etwa Länge, Formulierung und Thema, und können zu Labels verzerrt werden, die häufiger oder zuletzt in der Beispielliste vorkommen.

Was ist One-Shot Prompting?

One-Shot Prompting ist Few-Shot Prompting mit einem einzigen Beispiel. Es eignet sich, um ein Format zu zeigen, aber mit nur einem Beispiel kopiert das Modell dieses leicht zu genau.

  • #Few-Shot Prompting
  • #Zero-Shot Prompting
  • #In-Context Learning
  • #Beispiele

Jetzt üben

TokIQ macht aus Prompt Engineering kurze Quizze, mit einer Erklärung zu jeder Antwort.

Bald beiApp StoreJetzt beiGoogle Play
Techniken6 Min. Lesezeit

Chain-of-Thought Prompting erklärt: Noch sinnvoll?

Chain-of-Thought-Prompting lässt ein Modell vor der Antwort Schritt für Schritt denken. Wann es hilft, wann Reasoning-Modelle es ersetzen und wie du es nutzt.

Schreibe bessere Prompts, mit ein paar Fragen am Tag.

Kurze Quizze zu echten Prompting-Entscheidungen, mit einer Erklärung zu jeder Antwort. Kostenlos starten auf iPhone und Android.

Bald beiApp StoreJetzt beiGoogle Play