Kurz-Fakten

  • Bausteine: Agent, Umgebung, Aktion, Zustand, Belohnung
  • Braucht sehr viele Durchläufe, meist in einer Simulation
  • Bei Sprachmodellen als RLHF zur Verhaltensausrichtung eingesetzt
  • Eine schlecht gewählte Belohnung erzeugt zuverlässig unerwünschtes Verhalten

Bedeutung in der Praxis

Der letzte Punkt ist die eigentliche Schwierigkeit. Agenten finden regelmäßig Wege, die Belohnung zu maximieren, ohne das gemeinte Ziel zu erreichen. Wer eine Kennzahl belohnt, bekommt die Kennzahl – nicht das dahinterliegende Anliegen.

Verwandte Begriffe