GPU (Graphics Processing Unit)

Kurz-Fakten

• Entscheidend ist meist der Speicher, nicht die reine Rechenleistung
• Faustregel: Modellgröße in Milliarden Parametern × 2 GB bei 16 Bit
• Quantisierung senkt den Speicherbedarf entsprechend
• Für Vorhersagen reicht deutlich weniger Leistung als für das Training

Bedeutung in der Praxis

Der letzte Punkt entscheidet über die Anschaffung: Wer nur fertige Modelle betreibt, braucht keine Trainingshardware. Viele Vorhaben scheitern nicht an der Rechenleistung, sondern am Grafikspeicher.

Verwandte Begriffe

• Deep Learning Deep Learning ist maschinelles Lernen mit künstlichen neuronalen Netzen, die viele…
• Quantisierung Quantisierung verringert die Zahlengenauigkeit, mit der die Gewichte eines Modells…
• Edge AI Edge AI bezeichnet die Ausführung von KI-Modellen direkt auf dem Gerät – auf einem…
• Model Deployment Model Deployment ist die Überführung eines trainierten Modells in den produktiven…