FLOP

FLOPS sind ein Maß dafür, wie viele Gleitkomma-Rechenoperationen (Addition, Multiplikation etc.) ein System pro Sekunde ausführen kann.

• FLOPS steht für „Floating Point Operations per Second“ und beschreibt die Rechenleistung für Berechnungen mit Dezimalzahlen.
• Typische Größenordnungen sind GigaFLOPS (Milliarden), TeraFLOPS (Billionen) oder PetaFLOPS (Billiarden Operationen pro Sekunde.

FLOPS im Kontext von AI-Training

• Beim Training von KI-Modellen wird der benötigte Rechenaufwand oft in totalen FLOPs angegeben, also wie viele einzelne Rechenoperationen das gesamte Training umfasst.
• Je höher die FLOPs eines Trainingslaufs, desto mehr Hardware-Ressourcen, Energie und Zeit werden typischerweise benötigt; FLOPs dienen damit als Proxy für die „Größe“ und Kosten eines Trainings.
• In der Praxis nutzt man FLOPs, um die Komplexität von Modellen zu vergleichen, Trainingsbudgets zu planen (z.B. GPU-Tage) und Skalierungseffekte bei größeren Modellen quantitativ zu beschreiben.