Das initiale Training eines Modells. Beim Pretraining werden sehr große Datenmengen übergeben, um ein robustes statistisches Modell von Sprache und Wissen aufzubauen.