+41 544 36 40
  • en
  • de
  • en
  • de
    • Public Offering
    +41 544 36 40 +49 221 77 268 261
    A C D E G K M N O P R S T V
    Prep Pret

    Preprocessing

    Bevor ein Korpus für das Training der AI übergeben werden kann, müssen einige Vorverarbeitungsschritte ausgeführt werden. Unerwünschte Inhalte zum Beispiel werden entfernt, Normalisierungen ausgeführt und die Texte an Modellspezifika angepasst. Wenn ein Modell im Pretraining zum Beispiel nur eine Art Anführungszeichen kennengelernt hat, sollten diese Anführungszeichen im Trainingskorpus für das Finetuning die gleichen sein, damit sie sofort richtig erkannt werden.