Lexikon

Unter Text-Mining wird Data-Mining speziell für geschriebene Daten in natürlicher Sprache verstanden. Der Text Mining Prozess beinhaltet die Verwendung von Algorithmen und Methoden, um aus unstrukturierten oder halb strukturierten Textdaten wertvolle Informationen zu extrahieren, neue Muster zu erkennen, bestehende Muster zu bestätigen oder Vorhersagen zu treffen. Die gewonnenen Erkenntnisse können in vielen Bereichen, wie der Wissenschaft, dem Marketing, dem Kundenservice oder der Finanzwelt, eingesetzt werden.

Text Spinning oder Article Spinning ist eine Technik, die darauf abzielt, einen Text so zu verändern, dass er für eine bestimmte Zielgruppe ansprechender wird. Dabei werden Wörter ersetzt, Satzstrukturen verändert und neue Wörter eingefügt. Der eigentliche Inhalt des Textes bleibt dabei unverändert. Relevant ist dies zum Beispiel für die Erstellung neuer Texte für das Suchmaschinenmarketing (SEM), speziell für die Suchmaschinen-Optimierung (SEO oder Search Engine Marketing).

Beim Training lernt ein Modell aus Beispielen. Anhand der Beispiele versucht das Modell, ein Ergebnis vorherzusagen (beispielsweise einen Lückentext korrekt zu füllen) und gleicht am Ende jedes Zyklus seine Ergebnisse mit den echten Werten ab. Wenn das Ergebnis falsch ist, wird das zugrunde liegende statistische Modell angepasst und ein neuer Versuch gestartet. In der Regel läuft ein Training so lange, bis sich das statistische Modell kaum mehr ändert, die Ergebnisse also stabil werden. Dies kann nach wenigen Minuten (klassisches Machine Learning) oder Wochen/Monaten (Deep Learning auf sehr großen Datenmengen) der Fall sein.

Ein Korpus, das für das Training eines Modells eingesetzt wird.