Lexikon

Artificial Intelligence steht für die Beschreibung der eingesetzten Technologien (siehe Machine Learning). Der Begriff “AI” ist vorrangig ein Marketing-Begriff. Die per Machine Learning erzeugten Modelle sind nicht tatsächlich “intelligent”, sondern lösen mit komplexen statistischen Berechnungen eng eingegrenzte Probleme.

Eine Annotation ist eine kurze Notiz oder ein Kommentar, der zu einem Text, einem Bild oder einem anderen Dokument hinzugefügt wird. In der Linguistik ist dies zumeist manuelles Herausarbeiten bestimmter Merkmale natürlicher Sprache in Texten. Beispiel: Bestimmung des Genders von Eigennamen, indem einzelne Namen in Texten mit Labels wie “weiblich”, “divers”, “neutral” etc. markiert werden. (mehr …)

Software zur automatischen Texterstellung wird immer häufiger eingesetzt, um Inhalte für Websites und andere Online-Anwendungen zu erstellen. Diese Software verwendet häufig eine Kombination aus maschinellem Lernen und linguistischen Algorithmen, um Texte zu erstellen, die einem bestimmten Muster oder einer Vorlage entsprechen. Dazu sind strukturierte Daten notwendig.

Das Gruppieren von Daten: Daten innerhalb einer Gruppe sollen dabei ähnlich zueinander sein, Daten in verschiedenen Gruppen sollen sich unterscheiden. Eine solche Gruppe nennt man Cluster. Beispiel: Eine Menge internationaler Fußballvereine kann man nach ihrer Zugehörigkeit zu einer nationalen Liga clustern.

Computerlinguistik ist die Schnittstelle zwischen Informatik und Sprachwissenschaft. Natürliche Sprachen (sowohl Text als auch Audio) sollen mit Hilfe von Computern verarbeitet werden, wie zum Beispiel die Spracherkennung und -synthese, maschinelle Übersetzung und Dialogsysteme.
Computerlinguistik ist somit ein interdisziplinäres Fachgebiet, das sich mit der Anwendung von Computertechnologie auf die Sprache beschäftigt.
Eines der wichtigsten Ziele der Computerlinguistik ist es, Computer zu befähigen, natürliche menschenähnliche Sprachverarbeitung zu leisten, was Verstehens- und Produktionsfähigkeiten umfasst. Dazu können sowohl Hardware wie Ein- und Ausgabedevices als auch Softwareprogramme benötigt werden. (mehr …)

Content-Marketing ist ein strategischer Ansatz zur Erstellung und Verbreitung von wertvollen und relevanten Inhalten, die Nutzer anziehen und binden sollen. Das Ziel ist es, neue Internetnutzer zu generieren und bestehende User zu halten. Damit ist Content Marketing ein Instrument zur Trafficsteigerung. Die Inhalte können in verschiedenen Formaten vorliegen, z.B. in Form von Blog-Artikeln auf der eigenen Webseite, in Videos, Podcasts oder Infografiken.

Ein Crawler ist ein Programm, das Daten von einer Internetseite extrahiert und diese in eine Datenbank schreibt.

Interaktive Visualisierung von Daten. Beispiel: Der Nutzer kann den Zeitraum der dargestellten Daten verändern oder in ein Diagramm zoomen, um etwas detaillierter zu betrachten.

Data-Mining bezeichnet das computergestützte Auswerten und Analysieren großer Datenmengen mit dem Ziel, neue Erkenntnisse zu gewinnen. Dabei werden automatisierte Verfahren zur Mustererkennung, Methoden aus dem Bereich der Künstlichen Intelligenz, der Statistik und der Datenanalyse eingesetzt. (mehr …)

Deep Learning (DL) ist ein Teilbereich der künstlichen Intelligenz und ein Verfahren des Machine Learning (ML), das auf künstlichen neuronalen Netzen basiert. Die Deep Learning-Algorithmen verwenden mehrere Schichten (daher der Name), um Informationen zu verarbeiten und zu analysieren. Dies kann für Aufgaben wie Bild- und Spracherkennung und die Verarbeitung natürlicher Sprache verwendet werden. Also für Vorgänge, die Menschen intuitiv erledigen und die nicht anhand von Formeln errechnet werden können. Die dafür nötige Komplexität wird durch ein digitales Schichten-Modell erzielt. Komplexe Lerneffekte – und davon ausgehend Entscheidungen – basieren beim DL auf der Verknüpfung vieler kleiner, einfacher Entscheidungen und Lerneffekte.
Deep Learning hat in sehr vielen Bereichen die Ergebnisse des Machine Learnings stark verbessert, es ist dafür allerdings auch deutlich ressourcenintensiver als ML-Methoden die nicht ‚deep‘ sind, also neuronale Netze mit nur einem Layer, oder andere Algorithmen die ganz ohne neuronale Netze auskommen. (mehr …)

Die Entitätenextraktion oder Entitätserkennung ist ein Prozess, bei dem bestimmte Informationen aus unstrukturierten oder halbstrukturierten digitalen Daten einzelne, eindeutig identifizierbare Entitäten wie Personen, Orte, Dinge, Begriffe usw. extrahiert und in einem maschinenlesbaren Format gespeichert werden. (mehr …)

Gängiges Modell (pretrained) zur Textgenerierung entwickelt von OpenAI. GPT-2 ist Open Source.

Weiterentwicklung von GPT-2 (siehe oben). Beide Modelle benutzen in etwa die gleiche Architektur, GPT-3 hat jedoch mehr Schichten (s. Neuronales Netz) und wurde mit mehr Daten trainiert.

Graphics Processing Unit / Grafikkarte. Grafikkarten bieten eine sehr hohe Rechenleistung und werden daher für das Training von Deep Learning Modellen eingesetzt.

Klassifikation ist die Organisation von Informationen, Objekten oder Personen in Gruppen oder Klassen anhand gemeinsamer Eigenschaften. Es ist ein Prozess, bei dem eine große Anzahl von Einzelinformationen strukturiert wird. (mehr …)

Eine Textsammlung, die in der Regel einen inhaltlichen oder strukturellen Zusammenhang hat. Ein Korpus kann beispielsweise aus Texten aus einer Quelle bestehen.

Künstliche Intelligenz bezeichnet in der Informatik ein Verfahren, das es ermöglicht, maschinelle Lernverfahren und Algorithmen einzusetzen, um komplexe Aufgaben zu lösen und der sich mit dem Versuch beschäftigt, Maschinen so zu programmieren, dass sie menschenähnliche Fähigkeiten erwerben können.

Machine Learning bezeichnet ein Verfahren, bei dem Computer selbstständig lernen, ohne dass sie dafür für jeden Anwendungsfall programmiert wurden. Es sind Technologien, bei denen Computerprogramme eine große Menge an Beispielen verarbeiten, aus ihnen Muster ableiten und diese auf neue Datenpunkte anwenden. Dabei wird aus den Beispielen ein statistisches Modell aufgebaut, zum Beispiel zum Aufbau von Sprache. Deep Learning ist eine Variante von Machine Learning. AI ist ein Buzzword für Machine Learning. (mehr …)

Vordefinierter Messwert zur Angabe von Qualität in Bezug auf ein bestimmtes Kriterium.

Die Abfolge aller Verfahren, die genutzt werden, um das Modell aufzubauen. Neuronale Netze werden in der Regel über die Anzahl und Funktion ihrer Schichten beschrieben. Ein Modell entsteht aus der Kombination aus Architektur und Korpus.

Ein statistisches Modell macht anhand erlernter Muster Vorhersagen über eingegebene Daten. Sprachmodelle zum Beispiel sagen das nächste Wort eines Eingabesatzes vorher. Ein Modell hat eine Architektur und muss zum Aufbau des statistischen Modells trainiert werden.

Morphologie bedeutet Formenlehre und ist ein Teilgebiet der Linguistik. Es handelt sich um die Wissenschaft von der Veränderung der Wortformen in einer Sprache. Wörter sind keine festen Gebilde und können sich in ihrer Form verändern. Je nach Kontext wird z. B. aus schreiben schreibst oder aus laufen läuft.

Das automatische Entdecken und Kennzeichnen von Eigennamen (Entitäten) in Texten. Beispiel: Mit Angela Merkel und Frau Merkel ist in zwei Sätzen die gleiche Person gemeint.

Natural Language Generation. Die Erzeugung von Text (natürlicher Sprache) mit Hilfe von Machine Learning.

Natural Language Processing beschäftigt sich mit der automatischen Verarbeitung natürlicher Sprache. Dabei werden Methoden der Computerlinguistik, der künstlichen Intelligenz und der Statistik angewendet, um Sprache zu erkennen, zu verstehen, zu interpretieren und zu generieren. Diese Erkenntnisse können dann genutzt werden, um zum Beispiel Texte zu übersetzen oder sinngemäß umzuschreiben.

Natural Language Understanding beschreibt die Fähigkeit von Maschinen, die natürliche Sprache zu verstehen. Dies umfasst sowohl das Lesen als auch das Schreiben von natürlicher Sprache und die Analyse von Bedeutung und Kontext.

Künstliche Neuronale Netze sind Modelle für künstliche Intelligenz, die dem menschlichen Gehirn nachempfunden sind. Sie bestehen aus einer Reihe von Verarbeitungseinheiten, die miteinander verbunden sind.
Ein künstliches neuronales Netz besteht aus Schichten von miteinander vernetzten Einheiten (Neuronen), die unter bestimmten Bedingungen Informationen aneinander weitergeben. Jede Einheit verarbeitet ein bestimmtes Signal und leitet es an die nächste Einheit weiter. Das Netzwerk lernt, indem es Signale verarbeitet und die Verbindungen zwischen den Einheiten anpasst.Beim Deep Learning gibt es in der Regel viele solcher Schichten mit je sehr vielen Neuronen, was das Training sehr rechenintensiv macht. (mehr …)

Die Normalisierung von Texten beschreibt die Vereinheitlichung von Textstruktur und Interpunktion. Beispielsweise werden alle Anführungszeichen und Gedankenstriche auf je ein Zeichen normalisiert, ebenso Abschnittsmarker wie Linien oder Marker für Kapitelüberschriften.

In der Informatik wird Ontologie als Formalisierung eines Wissensgebiets bezeichnet, um komplexe Sachverhalte in einer maschinenlesbaren Form zu beschreiben. Dabei wird eine bestimmte Struktur von Objekten und ihren Beziehungen festgelegt, so dass eine Computersoftware diese verarbeiten kann. Ontologien werden in der Informatik vor allem für semantische Verfahren eingesetzt. Hierbei wird versucht, mit Hilfe von maschinellen Lernverfahren aus einem unstrukturierten Datenbestand Wissen zu extrahieren und zu modellieren. Auf diese Weise können dann beispielsweise auch komplexe Anfragen an einen Datenbestand gestellt werden.

Bevor ein Korpus für das Training der AI übergeben werden kann, müssen einige Vorverarbeitungsschritte ausgeführt werden. Unerwünschte Inhalte zum Beispiel werden entfernt, Normalisierungen ausgeführt und die Texte an Modellspezifika angepasst. Wenn ein Modell im Pretraining zum Beispiel nur eine Art Anführungszeichen kennengelernt hat, sollten diese Anführungszeichen im Trainingskorpus für das Finetuning die gleichen sein, damit sie sofort richtig erkannt werden.

Das initiale Training eines Modells. Beim Pretraining werden sehr große Datenmengen übergeben, um ein robustes statistisches Modell von Sprache und Wissen aufzubauen.

Ein Modell, das basierend auf dem Nutzerverhalten ähnlicher User weitere Objekte vorschlägt. Beispiel: „Nutzer, die diesen Artikel angesehen haben, haben auch folgende andere Artikel gelesen…“

Roboterjournalismus ist eine Form des Journalismus, bei der computergesteuerte Programme verwendet werden, um journalistische Inhalte zu erstellen. Diese Inhalte können Nachrichtenberichte, sportliche Ergebnisse, Wetterberichte, Finanzberichte, Börsenberichte und andere Formen des Journalismus umfassen.

Sprachmodelle gibt es für alle Bereiche der Computerlinguistik. Neben der Textgenerierung sind dies zum Beispiel Spracherkennung, Erkennung von Handschriften, Informationserkennung und -extraktion.

Die folgenden Arten von Sprachmodellen werden von Ella verwendet:

Sequenz-zu-Sequenz-Sprachmodell: Dies ist ein Modell, das in der natürlichen Sprachverarbeitung (NLP) verwendet wird, bei dem sowohl die Eingabe als auch die Ausgabe eine Sequenz von Wörtern oder Token ist. Es wird üblicherweise für Aufgaben wie die maschinelle Übersetzung verwendet, bei der das Modell eine Sequenz in einer Sprache aufnimmt und eine Sequenz in einer anderen Sprache erzeugt.

BERT-Variante des Sprachmodells: BERT steht für „Bidirectional Encoder Representations from Transformers“. Ein BERT-variantes Sprachmodell basiert auf der BERT-Architektur, kann aber einige Änderungen oder Erweiterungen aufweisen, z. B. andere Trainingsdaten, Modellgröße oder nachgelagerte Feinabstimmung der Aufgaben.

Großes Sprachmodell (LLM): Dies ist ein auf einem neuronalen Netz basierendes Sprachmodell, das darauf ausgelegt ist, menschliche Sprache zu verstehen und zu produzieren. „Groß“ bedeutet, dass das Modell eine große Anzahl von Parametern (Gewichte und Verbindungen) in seiner Architektur hat. Diese Modelle sind in der Lage, ein breites Spektrum von NLP-Aufgaben zu erfüllen, und erfordern oft erhebliche Rechenressourcen für Training und Inferenz.

Suchmaschinenmarketing (SEM – Search Engine Marketing) ist eine der wichtigsten Gattungen im Online-Marketing. Es kann unterteilt werden in Suchmaschinen-Advertising (SEA). Hier bezahlen Werbekunden dafür, dass die eigene Webseite oberhalb anderer Webseiten gelistet wird. Diese bezahlte Werbung wird z.B. auf Google in speziellen Bereichen auf der Suchergebnisseite (SERP – Search Engine Result Page) angezeigt und als solche gekennzeichnet. Eine andere Methode ist die Suchmaschinenoptimierung (SEO oder Search Engine Optimization). Hier wird versucht, die eigene Internetpräsenz in den organischen Suchergebnissen möglichst weit oben angezeigt zu bekommen.

Unter Text-Mining wird Data-Mining speziell für geschriebene Daten in natürlicher Sprache verstanden. Der Text Mining Prozess beinhaltet die Verwendung von Algorithmen und Methoden, um aus unstrukturierten oder halb strukturierten Textdaten wertvolle Informationen zu extrahieren, neue Muster zu erkennen, bestehende Muster zu bestätigen oder Vorhersagen zu treffen. Die gewonnenen Erkenntnisse können in vielen Bereichen, wie der Wissenschaft, dem Marketing, dem Kundenservice oder der Finanzwelt, eingesetzt werden.

Text Spinning oder Article Spinning ist eine Technik, die darauf abzielt, einen Text so zu verändern, dass er für eine bestimmte Zielgruppe ansprechender wird. Dabei werden Wörter ersetzt, Satzstrukturen verändert und neue Wörter eingefügt. Der eigentliche Inhalt des Textes bleibt dabei unverändert. Relevant ist dies zum Beispiel für die Erstellung neuer Texte für das Suchmaschinenmarketing (SEM), speziell für die Suchmaschinen-Optimierung (SEO oder Search Engine Marketing).

Beim Training lernt ein Modell aus Beispielen. Anhand der Beispiele versucht das Modell, ein Ergebnis vorherzusagen (beispielsweise einen Lückentext korrekt zu füllen) und gleicht am Ende jedes Zyklus seine Ergebnisse mit den echten Werten ab. Wenn das Ergebnis falsch ist, wird das zugrunde liegende statistische Modell angepasst und ein neuer Versuch gestartet. In der Regel läuft ein Training so lange, bis sich das statistische Modell kaum mehr ändert, die Ergebnisse also stabil werden. Dies kann nach wenigen Minuten (klassisches Machine Learning) oder Wochen/Monaten (Deep Learning auf sehr großen Datenmengen) der Fall sein.

Ein Korpus, das für das Training eines Modells eingesetzt wird.

S. Preprocessing