Transformer-Grundlagen
Ein Transformer ist ein Deep-Learning-Modell, das den Mechanismus der Selbstaufmerksamkeit übernimmt und die Bedeutung jedes Teils der Eingabedaten unterschiedlich gewichtet. Es wird vor allem in den Bereichen Natural Language Processing (NLP)[1] und Computer Vision (CV) eingesetzt. [2]
Wie rekurrente neuronale Netze (RNNs) sind Transformatoren so konzipiert, dass sie sequenzielle Eingabedaten, wie z. B. natürliche Sprache, mit Anwendungen für Aufgaben wie Übersetzung und Textzusammenfassung verarbeiten können. Im Gegensatz zu RNNs verarbeiten Transformatoren jedoch den gesamten Eingang auf einmal. Der Aufmerksamkeitsmechanismus bietet Kontext für jede Position in der Eingabesequenz. Wenn es sich bei den Eingabedaten beispielsweise um einen Satz in natürlicher Sprache handelt, muss der Transformator nicht jeweils ein Wort verarbeiten. Dies ermöglicht eine stärkere Parallelisierung als RNNs und reduziert daher die Trainingszeiten. [1]
Transformer wurden 2017 von einem Team bei Google Brain[1] eingeführt und sind zunehmend das Modell der Wahl für NLP-Probleme,[3] indem sie RNN-Modelle wie das Long Short-Term Memory (LSTM) ersetzen. Die zusätzliche Trainingsparallelisierung ermöglicht das Training auf größeren Datasets. Dies führte zur Entwicklung von vortrainierten Systemen wie BERT (Bidirectional Encoder Representations from Transformers) und GPT (Generative Pre-trained Transformer), die mit großen Sprachdatensätzen wie dem Wikipedia Corpus und Common Crawl trainiert wurden und für bestimmte Aufgaben fein abgestimmt werden können. [4][5]
Wie rekurrente neuronale Netze (RNNs) sind Transformatoren so konzipiert, dass sie sequenzielle Eingabedaten, wie z. B. natürliche Sprache, mit Anwendungen für Aufgaben wie Übersetzung und Textzusammenfassung verarbeiten können. Im Gegensatz zu RNNs verarbeiten Transformatoren jedoch den gesamten Eingang auf einmal. Der Aufmerksamkeitsmechanismus bietet Kontext für jede Position in der Eingabesequenz. Wenn es sich bei den Eingabedaten beispielsweise um einen Satz in natürlicher Sprache handelt, muss der Transformator nicht jeweils ein Wort verarbeiten. Dies ermöglicht eine stärkere Parallelisierung als RNNs und reduziert daher die Trainingszeiten. [1]
Transformer wurden 2017 von einem Team bei Google Brain[1] eingeführt und sind zunehmend das Modell der Wahl für NLP-Probleme,[3] indem sie RNN-Modelle wie das Long Short-Term Memory (LSTM) ersetzen. Die zusätzliche Trainingsparallelisierung ermöglicht das Training auf größeren Datasets. Dies führte zur Entwicklung von vortrainierten Systemen wie BERT (Bidirectional Encoder Representations from Transformers) und GPT (Generative Pre-trained Transformer), die mit großen Sprachdatensätzen wie dem Wikipedia Corpus und Common Crawl trainiert wurden und für bestimmte Aufgaben fein abgestimmt werden können. [4][5]
