Wie verwendet man Foundation Models in Azure Machine Learning?

In den letzten Jahren haben wir gesehen, wie Fortschritte in der künstlichen Intelligenz und im maschinellen Lernen zur Entstehung großer Grundlagenmodelle geführt haben, die auf einer großen Menge von Daten vortrainiert sind.

Wir schauen uns an, was sie sind, welche Vorteile sie bei der Verwendung in Azure Machine Learning haben und wie man sie einsetzt.

Was sind Foundation Models in Azure Machine Learning?

Foundation Models dienen als Ausgangspunkt für die Entwicklung spezialisierter Modelle, die einfach an verschiedene Anwendungen in unterschiedlichen Branchen angepasst werden können. In der Tat haben sich diese Modelle als einzigartige Möglichkeit für Unternehmen positioniert, um sie zu erstellen und in ihren Deep Learning-Workloads zu verwenden.

Die Verwendung in Azure Machine Learning bietet native Azure ML-Funktionalität, mit der diese Open-Source-Modelle in großem Umfang ausgeführt werden können. Sie können dann leicht in Geschäftsanwendungen integriert werden und bieten Funktionen wie:

• Discover: Ermöglicht die Überprüfung von Modellbeschreibungen, das Testen von Beispielinferenzen und die Suche nach Codebeispielen zur Bewertung, Anpassung oder Implementierung des Modells.
• Evaluate: ermöglicht es Ihnen zu überprüfen, ob das Modell für Ihre spezifische Arbeitslast geeignet ist, indem Sie Ihre eigenen Testdaten bereitstellen. Dies erleichtert die Visualisierung des ausgewählten Modells.
• Tuned fit: ermöglicht es Ihnen, Ihre Trainingsarbeit zu organisieren und das Modell zu finden, das Ihren Anforderungen am besten entspricht.
• Implement: Sie können vortrainierte Basismodelle oder angepasste Modelle auf Online-Endpunkten für Echtzeit-Inferenz oder für die Verarbeitung großer Datensätze implementieren.
• Import: Sie können die neuesten Modelle verwenden, indem Sie ähnliche Modelle wie im Katalog importieren.

Katalog der Modelle und Sammlungen

Dies ist ein Zentrum zum Auffinden Grundlage Modellein Azure MachineLearning und sind ein Ausgangspunkt für die Erkundung dieser Modelle. Sie können die Modelle nach den Aufgaben, für die sie geeignet sind, suchen und filtern. Zur Zeit gibt es nur Modelle, die mit Text arbeiten, aber es wurden auch Flüsterer eingesetzt, die mit Audio arbeiten können.

Dieser Katalog enthält derzeit zwei Sammlungen von Modellen: Open-Source-Modelle, ausgewählt von Azure MachineLearning (sofort einsatzbereit und optimiert, nativ unterstützt und leicht migrierbar) und ModelleTransformatoren aus dem ZentrumZentrumHuggingFace (Tausende von Modellen für Echtzeit-Inferenz mit Online-Endpunkten). .

Der letztgenannte Dienst ist der Schöpfer der führenden Open-Source-Bibliothek für die Erstellung moderner ML-Modelle. Er ermöglicht es Ihnen, Modelle für maschinelles Lernen über einen dedizierten Verbindungspunkt mit der Azure-Infrastruktur für Unternehmen bereitzustellen. Sie können aus zehntausenden von ML-Modellen für die Verarbeitung natürlicher Sprache, Audio und maschinelles Sehen wählen, um Ihre Arbeitslast zu beschleunigen. Außerdem wird die Inferenz durch eine einfache Bereitstellung rationalisiert, und unsere Daten bleiben privat und sicher.

Wie verwendet man Foundations Models in Azure Machine Learning

?
Wie bereits erwähnt, bieten die Foundation-Modelle in Azure Machine Learning native Funktionen, um diese Open-Source-Modelle zu entdecken, zu bewerten, abzustimmen, bereitzustellen und auszuführen.

Um auf diese Modelle zuzugreifen, müssen Sie zu Azure Machine Learning Studio gehen, einem Hub, um den Katalog der Basismodelle zu entdecken. Dort finden Sie die beliebtesten Modelle sowie Open-Source-LLM und weitere Aufgaben, die in Kürze folgen werden.

Sie haben die Möglichkeit, nach Aufgabe oder Lizenz zu filtern und dann einen bestimmten Modellnamen auszuwählen, wo Sie eine Karte mit einer Beschreibung der Modelldetails lesen können:

• Task: gibt die Inferenzaufgabe an, für die dieses vortrainierte Modell verwendet werden kann.
• Finetuning-Aufgaben: dient zur Auflistung der Aufgaben, für die dieses Modell angepasst werden kann.
• Lizenz: gibt Lizenzinformationen an.

Mit dem Beispiel-Inferenz-Widget können Sie dank der Modellkarte, die Ihnen Ihre eigene Beispieleingabe zum Testen des Ergebnisses liefert, jedes Modell schnell testen.

Wie kann man Foundation Models mit eigenen Testdaten auswerten

?
Sie können ein Modell auf zwei Arten anhand Ihres Testdatensatzes bewerten: mit dem „Evaluate UI Wizard“oder anhand von codebasierten Beispielen.

Bei der Auswertung mit dem UI-Wizard kann jedes Modell für eine bestimmte Inferenzaufgabe ausgewertet werden:

• Testdaten: Geben Sie die Testdaten ein, die Sie auswerten möchten, indem Sie entweder eine lokale Datei hochladen oder einen in Ihrem Arbeitsbereich registrierten Datensatz auswählen. Nach der Auswahl weisen Sie die Spalten der Eingabedaten entsprechend dem Schema zu, das Sie für jede Aufgabe benötigen.

• Calculate: Geben Sie dem Azure ML-Cluster an, was Sie für die Anpassung des Modells verwenden möchten (muss auf CPU-Rechenleistung und mit ausreichender Rechenquote laufen). Wählen Sie im Bewertungsassistenten „Fertigstellen“. Sobald die Arbeit abgeschlossen ist, können Sie die Modellmetriken einsehen und dann entscheiden, ob Sie das Modell mit Ihren eigenen Trainingsdaten anpassen möchten.
• Erweiterte Auswertungsparameter: Zusätzlich zur grundlegenden Auswertung enthält der Assistent mehrere erweiterte Auswertungsparameter, die Standardwerte enthalten, die durch codebasierte Beispiele angepasst werden können.

Wie man Modelle mit eigenen Trainingsdaten anpasst

?
Um die Leistung des Modells in Ihrer Arbeitsumgebung zu verbessern, können Sie Anpassungen mit Ihren eigenen Trainingsdaten vornehmen, indem Sie den Finetune-Assistenten verwenden oder auf Code basierende Beispiele nutzen, die mit der Modellkarte verknüpft sind.

Jedes Pre-Training-Modell im Katalog kann für einen bestimmten Aufgabensatz angepasst werden, wählen Sie ihn einfach aus dem Dropdown-Menü aus. Übergeben Sie die Trainingsdaten, indem Sie eine lokale Datei hochladen oder einen Datensatz aus Ihrem Arbeitsbereich auswählen.

Als Nächstes übergeben Sie die zu prüfenden Daten, indem Sie „Auto-split“ auswählen. Geben Sie auch alle Testdaten ein, die Sie zur Bewertung des bereits angepassten Modells verwenden möchten. Ein automatischer Split der Trainingsdaten wird für die Tests reserviert.

Geben Sie dann den Cluster des Prozesses an, den Sie feinabstimmen möchten, wobei wir die Verwendung von A100/V100 GPU-Compute-SKUs empfehlen. Wählen Sie abschließend im Assistenten „Fertigstellen“, um Ihren Feinabstimmungsauftrag zu übermitteln.

Sie finden hier mehrere erweiterte Anpassungsparameter, wie Lernrate, Epochen, Batchgröße usw.

Maschinelle Lernmodelle

Wir von Plain Concepts helfen Unternehmen bei der Verwaltung ihrer Machine Learning-Projekte, indem wir fachliche Beratung zu KI und MLOps, einschließlich der Bewertung aktueller Fähigkeiten und der Anwendung von Industriestandard-Praktiken zur Aufrechterhaltung einer produktionsbereiten ML-Umgebung.

Wir sind eines der ersten Unternehmen, das die AI and Machine Learning on Microsoft Azure Advanced Specialization erhalten hat, so dass wir Ihnen bei der Implementierung von Lösungen für den Lebenszyklus von maschinellem Lernen und AI-gesteuerten Anwendungen helfen können.

Wenn Sie bereit sind, mit Ihrem Projekt zu beginnen oder es voranzutreiben, aber nicht wissen, wie, können wir Ihnen helfen. Nehmen Sie Kontakt mit uns auf, und unsere Experten werden Ihren Fall untersuchen, um den besten Weg zu finden, das Beste aus Ihrem Unternehmen herauszuholen.