¿Cómo usar Foundation Models en Azure Machine Learning?

Durante los últimos años hemos visto como los avances en la inteligencia artificial y el Machine Learning han conseguido la aparición de grandes Foundations Models que se entrenan previamente con una gran cantidad de datos.  

Analizamos en qué consisten, sus ventajas al usarlos en Azure Machine Learning y cómo usarlos.  

¿Qué son los Foundation Models en Azure Machine Learning?

Los Foundation Models o modelos básicos sirven como punto de partida para desarrollar modelos especializados, los cuales se pueden adaptar fácilmente a múltiples aplicaciones en diferentes industrias. De hecho, estos modelos se han posicionado como una oportunidad única para que las empresas creen y los utilicen en sus cargas de trabajo de Deep Learning. 

Al utilizarlos en Azure Machine Learning se proporcionan funcionalidades nativas de Azure ML que permiten poner en funcionamiento estos modelos de código abierto a escala. Así se pueden integrar fácilmente en las aplicaciones de negocio, además de incluir capacidades como: 

• Descubrir: te permite revisar las descripciones del modelo, probar la inferencia de muestras y buscar ejemplos de código para evaluar, ajustar o implementar el modelo.  
• Evaluar: te permitirá comprobar si el modelo es adecuado para tu carga de trabajo específica proporcionando tus propios datos de prueba. Así se facilita la visualización del modelo seleccionado.  
• Ajuste afinado: te permite organizar tus trabajos de capacitación y encontrar el modelo que mejor se adapte a tus necesidades.  
• Implementar: podrás implementar modelos de base previamente entrenados o modelos ajustados en puntos finales online para inferencia en tiempo real o para procesar grandes conjuntos de datos.  
• Importación: podrás usar los modelos más recientes importando modelos similares a los del catálogo.  

Catálogo de modelos y colecciones

Se trata de un centro para encontrar Foundation Models en Azure Machine Learning y supone un punto de partida para explorar estos modelos. Podrás buscar y filtrar modelos según las tareas para los que están capacitados. Por ahora, solo hay modelos que trabajan con texto, pero también se han desplegado whishper que son capaces de trabajar con audio. 

Este catálogo tiene, por el momento, dos colecciones de modelos: Modelos de código abierto seleccionados por Azure Machine Learning (listo para su uso inmediato y optimizados, con soporte nativo y fácilmente migrables) y Modelos Transformers del centro HuggingFace (miles de modelos para inferencia en tiempo real con puntos finales online). 

Este último servicio, es el creador de la principal biblioteca de código abierto para crear modelos de ML de última generación. Permite implementar modelos de aprendizaje automático en un punto de conexión dedicado con la infraestructura de nivel empresarial de Azure. Permite elegir entre decenas de miles de modelos de ML para procesamiento de lenguaje natural, audio y visión artificial para acelerar la carga de trabajo. Además, agiliza la inferencia con una implementación sencilla y ayuda a mantener nuestros datos privados y seguros. 

¿Cómo usar los Foundations Models en Azure Machine Learning?

Como decíamos más arriba, los Foundation Models en Azure Machine Learning proporcionan funcionalidades nativas para descubrir, evaluar, ajustar, implementar y poner en funcionamiento estos modelos de código abierto.  

Para poder acceder a estos modelos, deberás entrar en Azure Machine Learning Studio, un centro para descubrir el catálogo de los modelos básicos. Ahí verás los modelos más populares, además de LLM de código abierto y más tareas que se incluirán próximamente.  

Tendrás la opción de filtrar por tarea o licencia para, a continuación, seleccionar un nombre de modelo específico, donde podrás leer una tarjeta en la que se describen los detalles del modelo: 

• Task: indica la tarea de inferencia para la que se puede utilizar este modelo previamente entrenado. 
• Finetuning-tasks: sirve para enumerar las tareas para las que se puede ajustar este modelo. 
• License: indica la información de la licencia. 

Podrás probar rápidamente cualquier modelo usando el widget de inferencia de muestra gracias a la tarjeta del modelo, la cual te dará tu propia entrada de ejemplo para probar el resultado.  

¿Cómo evaluar los Foundation Models utilizando tus propios datos de prueba?

Podrás evaluar un modelo comparándolo con el conjunto de tus datos de prueba de dos formas: mediante el asistente “Evaluate UI Wizard” o mediante ejemplos basados en código.  

En la evaluación mediante el Asistente de UI, cada modelo se puede evaluar para una tarea específica de inferencia: 

• Datos de prueba: Pasa los datos de prueba que quieras evaluar, ya sea cargando un archivo local o selecciona un conjunto de datos registrados en tu espacio de trabajo. Una vez que los hayas seleccionado, asigna las columnas de datos de entrada según el esquema que necesites para cada tarea.  

• Calcular: Proporciona al clúster de Azure ML qué te gustaría usar para ajustar el modelo (debe ejecutarse en el cálculo de la CPU y con suficiente cuota de cómputo). Selecciona “Finalizar” en el asistente de evaluación. Una vez completado el trabajo, podrás ver las métricas del modelo para, posteriormente, poder decidir si quieres ajustar el modelo utilizando tus propios datos de entrenamiento. 
• Parámetros de evaluación avanzada: Además de la evaluación básica, el asistente incluye varios parámetros de evaluación avanzada, los cuales incluyen valores predeterminados que se pueden personalizar a través de muestras basadas en código.  

¿Cómo ajustar los modelos con sus propios datos de entrenamiento?

Para mejorar el rendimiento del modelo en tu carga de trabajo, puedes hacer ajustes usando tus propios datos de entrenamiento de forma sencilla usando el asistente Finetune o mediante el uso de ejemplos basados en código vinculados desde la tarjeta del modelo.  

Cada modelo preentrenado del catálogo se puede ajustar para un conjunto específico de tareas, solo tienes que seleccionarla en el menú desplegable. Pasa los datos de entrenamiento cargando un archivo local o seleccionando un conjunto de datos de tu espacio de trabajo.  

A continuación, pasa los datos a validar seleccionando “División automática”. También pasa los datos de prueba que te quieras usar para evaluar el modelo ya ajustado. Se reservará una división automática de los datos de entrenamiento para la prueba. 

Después, proporciona el clúster del proceso que quieras ajustar, donde recomendamos usar SKU de cómputo con GPU A100/V100. Por último, selecciona “Finalizar” en el asistente para enviar tu trabajo de ajuste fino.  

Encontrarás varios parámetros de ajuste avanzado, como la tasa de aprendizaje, las épocas, el tamaño del lote, etc.  

Modelos Machine Learning

En Plain Concepts ayudamos a las empresas a gestionar sus proyectos de Machine Learning proporcionando orientación experta sobre IA y MLOps, incluida la evaluación de las capacidades actuales y la aplicación de prácticas estándar del sector para mantener un entorno de ML listo para la producción. 

Somos una de las primeras empresas en obtener la AI and Machine Learning on Microsoft Azure Advanced Specialization, por lo que podemos ayudarte en la implementación de soluciones para el ciclo de vida del aprendizaje automático y las aplicaciones impulsadas por IA.  

Si estás listo para comenzar o avanzar en tu proyecto, pero no sabes cómo, podemos ayudarte. Contacta con nosotros y nuestros expertos estudiarán tu caso para encontrar la forma de sacar el mayor partido a tu negocio.