Passer au contenu principal
Utilisez Serverless SFT pour effectuer le fine-tuning de LLM avec un apprentissage supervisé sur des jeux de données sélectionnés. Serverless SFT est désormais disponible en préversion publique. W&B fournit pour vous l’infrastructure d’entraînement (sur CoreWeave) tout en vous laissant une flexibilité totale dans la configuration de votre environnement. Vous bénéficiez d’un accès immédiat à un cluster d’entraînement géré, avec mise à l’échelle automatique, pour prendre en charge vos charges de travail d’entraînement. Serverless SFT est idéal pour des tâches telles que :
  • Distillation : transférer les connaissances d’un modèle plus grand et plus performant vers un modèle plus petit et plus rapide
  • Apprentissage du style et du format de sortie : entraîner un modèle à respecter des formats de réponse, un ton ou une structure spécifiques
  • Amorçage avant le RL : préentraîner un modèle avec des exemples supervisés avant d’appliquer l’apprentissage par renforcement pour l’affiner davantage
Serverless SFT entraîne des adaptateurs de bas rang (LoRA) pour spécialiser un modèle pour votre tâche. W&B stocke automatiquement les LoRA que vous entraînez comme artefacts dans votre compte. Vous pouvez également les enregistrer localement ou sur un service tiers à des fins de sauvegarde. Serverless Inference héberge aussi automatiquement les modèles que vous entraînez via Serverless SFT. Voir la documentation ART sur Serverless SFT pour bien démarrer.

​
Pourquoi Serverless SFT ?

Le fine-tuning supervisé (SFT) est une technique d’entraînement dans laquelle un modèle apprend à partir d’exemples d’entrée-sortie sélectionnés. Serverless SFT sur W&B offre les avantages suivants :
  • Coûts d’entraînement réduits : en mutualisant l’infrastructure entre de nombreux utilisateurs, en évitant le processus de configuration pour chaque tâche et en ramenant vos coûts GPU à 0 lorsque vous n’êtes pas activement en entraînement, Serverless SFT réduit considérablement les coûts d’entraînement.
  • Entraînement plus rapide : en provisionnant immédiatement l’infrastructure d’entraînement lorsque vous en avez besoin, Serverless SFT accélère vos tâches d’entraînement et vous permet d’itérer plus rapidement.
  • Déploiement automatique : Serverless SFT déploie automatiquement chaque point de contrôle que vous entraînez. Vous n’avez donc pas besoin de configurer manuellement une infrastructure d’hébergement. Vous pouvez accéder immédiatement aux modèles entraînés et les tester dans des environnements locaux, de préproduction ou de production.

​
Comment Serverless SFT utilise les services W&B

Serverless SFT utilise une combinaison des composants W&B suivants pour fonctionner :
  • Inference : Pour exécuter vos modèles
  • Models : Pour suivre les métriques de performances pendant l’entraînement de l’adaptateur LoRA
  • Artifacts : Pour stocker et versionner les adaptateurs LoRA
  • Weave (facultatif) : Pour bénéficier d’une meilleure observabilité de la façon dont le modèle répond à chaque étape de la boucle d’entraînement
Serverless SFT est en préversion publique. Pendant cette période, W&B vous facture uniquement l’utilisation d’Inference et le stockage des artefacts. W&B ne facture pas l’entraînement des adaptateurs pendant la période de préversion.