Des milliers de rollouts isolés, chacun démarré en une seconde environ
L'apprentissage par renforcement sur des tâches réelles demande un vrai environnement : une machine que la politique peut casser, réinitialiser et casser encore. Le difficile n'est jamais un environnement. C'est trente mille, pour pas cher, tout de suite.
Munito AI démarre une sandbox en une seconde environ et la facture à la seconde. Une exécution en a lancé 32 752 d'un coup, par l'API publique, depuis Paris.
Pourquoi une sandbox convient à un rollout
| Un rollout a besoin de | Une sandbox le lui donne |
|---|---|
| Isolement | Sa propre machine ; un rollout ne peut pas en atteindre un autre |
| Un démarrage rapide | Une seconde environ : l'environnement n'est pas le goulot |
| Une remise à zéro nette | Le jeter et en forker un nouveau depuis le même instantané |
| Un vrai shell | Commandes, fichiers, paquets, ports, un navigateur, un bureau |
| Un coût honnête | À la seconde, à partir de $0.0073 l'heure pour tiny |
Une sandbox tiny fait 1 vCPU et 128 Mio à $0.0073125 l'heure. Une default fait 2 vCPU et 4 Gio à $0.018. L'état sauvegardé coûte $0.0002 par Gio-heure, environ $0.15 par Gio-mois.
Forker depuis un instantané, ne pas reconstruire
Construisez l'environnement une fois : le dépôt, les dépendances, les fixtures, le service avec lequel il parle. Mettez-le en pause. Puis forkez-le pour chaque rollout.
Un fork démarre avec tout l'arbre déjà en place : la politique commence à l'étape une au lieu d'attendre une installation. C'est la différence entre un lot de rollouts qui prend des minutes et un qui prend des heures. Voir Persistance.
L'échelle est le produit
Démarrer une machine est facile. En démarrer trente mille, les garder isolées et les démonter sans laisser filer la dépense, voilà la partie difficile à construire et ennuyeuse à maintenir.
Le tableau de la page Sandboxes est exactement une exécution de ce genre : une sandbox par pixel du logotype, 32 752 d'un coup, comptées en direct.
Utilisez les réseaux pour décider ce qu'un rollout peut atteindre, ce qui pour une politique non fiable est en général rien.
Noter les rollouts avec le même compte
Un modèle de récompense est un appel d'inférence. Faites tourner la politique sur des sandboxes, notez les transcriptions avec un modèle ouvert via la même clé, et gardez les deux dans la région choisie. Les sorties structurées font d'une note un champ plutôt qu'une phrase à analyser.
Les modèles ouverts comptent ici pour une deuxième raison : vous pouvez servir le modèle contre lequel vous entraînez, pas seulement celui qu'un fournisseur vend. Un point d'entrée dédié fait tourner un modèle ouvert que le catalogue public ne liste pas.
Ce que nous ne faisons pas
Nous n'entraînons pas. Il n'y a pas d'API de fine-tuning, pas d'entraîneur, pas de dépôt de points de contrôle. Nous exploitons les environnements et l'inférence ; la boucle d'apprentissage est la vôtre, les poids aussi.
S'il vous faut des GPU à l'heure pour entraîner, c'est un autre produit, et nous le dirons.
Ce que demande une revue de sécurité
Les rollouts exécutent du code non fiable, c'est leur raison d'être. Chaque sandbox est isolée, la politique réseau est la vôtre, et rien ne persiste sans votre demande. L'inférence ne garde ni requêtes ni réponses par défaut, et n'entraîne rien avec ce que vous envoyez.
Toute la plateforme peut tourner dans votre propre compte cloud ou sur site. Voir Entreprise.
Commencer
- Lire le guide Sandboxes
- Forker depuis un instantané
- Contrôler ce qu'un rollout atteint
- Parler à un ingénieur de l'échelle et de la forme de votre boucle