# Environnements RL : des milliers de rollouts isolés

URL: https://munito.ai/fr/solutions/rl-environments

Donnez à chaque rollout d'apprentissage par renforcement sa propre machine, démarrée en une seconde et facturée à la seconde. Une exécution en a lancé 32 752 d'un coup.

## Des milliers de rollouts isolés, chacun démarré en une seconde environ

L'apprentissage par renforcement sur des tâches réelles demande un vrai environnement : une machine que la politique peut casser, réinitialiser et casser encore. Le difficile n'est jamais un environnement. C'est trente mille, pour pas cher, tout de suite.

Munito AI démarre une sandbox en une seconde environ et la facture à la seconde. Une exécution en a lancé **32 752 d'un coup**, par l'API publique, depuis Paris.

## Pourquoi une sandbox convient à un rollout

| Un rollout a besoin de | Une sandbox le lui donne |
| --- | --- |
| Isolement | Sa propre machine ; un rollout ne peut pas en atteindre un autre |
| Un démarrage rapide | Une seconde environ : l'environnement n'est pas le goulot |
| Une remise à zéro nette | Le jeter et en forker un nouveau depuis le même instantané |
| Un vrai shell | Commandes, fichiers, paquets, ports, un navigateur, un bureau |
| Un coût honnête | À la seconde, à partir de $0.0073 l'heure pour `tiny` |

Une sandbox `tiny` fait 1 vCPU et 128 Mio à $0.0073125 l'heure. Une `default` fait 2 vCPU et 4 Gio à $0.018. L'état sauvegardé coûte $0.0002 par Gio-heure, environ $0.15 par Gio-mois.

## Forker depuis un instantané, ne pas reconstruire

Construisez l'environnement une fois : le dépôt, les dépendances, les fixtures, le service avec lequel il parle. Mettez-le en pause. Puis forkez-le pour chaque rollout.

Un fork démarre avec tout l'arbre déjà en place : la politique commence à l'étape une au lieu d'attendre une installation. C'est la différence entre un lot de rollouts qui prend des minutes et un qui prend des heures. Voir [Persistance](https://docs.munito.ai/sandboxes/persistence).

## L'échelle est le produit

Démarrer une machine est facile. En démarrer trente mille, les garder isolées et les démonter sans laisser filer la dépense, voilà la partie difficile à construire et ennuyeuse à maintenir.

Le tableau de la [page Sandboxes](https://munito.ai/sandboxes) est exactement une exécution de ce genre : une sandbox par pixel du logotype, 32 752 d'un coup, comptées en direct.

Utilisez les [réseaux](https://docs.munito.ai/sandboxes/networks) pour décider ce qu'un rollout peut atteindre, ce qui pour une politique non fiable est en général rien.

## Noter les rollouts avec le même compte

Un modèle de récompense est un appel d'inférence. Faites tourner la politique sur des sandboxes, notez les transcriptions avec un modèle ouvert via la même clé, et gardez les deux dans la région choisie. Les sorties structurées font d'une note un champ plutôt qu'une phrase à analyser.

Les modèles ouverts comptent ici pour une deuxième raison : vous pouvez servir le modèle contre lequel vous entraînez, pas seulement celui qu'un fournisseur vend. Un [point d'entrée dédié](https://docs.munito.ai/dedicated-endpoints) fait tourner un modèle ouvert que le catalogue public ne liste pas.

## Ce que nous ne faisons pas

Nous n'entraînons pas. Il n'y a pas d'API de fine-tuning, pas d'entraîneur, pas de dépôt de points de contrôle. Nous exploitons les environnements et l'inférence ; la boucle d'apprentissage est la vôtre, les poids aussi.

S'il vous faut des GPU à l'heure pour entraîner, c'est un autre produit, et nous le dirons.

## Ce que demande une revue de sécurité

Les rollouts exécutent du code non fiable, c'est leur raison d'être. Chaque sandbox est isolée, la politique réseau est la vôtre, et rien ne persiste sans votre demande. L'inférence ne garde ni requêtes ni réponses par défaut, et n'entraîne rien avec ce que vous envoyez.

Toute la plateforme peut tourner dans votre propre compte cloud ou sur site. Voir [Entreprise](https://munito.ai/enterprise).

## Commencer

- [Lire le guide Sandboxes](https://docs.munito.ai/sandboxes)
- [Forker depuis un instantané](https://docs.munito.ai/sandboxes/persistence)
- [Contrôler ce qu'un rollout atteint](https://docs.munito.ai/sandboxes/networks)
- [Parler à un ingénieur](https://munito.ai/contact) de l'échelle et de la forme de votre boucle


## Questions fréquentes

### Quelles sont les limites de débit ?

Vos limites s'adaptent à votre usage. Un 429 signifie que votre trafic dépasse votre limite, et un 503 que le modèle n'a plus de capacité libre à cet instant. Chaque réponse porte vos limites du moment dans ses en-têtes.

### Où Munito AI traite-t-il mes requêtes ?

L'hôte UE traite chaque requête dans l'UE, l'hôte US aux États-Unis, et l'hôte global dans n'importe quelle région. Chaque réponse nomme sa région dans l'en-tête munito-region.

### Munito AI conserve-t-il mes prompts et mes sorties ?

Non, pas par défaut. L'absence de conservation est la règle : après la livraison, Munito AI supprime le contenu temporaire de la requête. Il ne garde un contenu que si la requête le demande, et alors 30 jours.

https://docs.munito.ai/faq