Trossen Rivet et Workbench : une chaîne de données unifiée pour passer de la démonstration au robot réel


En robotique, la transition entre la démonstration humaine (quand un opérateur guide le robot), l’entraînement des modèles (via imitation ou renforcement) et le déploiement sur le matériel final est souvent un casse-tête. Chaque étape nécessite généralement une reconfiguration des capteurs, des contrôleurs ou des pipelines de données, ce qui introduit des biais, des pertes de synchronisation ou des artefacts de calibration.
Trossen Robotics contourne ce problème avec Rivet et Workbench, deux plateformes qui partagent la même chaîne de données intégrée : depuis la capture de l’intention de l’opérateur jusqu’à l’exécution autonome sur le robot, en passant par l’entraînement des politiques. L’idée est simple : ne pas réinventer la roue à chaque étape.
Les deux systèmes reposent sur des bras WidowX Pro 6-DoF (6 degrés de liberté), mais diffèrent par leur mobilité :
Les deux plateformes intègrent un module NVIDIA Jetson AGX Orin (64 Go de RAM), qui sert de cerveau central pour l’acquisition des données, l’entraînement et l’exécution des politiques. Ce choix de matériel permet de gérer simultanément la capture vidéo haute résolution, le calcul de profondeur en temps réel et l’inférence des modèles, sans externaliser une partie du traitement.
Le cœur de l’approche de Trossen réside dans son SDK open-source, qui standardise la capture des données et leur conversion pour les frameworks d’entraînement. Voici comment cela fonctionne :
1. Capture de l’intention : L’opérateur téléopère le robot via un système leader-follower (Glide) ou une capture manuelle (Cockpit). Les mouvements sont enregistrés avec une précision de 1 mm (pour la répétabilité) et une synchronisation temporelle stricte entre les flux vidéo et les états des articulations.
2. Enregistrement des épisodes : Le SDK capture joint states (positions des articulations), streams vidéo (via les caméras) et événements de tâche (ex : "l’objet a été saisi") dans un format structuré. Ces données sont enregistrées au format MCAP, compatible avec des outils comme Foxglove pour l’inspection.
3. Conversion et entraînement : Le SDK inclut des chemins de conversion vers des frameworks populaires comme LeRobot (développé par Hugging Face) ou ROS 2. L’idée est de permettre aux équipes de réutiliser leurs outils existants sans réécrire des pipelines de données.
4. Déploiement sur le même matériel : Une fois le modèle entraîné, il est déployé directement sur le Jetson AGX Orin du robot, sans nécessiter de reconfiguration matérielle ou logicielle. Même si le robot passe d’une configuration fixe (Workbench) à mobile (Rivet), la pile de données reste identique.
Pour alimenter les modèles de manipulation, Trossen a intégré des caméras Stereolabs ZED X Mini et ZED X Nano dans ses plateformes. Ces capteurs apportent une vision stéréo haute fidélité avec les caractéristiques suivantes :
Ces caméras sont précalibrées en usine et synchronisées entre elles, éliminant les problèmes de décalage temporel ou de calibration manuelle. Leur intégration directe dans le pipeline de données permet d’enregistrer des épisodes avec des RGB + profondeur synchronisés, prêts à être utilisés pour l’apprentissage par imitation ou le renforcement.
Trossen positionne Rivet et Workbench comme des outils pour réduire le temps de mise sur le marché des solutions de robotique physique. En standardisant la chaîne de données, les équipes peuvent :
Le SDK inclut également des workflows préconfigurés et des exemples d’entraînement, ce qui permet aux équipes de démarrer rapidement. Par exemple, un utilisateur peut capturer une démonstration de saisie d’un objet, entraîner un modèle avec LeRobot, puis déployer ce modèle sur Workbench ou Rivet sans modifier une ligne de code.
Avant ces plateformes, les équipes devaient souvent construire leurs propres rigs à partir de bras robotiques et de caméras USB, avec des pipelines de données artisanaux. Résultat : des jeux de données de faible résolution, des problèmes de synchronisation, ou des modèles qui ne fonctionnaient que dans des conditions très spécifiques.
Avec Rivet et Workbench, Trossen propose une solution clé en main où la chaîne de données est cohérente du début à la fin. Cela ouvre la voie à des modèles plus généralisables, capables de s’adapter à des environnements variables, et à une réduction des coûts de développement pour les applications industrielles.
Note de Hype-mètre : 3/5 (Innovation technique majeure pour la robotique physique, mais déploiement commercial encore limité aux prototypes et pilotes).