HiPHI : le jeu de données qui veut accélérer l’apprentissage des humanoïdes grâce à 600 heures de mouvements humains ultra-précis

Un pont entre le virtuel et le réel

Pour qu’un humanoïde exécute une tâche — soulever une boîte, marcher sur un sol irrégulier ou ouvrir une porte — il faut d’abord lui fournir des références de mouvement suffisamment riches et précises. Or, les données disponibles jusqu’ici présentaient deux écueils majeurs :

HiPHI comble ce fossé en combinant l’échelle d’Internet (617,5 heures de données) et la précision du laboratoire (suivi sub-millimétrique à 90 Hz). Le résultat ? Un dataset où chaque mouvement est annoté avec sa sémantique (Frame-LU, inspiré de FrameNet) et synchronisé avec les trajectoires des objets manipulés (boîtes, valises, etc.).

Comment HiPHI est-il structuré ?

Le dataset se découpe en deux sous-ensembles principaux :

1. Mouvements corporels purs (371,8 h) :

2. Interactions humain-objet (245,7 h) :

Exemple concret : Si un performer soulève une valise, HiPHI enregistre non seulement la position de sa main, mais aussi la trajectoire de la valise et son modèle 3D, ce qui permet à un humanoïde de reproduire le mouvement sans avoir à estimer ces données en temps réel.

Pourquoi ce dataset est-il révolutionnaire ?

1. Une couverture du mouvement humain sans précédent

Les auteurs comparent HiPHI à d’autres datasets de motion capture (AMASS, LAFAN1, Motion-X++) sur plusieurs critères :

Source : [arxiv.org/html/2608.16222](https://arxiv.org/html/2608.16222)

2. Un pipeline prêt pour le sim-to-real

Pour valider l’utilité de HiPHI, les chercheurs ont entraîné des politiques de contrôle sur un Unitree G1 (humanoïde à 20 articulations) en utilisant le même pipeline pour tous les datasets comparés :

Résultats : Les politiques entraînées sur HiPHI surpassent celles des autres datasets en stabilité et réalisme physique, même avec des contraintes d’actionnement réelles (bruits de capteurs, limites mécaniques).

Source : [huggingface.co/datasets/noitomrobotics/HiPHI](https://huggingface.co/datasets/noitomrobotics/HiPHI)

3. Des comportements physiquement exécutables

Les démonstrations montrent que les politiques entraînées sur HiPHI permettent au Unitree G1 de réaliser des tâches complexes en conditions réelles :

Vidéo de démonstration : Lien vers la vidéo officielle (supplementary material) (voir Figure 8).

Comment l’utiliser ?

HiPHI est gratuit pour la recherche sous licence ModalityNet Open Research, avec une option de licence commerciale via modalitynet.com. Voici comment l’exploiter :

1. Téléchargement :

   git lfs install
   git clone https://huggingface.co/datasets/noitomrobotics/HiPHI

Le dataset pèse ~1,2 To (compressé) et nécessite un stockage SSD pour un accès fluide.

2. Prétraitement :

3. Entraînement :

     def reward_tracking(state, action, reference_trajectory):
         # Calcul de l'erreur de suivi (position + orientation des end-effectors)
         pos_error = mse(state['endeffector_pos'], reference_trajectory['endeffector_pos'])
         ori_error = angular_distance(state['endeffector_ori'], reference_trajectory['endeffector_ori'])
         return - (pos_error + 0.1 * ori_error)  # Pondération pour privilégier la position

4. Évaluation :

Limites et perspectives

En résumé : un game-changer pour la robotique humanoïde ?

HiPHI n’est pas qu’un simple jeu de données : c’est une infrastructure de référence pour entraîner des humanoïdes à des tâches physiques complexes. En combinant précision sub-millimétrique, couverture sémantique et synchronisation objet, il offre une base solide pour :

Pour les chercheurs et ingénieurs en robotique, c’est une opportunité unique de travailler avec des données validées en conditions réelles — et pour les humanoïdes, un pas de plus vers des comportements dignes de la science-fiction.

🔗 Ressources

Crédit image : Figure 8 du papier de recherche (Noitom Robotics), montrant le Unitree G1 exécutant des tâches entraînées avec HiPHI.