Zbiór danych ruchu humanoidów HiPHI kwestionuje podejście video-first do uczenia robotów
HiPHI udostępniło zbiór danych zawierający 617,5 godziny ruchu humanoidów, który podważa kluczowe założenie w uczeniu robotów: większa ilość wideo nie oznacza automatycznie lepszych danych do treningu fizycznego. Publikacja łączy precyzyjny ruch całego ciała ze śledzonymi obiektami, etykietami semantycznymi i testami na fizycznym humanoidzie. Jej założenie jest takie, że roboty potrzebują zmierzonych stanów fizycznych, a nie tylko ogromnych zbiorów obserwacji wizualnych.
Argument ten sytuuje zbiór danych ruchu humanoidów HiPHI pomiędzy dwoma ugruntowanymi podejściami. Wideo z internetu oferuje wyjątkową różnorodność zachowań, lecz nie zapewnia wiarygodnych stanów stawów, kontaktów ani obiektów. Laboratoryjny motion capture dostarcza takich stanów, jednak wiele istniejących zbiorów obejmuje mniej zachowań lub pomija zsynchronizowane obiekty.
HiPHI próbuje wypełnić tę lukę poprzez ustrukturyzowane zbieranie danych, a nie wyłącznie większą ich objętość. Badacze wykorzystali FrameNet, językowy system organizowania znaczeń zdarzeń, aby zdefiniować rodziny ruchów i generować ich warianty. Następnie trenowali na tych danych polityki uczenia ze wzmocnieniem i przenieśli wybrane zachowania na robota Unitree G1.
Zbiór danych ruchu humanoidów HiPHI rozszerza bazę treningową
HiPHI zmienia dostępną bazę treningową, łącząc w jednej publicznej publikacji badawczej skalę, fizyczną precyzję i ruch uwzględniający obiekty.
Projekt zgłoszono do arXiv 17 sierpnia 2026 roku, a następnie zrewidowano 8 września. Według jego rekordu badawczego artykuł został przyjęty na Conference on Robot Learning 2026.
Udostępniony zbiór danych zawiera 617,5 godziny ruchu i około 200,1 mln klatek. Badacze rejestrowali materiał źródłowy z częstotliwością 90 herców, wykorzystując optyczny system motion capture i 132 wykonawców. Zespół deklaruje dokładność śledzenia markerów poniżej jednego milimetra.
Czas podany w nagłówku wymaga jednak kontekstu. W publikacji zastosowano lustrzane odbicie lewej i prawej strony dla 308,7 godziny oryginalnych nagrań, uzyskując raportowane 617,5 godziny. Odbicie zamienia odpowiednie lewo- i prawostronne elementy ruchu, tworząc poprawny odpowiednik, dlatego jest użytecznym rozszerzeniem danych, a nie drugim niezależnym nagraniem.
Całość dzieli się na 371,8 godziny ruchu samego ciała oraz 245,7 godziny interakcji człowiek–obiekt. Część dotycząca interakcji stanowi 39,8 procent publikacji. Obejmuje ruchy takie jak przenoszenie, pchanie, ciągnięcie, pochylanie się i siadanie z wykorzystaniem śledzonych fizycznych obiektów.
Ruch człowieka korzysta ze znormalizowanej hierarchii BVH obejmującej 55 stawów. BVH to popularny format plików przechowujący strukturę szkieletu oraz jego ruch w czasie. Każdy pakiet interakcji łączy również zapis ciała ze zsynchronizowanymi trajektoriami obiektów i siatkami obiektów o wysokiej rozdzielczości.
Publiczna dokumentacja zbioru danych wskazuje 40 kanonicznych siatek obiektów oraz ich lustrzane warianty. Ścieżki obiektów współdzielą znaczniki czasu z odpowiadającymi im plikami ruchu ciała, co ogranicza pracę związaną z wyrównywaniem danych przed eksperymentami.
Dane obejmują 40 rzeczywistych obiektów w 12 kategoriach. Są wśród nich meble i pojemniki, a także narzędzia do sprzątania oraz sprzęt sportowy. Ich raportowane masy mieszczą się w zakresie od 0,45 do 6,25 kilograma.
Ten zakres mas ma znaczenie, ponieważ przenoszenie lekkiego pojemnika i przemieszczanie ciężkiego obiektu wymagają odmiennych strategii utrzymania równowagi. Nawet gdy widoczna ścieżka ramienia wygląda podobnie, inaczej mogą zachowywać się stopy, tułów i środek masy.
HiPHI dołącza także do klipów opisy w języku naturalnym oraz identyfikatory semantyczne. Powstały pakiet wspiera badania nad wyszukiwaniem ruchu, uczeniem przez imitację, retargetowaniem, generowaniem ruchu i sterowaniem uwzględniającym obiekty.
To więcej niż większe archiwum animacji. Publikację zaprojektowano wokół konkretnego pytania: czy zbiór ruchu może zachować różnorodność, jednocześnie utrzymując wystarczającą strukturę fizyczną, by polityki robotów mogły go wykonywać?
Dlaczego wideo z internetu pozostawia lukę w danych fizycznych
Wideo pokazuje, jak wygląda działanie, lecz sterowanie humanoidem zależy od stanów fizycznych, które piksele często ujawniają jedynie pośrednio.
Duże zbiory wideo mają oczywistą zaletę. Zawierają ludzi wykonujących niezliczone zadania w domach, miejscach pracy, na ulicach i w nieznanych środowiskach. Taką różnorodność trudno odtworzyć w studiu motion capture.
Wideo zazwyczaj rejestruje jednak wygląd, a nie kompletny stan fizyczny. System uczący się musi oszacować głębię, pozycje stawów, zasłonięte kończyny, kontakty oraz ruch obiektów. Błędy tych oszacowań mogą narastać, zanim polityka robota w ogóle rozpocznie trening.
Rozważmy osobę ciągnącą załadowaną walizkę. Kamera rejestruje człowieka i walizkę, ale nie podaje bezpośrednio siły, tarcia, dokładnej geometrii kontaktu ani czystej trajektorii szkieletowej. Ubranie może zasłaniać stawy, a perspektywa czyni ocenę głębi niepewną.
Motion capture rozwiązuje część tego problemu, precyzyjnie mierząc ruch ciała. Tradycyjne zbiory, takie jak AMASS, stały się ważnymi zasobami dla animacji i sterowania humanoidami. Wiele z nich zebrano jednak z myślą o syntezie ruchu, rekonstrukcji lub grafice, a nie o uczeniu robotów z ograniczeniami narzucanymi przez obiekty.
Brakujący obiekt może sprawić, że nawet realistyczny klip będzie fizycznie niekompletny. Osoba wygląda, jakby siadała, lecz zapis ciała nie zawiera stanu krzesła. Wykonawca pochyla się do przodu, ale brakuje powierzchni podparcia i relacji kontaktu.
Polityka trenowana na takiej trajektorii ciała może naśladować pozę, nie rozumiejąc ograniczenia, które zapewniało stabilność ruchu. To różnica między wizualną wiarygodnością a wykonalnym sterowaniem.
Demonstracje na rzeczywistych robotach zapewniają bardziej bezpośredni nadzór. Odzwierciedlają już stawy, czujniki i ograniczenia maszyny. Ich słabością jest koszt pozyskania, a wynikowe dane często pozostają związane z jedną konfiguracją robota.
HiPHI zajmuje więc pozycję pośrednią. Ludzcy wykonawcy zapewniają szeroki zakres zachowań, a optyczny capture dostarcza dokładnych stanów ruchu. Zsynchronizowane zapisy obiektów zachowują część struktury interakcji, którą zbiory obejmujące wyłącznie ciało odrzucają.
Porównanie nie sprowadza się do wideo kontra motion capture w każdej sytuacji. Wideo nadal jest cenne dla kontekstu semantycznego, percepcji wizualnej i badania zachowań w naturalnych środowiskach. Motion capture wciąż ograniczają studia, markery i planowane sesje.
Rzeczywisty spór dotyczy tego, które dane powinny służyć jako wykonalny priorytet ruchu. Priorytet ruchu to wyuczony model tego, jak ciała zwykle się poruszają. W przypadku sterowania humanoidami jego odniesienia muszą przetrwać retargetowanie z ludzkiego ciała na robota o innych proporcjach i siłownikach.
Badacze HiPHI argumentują, że precyzja i ugruntowanie fizyczne zasługują na większą wagę na tym etapie. Ich benchmark porównuje dane po przekształceniu wielu źródeł do wspólnej reprezentacji ciała i zastosowaniu spójnych procedur ewaluacji.
Takie podejście wywiera presję na zespoły polegające głównie na zrekonstruowanym wideo z internetu. Większe wizualne zbiory danych mogą opisywać więcej sytuacji, lecz ich wnioskowane stany fizyczne muszą osiągnąć dokładność pozwalającą konkurować ze zmierzonymi trajektoriami.
Wywiera ono również presję na konwencjonalne projekty motion capture. Sama wysoka precyzja nie wystarcza, gdy wykonawcy powtarzają wąski zestaw znanych działań. Trudniejszym celem jest precyzyjne pokrycie celowo zaprojektowanej przestrzeni ruchu.
FrameNet zamienia język w plan zbierania ruchu
Kluczowym mechanizmem HiPHI nie jest system kamer, lecz wykorzystanie struktury języka do ustalenia, które ruchy warto rejestrować.
Większość zbiorów danych ruchu zaczyna się od list aktywności. Projektanci mogą zlecić chodzenie, bieganie, siadanie, machanie i podnoszenie, a następnie dodawać scenariusze wraz z pojawianiem się nowych potrzeb. Proces ten tworzy zrozumiałe klipy, ale nie daje wiarygodnej miary tego, czego wciąż brakuje.
Różne historie mogą generować niemal identyczny ruch. Wycieranie potu z czoła i osłanianie oczu przed słońcem mogą wykorzystywać podobne trajektorie stawów. Traktowanie obu jako odrębnych aktywności może zawyżać ocenę pokrycia fizycznego.
Występuje też problem odwrotny. Jedno słowo, takie jak „chodzić”, może generować wiele ruchów poprzez tempo, trasę, długość kroku, promień skrętu, postawę i kierunek. Pojedyncza etykieta aktywności może ukrywać istotną różnorodność kinematyczną.
HiPHI wykorzystuje Berkeley FrameNet jako szkielet do radzenia sobie z tą rozbieżnością. FrameNet organizuje język wokół zdarzeń, sytuacji i znaczeń słów, które je wywołują. „Rama” reprezentuje typ zdarzenia, a jednostka leksykalna łączy konkretne znaczenie słowa z daną ramą.
Na przykład „run” może opisywać ludzką lokomocję albo zarządzanie firmą. Para Frame-LU rozdziela te znaczenia. HiPHI wybiera pary związane z ruchem fizycznym i przekształca je w zalążki instrukcji rejestracji.
Zbiór zawiera 22 ramy FrameNet i 214 jednostek ruchu Frame-LU. Jednostki te obejmują lokomocję, zmiany postawy, ruch części ciała, wprawianie obiektów w ruch, przenoszenie i powiązane wzorce interakcji.
Każdy semantyczny zalążek rozwija się wzdłuż obserwowalnych wymiarów fizycznych. Wykonawcy zmieniają kierunek, prędkość, amplitudę, postawę, rytm, zaangażowanie części ciała, pozycję kontaktu, obciążenie i trajektorię obiektu.
Zalążek pchania może obejmować różne obiekty, obciążenia, punkty kontaktu i kierunki. Zalążek chodzenia może różnić się trasą, tempem, zachowaniem podczas skręcania, krokiem i wysokością ciała. Zmiany te modyfikują ruch, a nie jedynie jego opis.
Przypomina to rolę, jaką WordNet odegrał w strukturyzowaniu ImageNet. Taksonomia nie generuje samych danych. Dostarcza uporządkowanej mapy pomagającej zdecydować, co zbierać i gdzie pokrycie pozostaje niewystarczające.
Wynikowy rozkład obejmuje powszechne zachowania oraz celowo zaprojektowany długi ogon. Pięćdziesiąt najczęstszych etykiet Frame-LU odpowiada za 53,7 procent udostępnionego czasu trwania. Pozostałe 46,3 procent znajduje się poza tymi powszechnymi jednostkami.
Różnorodność wykonawców jest również widoczna w obrębie etykiet. HiPHI podaje medianę 24 wykonawców na Frame-LU, a 154 jednostki obejmują co najmniej 10 wykonawców. Zmniejsza to prawdopodobieństwo, że kategoria ruchu odzwierciedla po prostu styl jednej osoby.
Benchmark projektu HiPHI mierzy pokrycie przy użyciu wspólnego nienadzorowanego enkodera ruchu. Badacze znormalizowali zbiory danych do wspólnej reprezentacji 23 punktów kluczowych, ponownie próbkowali je do 30 klatek na sekundę i porównali zrównoważone próbki.
W tej procedurze HiPHI zajęło 1 620 komórek w rzutowanej przestrzeni ruchu. BONES-SEED, najbliższy wielkoskalowy punkt odniesienia, zajął 1 438. HiPHI podało także efektywne zajęcie na poziomie 1 443, wobec 1 114 dla BONES-SEED.
Efektywne zajęcie odzwierciedla równomierność, z jaką próbki wypełniają pokryte regiony. Raportowana przewaga HiPHI sugeruje, że zbiór nie uzyskał szerszego pokrycia wyłącznie przez umieszczenie kilku wartości odstających w odległych regionach.
Udział długiego ogona osiągnął 14,1 procent, wobec 10,7 procent dla BONES-SEED. Badacze powtórzyli analizę dla kilku losowych ziaren, ustawień projekcji i rozdzielczości siatki, raportując dodatni margines pokrycia w każdej testowanej konfiguracji.
Wyniki te nadal zależą od wybranej reprezentacji i projektu ewaluacji. Dwuwymiarowa projekcja nie może w pełni opisać złożonej rozmaitości ruchu. Zrównoważone próbkowanie sprawia jednak, że porównanie jest bardziej miarodajne niż same surowe godziny.
Trajektorie obiektów czynią dane o interakcjach fizycznie użytecznymi
Robot nie może nauczyć się przenoszenia, pchania ani ciągnięcia wyłącznie z ruchu ciała, ponieważ obiekt zmienia ruch, który musi wykonać.
HiPHI rejestruje pozycję i orientację obiektu wraz ze szkieletem wykonawcy. Każda ścieżka zawiera jeden wpis dla każdej klatki ruchu ciała, a siatka opisuje kształt obiektu we wspólnym układzie współrzędnych.
Tworzy to połączoną reprezentację osoby i obiektu. Ciało nie tylko odgrywa trzymanie pudełka. Zbiór danych rejestruje, jak pudełko porusza się, gdy wykonawca zmienia postawę, wysokość chwytu lub przenosi ciężar ciała.
To rozróżnienie ma znaczenie dla sterowania całym ciałem. Pchanie ciężkiego obiektu może wymagać pochylenia do przodu, szerszego rozstawu nóg i innego ustawienia stóp. Ciągnięcie walizki może zmieniać pozycję tułowia i nogi podporowej wraz ze zmianą oporu.
Siatki obiektów wyjaśniają również geometrię. Powierzchnia krzesła określa, gdzie powinien nastąpić kontakt podczas siadania. Wymiary pojemnika wpływają na ułożenie dłoni, rozstaw ramion oraz na to, czy tułów musi się pochylić.
HiPHI ocenia to dopasowanie za pomocą dwóch metryk. Wskaźnik braku konfliktów sprawdza, czy próbkowany ludzki szkielet nie przenika przez obiekt. Uziemienie blisko powierzchni mierzy, czy osoba pozostaje dostatecznie blisko obiektu, aby interakcja była wiarygodna.
Zbiór danych raportuje wskaźnik braku konfliktów na poziomie 98,1 proc. oraz uziemienie blisko powierzchni na poziomie 95,7 proc. HIMO osiągnął odpowiednio 97,6 proc. i 79,0 proc. OMOMO odnotował 90,6 proc. i 50,4 proc.
Liczby te przemawiają na korzyść HiPHI w wybranych testach geometrycznych, ale nie mierzą każdego aspektu kontaktu. Dłoń może pozostawać blisko obiektu, nie wywierając na niego realistycznej siły. Metryki nie weryfikują też tarcia, reakcji dotykowej ani stabilności chwytu.
Skala pozostaje istotną różnicą. HiPHI raportuje 245,7 godziny danych interakcyjnych. W artykule porównano to z 21,6 godziny ocenianych ścieżek obiektów dla HIMO i 9,8 godziny dla OMOMO.
Zespół ocenił również płynność ruchu i typowe artefakty kontaktu. Wśród zbiorów danych o porównywalnych konwencjach dotyczących podłoża HiPHI zgłosił najniższe wartości we wszystkich pięciu wybranych miarach.
Jego penetracja podłoża na 95. percentylu wyniosła 8 milimetrów, wobec 18 dla BONES-SEED i 111 dla AMASS. Niepodparte unoszenie się obejmowało 0,015 proc. ocenianego czasu, a dryf punktu podparcia wyniósł 64 milimetry na sekundę.
Są to pomiary na poziomie zbioru danych, a nie gwarancje dla każdego klipu. Mimo to dotyczą błędów istotnych podczas optymalizacji polityk. Ślizgające się stopy lub niespójny kontakt z podłożem mogą nauczyć kontroler podążania za referencjami, których fizyka nie dopuszcza.
Benchmark interakcji testuje później sekwencje kopania, przenoszenia, pchania i opierania się po retargetingu. HiPHI osiągnął niższe błędy śledzenia ciała w kilku porównaniach, ale nie we wszystkich.
Pchanie pokazuje, dlaczego wyniki wymagają uważnej interpretacji. HiPHI odnotował dla pchania body MPJPE na poziomie 99,20 milimetra, co było wynikiem gorszym od 66,09 dla OMOMO. MPJPE mierzy średnią różnicę pozycji między odpowiadającymi sobie stawami.
Jednocześnie HiPHI uzyskał znacznie niższe błędy pozycji i orientacji obiektu w tej kategorii. Wynik sugeruje, że dopasowanie ruchu obiektu i dopasowanie ludzkiej pozy mogą stawiać sprzeczne wymagania.
Przenoszenie przyniosło kolejny mieszany rezultat. Błąd ciała HiPHI był niższy niż w obu wynikach porównawczych, lecz jego błąd pozycji obiektu był wyższy. Te różnice uniemożliwiają proste stwierdzenie, że jeden zbiór danych wygrywa w każdym zadaniu końcowym.
HiPHI wnosi znacznie większe środowisko testowe dla tych kompromisów. Badacze mogą sprawdzać, kiedy śledzenie ciała, śledzenie obiektu i stabilność fizyczna są ze sobą zgodne, a kiedy optymalizacja jednego pogarsza inne.
Uczenie ze wzmocnieniem przenosi ruchy HiPHI na Unitree G1
HiPHI jest ważny, ponieważ jego badacze wyszli poza statystyki statycznego zbioru danych i sprawdzili, czy wytrenowane polityki mogą wykonywać wybrane ruchy na rzeczywistym sprzęcie.
Zespół przetargetował ludzkie ruchy na Unitree G1, humanoida o innych proporcjach i ograniczeniach napędu. Retargeting przekształca ruch szkieletu źródłowego w referencje dopasowane do robota docelowego.
W testach obejmujących wyłącznie ciało badacze trenowali polityki za pomocą potoku uczenia ze wzmocnieniem w stylu DeepMimic. Badania DeepMimic ustanowiły szeroko stosowane podejście do uczenia umiejętności opartych na fizyce na podstawie ruchów referencyjnych.
Benchmark porównuje HiPHI z AMASS, LAFAN1, Motion-X++ i BONES-SEED przy dopasowanych budżetach danych. Każde źródło przeszło przez ten sam proces retargetingu i treningu polityki.
Według doniesień HiPHI osiągnął najwyższe wskaźniki sukcesu i najszybszą zbieżność zarówno w trzygodzinnych, jak i 20-godzinnych ustawieniach treningowych. W porównaniu wykorzystano pięć niezależnych przebiegów treningu i mierzono wskaźniki niepowodzeń w jego trakcie.
Osobny eksperyment skalowania zwiększył ilość niereplikowanych przez odbicie lustrzane danych treningowych HiPHI z trzech do 300 godzin. Powstałe polityki oceniano na niewidzianym wcześniej ruchu z czterech innych zbiorów danych.
Zgodnie z artykułem błąd pozycji stawów między zbiorami danych konsekwentnie malał wraz ze wzrostem zbioru treningowego HiPHI. Eksperyment powtórzono 10 razy, a wyniki przedstawiono jako średnie krzywe i pasma wariancji.
Ten wzorzec wspiera główne twierdzenie projektu: dodatkowy ustrukturyzowany ruch nadal poprawia uogólnianie, zamiast jedynie powtarzać typowe działania. Łączy też skalę zbioru danych z rzeczywistą metryką sterowania.
Ostatni etap przeniósł polityki na fizycznego G1. Robot wykonywał bieganie, siadanie, czołganie, przenoszenie pudełka, przewrót oraz ciągnięcie walizki. Próby te wystawiły polityki na ograniczenia aktuatorów, szum czujników i różnice między symulacją a rzeczywistością.
Demonstracje są istotne, ponieważ wiele zbiorów danych ruchu kończy się na jakości rekonstrukcji lub symulacji. Wdrożenie na fizycznym sprzęcie dostarcza silniejszych dowodów, że przynajmniej wybrane referencje mogą przetrwać retargeting i ograniczenia sprzętowe.
Mimo to określenia „transfer do świata rzeczywistego” nie należy interpretować jako autonomii ogólnego zastosowania. Raportowane próby obejmują wybrane zachowania w kontrolowanych warunkach. Nie pokazują robota samodzielnie postrzegającego nieznane obiekty, planującego zadania ani dostosowującego się do otwartego środowiska pracy.
Polityka śledzenia rozwiązuje też węższy problem niż kompletny agent robotyczny. Podąża za ruchem referencyjnym, utrzymując stabilność fizyczną. Niekoniecznie decyduje, jakie działanie wykonać, ani nie rozumie, dlaczego człowiek je wykonał.
Demonstracje G1 potwierdzają więc wykonalność, a nie pełną inteligencję zadaniową. To rozróżnienie ma znaczenie, ponieważ firmy z obszaru physical AI coraz częściej łączą imponujące filmy z ruchami z szerszymi twierdzeniami o użytecznej pracy.
Najsilniejszy wkład HiPHI leży niżej w stosie technologicznym. Dostarcza danych referencyjnych, które mogą pomóc politykom uczyć się koordynacji, równowagi i ruchu uwarunkowanego obiektem. Systemy planowania i percepcji mogą następnie rozwijać te możliwości.
Praktyczny przepływ pracy jest również wymagający. Badacze muszą przetargetować pliki BVH, uwzględnić limity stawów robota, trenować w symulacji i zweryfikować bezpieczeństwo przed wdrożeniem na rzeczywistym sprzęcie.
Dokumentacja projektu wyraźnie ostrzega, że ruchy wymagają retargetingu i sprawdzeń dla wybranego ucieleśnienia. Referencja działająca na G1 nie zostanie bez zmian przeniesiona na każdego humanoida.
Dla zespołów inżynieryjnych kluczowe stają się więc inspekcja zbioru danych i śledzenie eksperymentów. Przeszukiwalna baza wiedzy inżynieryjnej może pomóc łączyć identyfikatory ruchów, konfiguracje treningowe, awarie i obserwacje sprzętowe bez zmiany podstawowego przepływu pracy robotycznej.
Czego wyniki HiPHI nadal nie mierzą
HiPHI zmniejsza lukę w danych ruchu, ale nie obejmuje pełnej fizyki, percepcji ani kontekstu społecznego potrzebnych do ogólnego zachowania humanoida.
Pierwszym ograniczeniem jest różnorodność środowisk. Cały ruch źródłowy zebrano w studiu. Takie środowisko umożliwia precyzyjne pomiary, ale eliminuje bałagan, zmiany oświetlenia, nierówne powierzchnie i nieoczekiwane przeszkody spotykane poza kontrolowanymi obiektami.
Wideo z internetu ma odwrotny profil. Zapewnia chaotyczną różnorodność środowiskową kosztem dokładnego stanu fizycznego. HiPHI wzmacnia jedną stronę tego kompromisu, zamiast go eliminować.
Drugie ograniczenie dotyczy siły. Wydanie rejestruje kinematykę, czyli sposób poruszania się ciał i obiektów. Nie mierzy bezpośrednio sił kontaktu ani sygnałów dotykowych.
To pominięcie ma znaczenie dla manipulacji. Dwa klipy mogą pokazywać podobne trajektorie, mimo że wiążą się z innym naciskiem chwytu, tarciem lub oporem. Kontroler może potrzebować tych ukrytych wielkości, aby obsługiwać kruche, odkształcalne lub śliskie obiekty.
Trzecim ograniczeniem jest interakcja społeczna. HiPHI obecnie obejmuje ruch jednej osoby. Wyklucza zachowania wieloosobowe i bezpośredni kontakt człowiek-człowiek.
Humanoidy pracujące w pobliżu ludzi muszą ostatecznie modelować przekazywanie przedmiotów, wspólne przenoszenie, ruch kooperacyjny i unikanie kolizji. Zadania te wymagają danych przedstawiających dwa ciała i ich zmieniające się intencje.
Czwartą kwestią jest augmentacja. Niemal połowa raportowanego czasu wydania pochodzi z odbicia lustrzanego lewo-prawo. Zwiększa to użyteczny zakres, szczególnie dla zachowań jednostronnych, ale nie dodaje nowych wykonawców ani sesji rejestracji.
Czytelnicy powinni zatem odróżniać godziny udostępnione od godzin niezależnie zarejestrowanych. Obie wartości są prawidłowe dla różnych celów, ale odpowiadają na różne pytania.
Piątą obawą jest niezależność benchmarku. Większość opublikowanych porównań i dowodów wdrożeniowych pochodzi od twórców zbioru danych. Akceptacja na CoRL zapewnia recenzję naukową, jednak szersze zaufanie będzie wymagać od zewnętrznych zespołów odtworzenia wyników.
Niezależni badacze powinni sprawdzić, czy HiPHI zachowuje przewagę przy użyciu innych retargeterów, architektur polityk, korpusów robotów i metryk oceny. Szczególnie informacyjne byłyby wyniki na mniejszych platformach lub maszynach o innym układzie stawów.
Licencjonowanie również wpływa na praktyczne zastosowanie. Zbiór danych wykorzystuje licencję CC BY-NC 4.0, która zezwala na użycie badawcze z przypisaniem autorstwa, ale ogranicza użycie komercyjne. Firmy muszą ocenić to ograniczenie przed włączeniem plików do treningu produktów.
Ryzyko naruszenia prywatności wydaje się ograniczone w publicznym pakiecie. Wydanie zawiera ruch, trajektorie, siatki i zanonimizowane atrybuty wykonawców. Nie obejmuje zarejestrowanego wideo RGB, dźwięku, wizerunków twarzy ani nagrań głosowych.
Jednak sam ruch może nieść indywidualne wzorce. Autorzy używają numerycznych identyfikatorów aktorów i uogólnionych metadanych demograficznych, co wspiera analizę przy ograniczeniu ryzyka bezpośredniej identyfikacji.
Wreszcie fizycznie wykonalna imitacja nie jest równoznaczna z pomyślnym ukończeniem zadania. Robot może odtworzyć ruch przenoszenia bez rozpoznania właściwego pudełka, wybrania miejsca docelowego czy odzyskania kontroli, gdy ktoś zablokuje mu drogę.
HiPHI należy oceniać jako infrastrukturę ruchu. Odpowiada na pytanie, jak humanoid może pozyskiwać zróżnicowane, uziemione referencje ruchowe. Nie twierdzi, że rozwiązuje percepcję, planowanie uwarunkowane językiem, certyfikację bezpieczeństwa ani autonomię w otwartym świecie.
Takie węższe ujęcie czyni tę pracę bardziej wiarygodną. Otwarte pozostaje pytanie, czy zbiór danych stanie się podstawą wielokrotnego użytku dla różnych grup badawczych, czy pozostanie ściśle powiązany ze stosem ewaluacyjnym jego twórców.
Trzy sygnały pokażą, czy HiPHI zmienia uczenie humanoidów
Kolejnym testem jest adopcja: niezależne odtworzenie wyników, transfer na szerszy zakres ucieleśnień i bogatsze czujniki fizyczne określą trwałą wartość HiPHI.
Pierwszym sygnałem jest niezależne odtworzenie benchmarku. Grupy badawcze muszą pobrać wydanie, ponownie wytrenować porównywalne polityki i raportować wyniki w udokumentowanych warunkach.
Odtworzenie wzmocniłoby twierdzenie, że zasięg i precyzja HiPHI wpływają na wydajność. Duże rozbieżności sugerowałyby, że wybory treningowe, retargeting lub nieopublikowane szczegóły operacyjne miały większy wkład niż sam zbiór danych.
Drugi sygnał to transfer wykraczający poza Unitree G1. Polityki wyprowadzone z HiPHI powinny być oceniane na humanoidach o innych proporcjach, zakresach ruchu stawów, mocy siłowników i częstotliwościach sterowania.
Udany transfer między wieloma robotami wsparłby tezę, że wydanie uchwyciło strukturę ludzkiego ruchu, którą można ponownie wykorzystać. Słaby transfer pokazałby, że adaptacja specyficzna dla danego ucieleśnienia nadal pozostaje głównym wąskim gardłem.
Trzeci sygnał to komplementarne sensory. Przyszłe zbiory danych lub rozszerzenia powinny łączyć precyzyjny ruch z informacjami o sile, dotyku i wizualnym kontekście z perspektywy pierwszej osoby.
Te modalności rozwiązałyby najważniejsze martwe punkty HiPHI. Dane o sile mogłyby odróżnić lekki kontakt od podparcia przenoszącego ciężar, a wideo egocentryczne mogłoby połączyć ruch z tym, co widział wykonawca.
Najbardziej obiecująca ścieżka może polegać na łączeniu, a nie zastępowaniu źródeł danych. Wysokiej jakości przechwytywanie ruchu może dostarczać wykonalnych fizycznych punktów odniesienia. Wideo z internetu może zapewniać szerokość kontekstów środowiskowych i zachowań. Demonstracje robotów mogą zakotwiczać oba te elementy w konkretnym sprzęcie.
HiPHI ułatwia ocenę tego hybrydowego kierunku, ponieważ udostępnia ustrukturyzowaną, przeszukiwalną warstwę ruchu. System Frame-LU zapewnia również semantyczne uchwyty do próbkowania lub łączenia powiązanych przykładów z różnych źródeł.
Badacze powinni teraz zadawać konkretne pytania. Czy polityki trenowane na ruchach z długiego ogona lepiej odzyskują sprawność po zakłóceniach? Czy zsynchronizowane zapisy obiektów poprawiają skuteczność zadań poza studiem nagraniowym? Czy ich struktura semantyczna może pomóc modelom wybierać ruchy na podstawie poleceń językowych?
Zbiór danych ruchu humanoidalnego HiPHI nie rozstrzyga debaty między skalą wideo a fizyczną precyzją. Podnosi jednak standard tej debaty, łącząc projektowanie zbierania danych, mierzalną jakość danych, trenowanie polityk i wykonywanie zadań na rzeczywistych robotach.
Kolejnym użytecznym krokiem są bezpośrednie eksperymenty. Pobierz podzbiór danych, przeanalizuj jego sekwencje lustrzane i oryginalne, przemapuj kilka kategorii interakcji i opublikuj porażki obok udanych demonstracji. Wyniki pokażą, czy ustrukturyzowany ludzki ruch stanie się wspólną infrastrukturą dla fizycznej AI, czy kolejnym imponującym benchmarkiem, który roboty z trudem przeniosą do nieznanych środowisk.
