Data Collection for Humanoid Robot Control

Abstract

Training generalist vision-language-action models for humanoid robot control requires large amounts of demonstration data. This data consists of robot movement data, images from cameras on the robot, and a description of the task the robot is doing. This thesis provides an overview of where this data comes from, the differences in the formats used by different datasets, and the viability of translating data between formats. Four sources of training data are examined. One dataset is produced locally using teleoperation, demonstrating a general setup and workflow for recording datasets. The formats used by these training data sources are analyzed thoroughly and the challenges of translating data from one format to another are discussed. It is found that translating data between formats which store different amounts of data can be difficult and that, for most use cases, it is not necessary to make a new format which is more general than those already available.

Jotta yleiskäyttöön tarkoitettuja näkö-kieli-toimi malleja voidaan kouluttaa ohjaamaan humanoidirobotteja, vaaditaan paljon demonstraatiodataa. Tämä data koostuu robottien liikkedatasta, robotin kameroista saaduista kuvista, sekä robotin tekemän tehtävän kuvauksesta. Tämä tutkielma tarjoaa yleiskuvan siitä, mistä tämä data tulee, eridatasettien formaattien eroista, sekä mahdollisuuksista kääntää dataa eri formaattien välillä. Neljää koulutusdatan lähdettä tutkitaan. Yksi datasetti tuotetaan paikallisesti käyttäen teleoperaatiota. Näin demonstroidaan yleisesti datasettien tallentamiseen käytettyä järjestelyä sekä työnkulkua. Koulutusdatalähteiden käyttämiä formaatteja analysoidaan perusteellisesti ja haasteita datan kääntämisessä yhdestä formaatista toiseen käsitellään. Tutkielmassa löydetään, että datan kääntäminen formaatista, jolla voidaan tallentaa enemmän dataa, formaattiin, jolla voidaan tallentaa vähemmän dataa, voi olla vaikeaa sekä, että useimmille käyttötapauksille ei ole tarpeellista luoda uutta formaattia, joka olisi enemmän yleispätevä, kuin jo olemassa olevat formaatit.