Jetson Orin Nano lerobot:将分批record的data合并后进行lerobot_train 训练

张开发
2026/5/4 17:21:22 15 分钟阅读
Jetson Orin Nano lerobot:将分批record的data合并后进行lerobot_train 训练
分开采集了多个数据集(每个都有 data/、meta/、videos/ 等),你直接拷贝合并时,meta 中的 info.json、stats.json、tasks.parquet 没有正确合并,导致训练脚本找不到 parquet 文件或者列不统一。真正合并三个主要 meta 文件:info.json→ 会把每个 dataset 的 key 对应的 list 合并在一起,如果有重复 key,会把 list extend(合并内容),生成一个总 info.json。stats.json→ 会把所有 dataset 的统计数字累加(比如 episode 数量、帧数之类的),生成一个总 stats.json。tasks.parquet→ 会把每个 dataset 的 parquet 数据读取后,用 pd.concat 合并成一个大表,然后保存为 merged 的 tasks.parquet。⚠️episodes文件夹:我之前没提,它里面一般存每个 episode 的独立 parquet 或 pickle 文件。你也需要把每个dataset的episodes文件夹内容全部复制到merged/meta/epi

更多文章