MetaVDは、様々な動作認識データセットを関連付けて有効活用するためのメタデータセットです。
具体的には、各データセットで定義された動作ラベルが表す意味から、
動作ラベル間の意味の同一性や階層性をデータセット横断でアノテーションしたデータを提供します。
MetaVDでは、UCF101, HMDB51, ActivityNet, STAIR Actions, Charades, Kinetics-700が取り込まれています。
今後も増える予定です。 MetaVD is a meta-dataset for utilizing various action recognition datasets by connecting between them.
In particular, MetaVD provides human-annotated relations, such as equality, similarity, and hierarchy, between action labels across the action recognition datasets based on the meaning of the action labels which each dataset defines.
MetaVD v1 contains UCF101, HMDB51, ActivityNet, STAIR Actions, Charades, and Kinetics-700. It will be expanded.

News

Research

  • Yasunori Yamamoto, Shusaku Egami, Yuya Yoshikawa, and Ken Fukuda, “Towards Semantic Data Management of Visual Computing Datasets: Increasing Usability of MetaVD,” Proceedings of the ISWC 2023 Posters, Demos and Industry Tracks co-located with 22nd International Semantic Web Conference (ISWC2023), Athens, Greece, Nov. 2023.

    MetaVDに含まれる動作ラベルをCommonsense Knowledge Graph (CSKG)のコンセプトに対応付け、RDF化することにより、知識グラフの技術をMetaVDで活用できるようにしました。 We linked action labels in MetaVD to the concepts in Commonsense Knowledge Graph (CSKG) and RDFized it so that knowledge graph techniques can be used for MetaVD.

  • Yuya Yoshikawa, Yutaro Shigeto, Masashi Shimbo, and Akikazu Takeuchi, “Action class relation detection and classification across multiple video datasets,” Pattern Recognition Letters, vol. 173, pp. 93-100, Sep. 2023.

    動作クラスに紐づく言語情報と動画情報から、MetaVDを用いた動作クラス間の関係性予測の方法を提案しました。 We proposed a method for predicting relations between action classes using MetaVD based on linguistic and video information associated with the action classes.

  • Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi,　“MetaVD: A Meta Video Dataset for enhancing human action recognition datasets,” Computer Vision and Image Understanding, vol. 212, p. 103276, Nov. 2021.

    MetaVDの提案と、MetaVDを用いて学習した動作認識モデルの性能評価を行いました。 We proposed MetaVD, and evaluated the accuracy of the action recognition models trained on MetaVD.

Visualizer

動作ラベル間の関係性ネットワークを見ることができます。 動作ラベルを検索でき、その動作ラベルと関連がある他の動作ラベルも合わせて見つけることができます。 You can see the relation network defined on MetaVD, and search action labels contained on MetaVD.

詳しくはこちら Learn More

Download

動作ラベル間の関係性を付与したアノテーションデータがダウンロードできます。
（ ※動画データは別途ダウンロードが必要です。 ） You can download the MetaVD dataset that contains human-annotated relations between action labels across the existing action recognition datasets.
Note: since it does NOT contain the video data of each dataset in MetaVD, please donwload the video data from the repository of each dataset if necessary.

GitHub