C-STAR-database approach - 版本历史

Lilt：/* CN-Celeb 中华名人音频数据收集 */

2019-10-29T11:53:59Z

‎CN-Celeb 中华名人音频数据收集

2019年10月23日 (三) 23:11 Cslt

2019-10-23T23:11:51Z

2019年10月23日 (三) 23:11 Cslt

2019-10-23T23:11:34Z

2019年10月23日 (三) 23:11 Cslt

2019-10-23T23:11:21Z

2019年10月23日 (三) 23:10 Cslt

2019-10-23T23:10:52Z

2019年8月22日 (四) 01:01 Cslt

2019-08-22T01:01:27Z

2019年8月22日 (四) 00:58 Cslt

2019-08-22T00:58:18Z

2019年8月22日 (四) 00:58 Cslt

2019-08-22T00:58:03Z

2019年8月22日 (四) 00:53 Cslt

2019-08-22T00:53:44Z

Chenhaolin：以“=C-STAR 中华名人音频数据收集= 成员：王东，蔡云麒，周子雅，李开诚，陈浩林，程思潼，张鹏远，范悦 ===目标=== * Collect au...”为内容创建页面

2019-08-21T02:25:02Z

以“=C-STAR 中华名人音频数据收集= 成员：王东，蔡云麒，周子雅，李开诚，陈浩林，程思潼，张鹏远，范悦 ===目标=== * Collect au...”为内容创建页面

新页面

=C-STAR 中华名人音频数据收集=

成员：王东，蔡云麒，周子雅，李开诚，陈浩林，程思潼，张鹏远，范悦

===目标===

* Collect audio data of 1,000 Chinese celebrities.
* Automatically clip videoes through a pipeline including face detection, face recognition, speaker validation and speaker diarization.
* Create a database.

===未来计划===

* Augment the database to 10,000 people.
* Build a model between SyncNet and Speaker_Diarization based on LSTM, which can learn the relationship of them.

===基本方法===

* Tensorflow, PyTorch, Keras, MxNet 实现
* 检测、识别人脸的RetinaFace和ArcFace模型，说话人识别的SyncNet模型，Speaker Diarization的UIS-RNN模型
* 输入为目标主人公的视频、目标主人公的面部图片
* 输出为该视频中主人公声音片段的时间标签

===项目GitHub地址===
[https://github.com/celebrity-audio-collection/videoprocess celebrity-audio-collection]

===项目报告===
[http://cslt.riit.tsinghua.edu.cn/mediawiki/index.php/%E6%96%87%E4%BB%B6:C-STAR.pdf v1.0阶段性报告]

@@ 第1行： / 第1行： @@
-=CN-Celeb 中华名人音频数据收集=
+=CN-Celeb=
-* 成员：王东，蔡云麒，李蓝天，范悦，康嘉文
+* A large-scale Chinese celebrities dataset collected `in the wild'.
-* 历史成员：周子雅，李开诚，陈浩林，程思潼，张鹏远
+* Members：Dong Wang, Yunqi Cai, Lantian Li, Yue Fan, Jiawen Kang
-===目标===
+===Target===
 * Collect audio data of 1,000 Chinese celebrities.

←上一版本		2019年10月23日 (三) 23:11的版本
第1行：		第1行：
−	=C-~~STAR~~ 中华名人音频数据收集=	+	=CN-Celeb 中华名人音频数据收集=

	* 成员：王东，蔡云麒，李蓝天，范悦，康嘉文		* 成员：王东，蔡云麒，李蓝天，范悦，康嘉文

@@ 第1行： / 第1行： @@
 =C-STAR 中华名人音频数据收集=
-成员：王东，蔡云麒，李蓝天，范悦，康嘉文
+* 成员：王东，蔡云麒，李蓝天，范悦，康嘉文
-历史成员：周子雅，李开诚，陈浩林，程思潼，张鹏远
+* 历史成员：周子雅，李开诚，陈浩林，程思潼，张鹏远
 ===目标===

@@ 第1行： / 第1行： @@
 =C-STAR 中华名人音频数据收集=
-成员：王东，蔡云麒，李蓝天，周子雅，李开诚，陈浩林，程思潼，张鹏远，范悦，康嘉文
+成员：王东，蔡云麒，李蓝天，范悦，康嘉文
 ===目标===

@@ 第32行： / 第32行： @@
 ===参考文献===
 * Deng et al., "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", 2018, [https://arxiv.org/abs/1801.07698]
 * Wang et al., "CosFace: Large Margin Cosine Loss for Deep Face Recognition", 2018, [https://arxiv.org/pdf/1801.09414.pdf]

@@ 第35行： / 第35行： @@
 * Wang et al., "CosFace: Large Margin Cosine Loss for Deep Face Recognition", 2018, [https://arxiv.org/pdf/1801.09414.pdf]
 * Liu et al., "SphereFace: Deep Hypersphere Embedding for Face Recognition", 2017[https://arxiv.org/pdf/1704.08063.pdf]
 * Zhong et al., "GhostVLAD for set-based face recognition", 2018. [http://www.robots.ox.ac.uk/~vgg/publications/2018/Zhong18b/zhong18b.pdf link]
 * Chung et al., "Out of time: automated lip sync in the wild", 2016.[http://www.robots.ox.ac.uk/~vgg/publications/2016/Chung16a/chung16a.pdf link]
 * Xie et al., "UTTERANCE-LEVEL AGGREGATION FOR SPEAKER RECOGNITION IN THE WILD", 2019. [https://arxiv.org/pdf/1902.10107.pdf link]
 * Zhang1 et al., "FULLY SUPERVISED SPEAKER DIARIZATION", 2018. [https://arxiv.org/pdf/1810.04719v1.pdf link]

←上一版本		2019年8月22日 (四) 00:58的版本
第31行：		第31行：


−	===~~参与文献~~===	+	===参考文献===
		+	* Deng et al., "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", 2018, [https://arxiv.org/abs/1801.07698]
		+	* Wang et al., "CosFace: Large Margin Cosine Loss for Deep Face Recognition", 2018, [https://arxiv.org/pdf/1801.09414.pdf]
		+	* Liu et al., "SphereFace: Deep Hypersphere Embedding for Face Recognition", 2017[https://arxiv.org/pdf/1704.08063.pdf]

		+	* Zhong et al., "GhostVLAD for set-based face recognition", 2018. [http://www.robots.ox.ac.uk/~vgg/publications/2018/Zhong18b/zhong18b.pdf link]
		+	* Chung et al., "Out of time: automated lip sync in the wild", 2016.[http://www.robots.ox.ac.uk/~vgg/publications/2016/Chung16a/chung16a.pdf link]
		+
		+
		+	* Xie et al., "UTTERANCE-LEVEL AGGREGATION FOR SPEAKER RECOGNITION IN THE WILD", 2019. [https://arxiv.org/pdf/1902.10107.pdf link]
	* Zhang1 et al., "FULLY SUPERVISED SPEAKER DIARIZATION", 2018. [https://arxiv.org/pdf/1810.04719v1.pdf link]		* Zhang1 et al., "FULLY SUPERVISED SPEAKER DIARIZATION", 2018. [https://arxiv.org/pdf/1810.04719v1.pdf link]

←上一版本		2019年8月22日 (四) 00:53的版本
第28行：		第28行：
	===项目报告===		===项目报告===
	[http://cslt.riit.tsinghua.edu.cn/mediawiki/index.php/%E6%96%87%E4%BB%B6:C-STAR.pdf v1.0阶段性报告]		[http://cslt.riit.tsinghua.edu.cn/mediawiki/index.php/%E6%96%87%E4%BB%B6:C-STAR.pdf v1.0阶段性报告]
		+
		+
		+
		+	===参与文献===
		+
		+	* Zhang1 et al., "FULLY SUPERVISED SPEAKER DIARIZATION", 2018. [https://arxiv.org/pdf/1810.04719v1.pdf link]