谷歌請印度標(biāo)注員給Reddit評論數(shù)據(jù)集打標(biāo)簽，錯誤率高達30%？

可以確定的是，人工標(biāo)注員完全沒懂 Reddit 網(wǎng)友的梗。

去年，谷歌發(fā)布了 GoEmotions 數(shù)據(jù)集，該數(shù)據(jù)集包含 58K 人工標(biāo)注的 Reddit 評論，其中涉及 27 種情緒。

但一位名叫 Edwin Chen 的機器學(xué)習(xí)工程師卻在使用該數(shù)據(jù)集的時候，偶然發(fā)現(xiàn)了一些令人哭笑不得的錯誤。
他們本來嘗試自己在 GoEmotions 數(shù)據(jù)集上訓(xùn)練模型，注意到似乎存在一些深層的質(zhì)量問題。于是他們隨機抽取了 1000 條評論，在其中 308 條中發(fā)現(xiàn)了嚴(yán)重錯誤。
這里舉一些有代表性的例子：

• aggressively tells friend I love them—— 被標(biāo)記為「憤怒」
• Yay, cold McDonald's. My favorite.—— 被標(biāo)記為「喜愛」
• Hard to be sad these days when I got this guy with me—— 被標(biāo)記為「悲傷」
• Nobody has the money to. What a joke—— 被標(biāo)記為「愉悅」
• ……

光是從抽取的評論中，他們就統(tǒng)計到了 25 種被錯誤標(biāo)記的情緒。
在人工智能領(lǐng)域，數(shù)據(jù)標(biāo)注是一項非常基礎(chǔ)，但也非常關(guān)鍵的工作。好的數(shù)據(jù)對于訓(xùn)練模型至關(guān)重要，當(dāng)數(shù)據(jù)面臨如此離譜的錯誤時，又該怎么訓(xùn)練模型并評估模型的性能呢？
Edwin Chen 最后發(fā)問：「我們真的可以相信谷歌能夠創(chuàng)造出公正的現(xiàn)實世界人工智能嗎？」
所以，是什么導(dǎo)致了這些問題？
有人說：「有沒有可能，他們沒請人工標(biāo)注員，或者請的人工標(biāo)注員并未掌握流利的英語？」

據(jù)了解，GoEmotions 數(shù)據(jù)集的標(biāo)注還是有人工參與的，只不過這些標(biāo)注員是「以英語為母語的印度人」。
在論文的第 3.3 節(jié)中，有這么一段話：「我們給每個樣本分配了三個評估者。對于那些評估者沒有達成一致的樣本，我們分配了兩個額外的評估者。所有評估者都是以英語為母語的印度人?！?/span>

因為根據(jù)「Cowen et al. (2019b) 這項研究的結(jié)論，印度和美國兩地的英語使用者的情緒判斷維度很大程度上是相同的。

事實是，盡管掌握了流利的英語，標(biāo)注員之中的許多人可能不了解所標(biāo)注文本的文化、社會背景。但這卻是關(guān)鍵要點之一，尤其是對于 NLP 數(shù)據(jù)集，標(biāo)注者必須具備充分的文化意識。

也就是說，鑒于很多標(biāo)注員可能缺乏必要的背景知識，即使大多數(shù)的數(shù)據(jù)標(biāo)注都不存在爭議了（如上圖），也不代表標(biāo)注結(jié)果就是完全正確的。
造成這種問題的另一個重要原因是，數(shù)據(jù)集中的數(shù)據(jù)都沒有附加的元數(shù)據(jù) (比如作者或子版塊名稱)。原論文中也提到了這一點：

語言不是處于真空之中的，它所在的版塊等信息非常重要。谷歌在構(gòu)建數(shù)據(jù)集時卻忽略了這一點。
這不是一個孤立事件：作者還提到，假如連谷歌這種擁有大量資源的公司都難以創(chuàng)建準(zhǔn)確的數(shù)據(jù)集，那么我們見過的其他數(shù)據(jù)集質(zhì)量更是難以想象。

好消息是，已經(jīng)有學(xué)者關(guān)注到了這個問題。上個月，吳恩達發(fā)起了「以數(shù)據(jù)為中心的 AI」倡議，他表示，專注于提升人工智能系統(tǒng)的數(shù)據(jù)質(zhì)量將有助于釋放其全部力量。
如果你想部署現(xiàn)實中 work 的機器學(xué)習(xí)模型，是時候關(guān)注高質(zhì)量數(shù)據(jù)集而不是更大的模型了。
參考鏈接：https://arxiv.org/pdf/2005.00547.pdfhttps://www.surgehq.ai/blog/30-percent-of-googles-reddit-emotions-dataset-is-mislabeled