IJCAI 2021 | 系統(tǒng)調(diào)研168篇文獻(xiàn)，領(lǐng)域泛化首篇綜述問(wèn)世

以下文章來(lái)源于王晉東不在家 ，作者王晉東

編者按：近年來(lái)，遷移學(xué)習(xí)中的領(lǐng)域泛化正引起越來(lái)越多的關(guān)注，其在眾多領(lǐng)域都得到了廣泛應(yīng)用。在 IJCAI 2021 上，微軟亞洲研究院研究員王晉東發(fā)表了該領(lǐng)域的第一篇綜述論文，梳理總結(jié)了領(lǐng)域泛化方向的發(fā)展現(xiàn)狀與未來(lái)發(fā)展方向。

領(lǐng)域泛化（Domain Generalization, DG）是近幾年非常熱門的一個(gè)研究方向。它研究的問(wèn)題是從若干個(gè)具有不同數(shù)據(jù)分布的數(shù)據(jù)集（領(lǐng)域）中學(xué)習(xí)一個(gè)泛化能力強(qiáng)的模型，以便在未知（Unseen）的測(cè)試集上取得較好的效果。

本文是介紹領(lǐng)域泛化的第一篇綜述文章《Generalizing to Unseen Domains: A Survey on Domain Generalization》。該論文一共調(diào)研了168篇文獻(xiàn)，其中直接與領(lǐng)域泛化相關(guān)的有90篇。文章從問(wèn)題定義、理論分析、方法總結(jié)、數(shù)據(jù)集和應(yīng)用介紹、未來(lái)研究方向等幾大方面對(duì)領(lǐng)域泛化問(wèn)題進(jìn)行了詳細(xì)的概括和總結(jié)。

該論文的精簡(jiǎn)版已被國(guó)際人工智能頂會(huì) IJCAI 2021 錄用。

文章鏈接：

https://arxiv.org/abs/2103.03097

PDF：https://arxiv.org/pdf/2103.03097

作者單位：微軟亞洲研究院、中央財(cái)經(jīng)大學(xué)

問(wèn)題定義

領(lǐng)域泛化問(wèn)題與領(lǐng)域自適應(yīng)（Domain Adaptation, DA）最大的不同：領(lǐng)域自適應(yīng)在訓(xùn)練中，源域和目標(biāo)域數(shù)據(jù)均能訪問(wèn)（無(wú)監(jiān)督領(lǐng)域自適應(yīng)中則只有無(wú)標(biāo)記的目標(biāo)域數(shù)據(jù)）；而在領(lǐng)域泛化問(wèn)題中，我們只能訪問(wèn)若干個(gè)用于訓(xùn)練的源域數(shù)據(jù)，測(cè)試數(shù)據(jù)是不能訪問(wèn)的。毫無(wú)疑問(wèn)，領(lǐng)域泛化是比領(lǐng)域自適應(yīng)更具有挑戰(zhàn)性和實(shí)用性的場(chǎng)景：畢竟我們都喜歡「一次訓(xùn)練、到處應(yīng)用」的足夠泛化的機(jī)器學(xué)習(xí)模型。

例如，在下圖中，領(lǐng)域自適應(yīng)問(wèn)題假定訓(xùn)練集和測(cè)試集都可以在訓(xùn)練過(guò)程中被訪問(wèn)，而領(lǐng)域泛化問(wèn)題中則只有訓(xùn)練集。

圖1：PACS數(shù)據(jù)集中領(lǐng)域泛化示例。訓(xùn)練集數(shù)據(jù)由簡(jiǎn)筆畫、卡通畫、藝術(shù)畫作構(gòu)成的圖片。領(lǐng)域泛化的目的是學(xué)習(xí)一個(gè)在未知目標(biāo)域中表現(xiàn)良好的泛化模型。

領(lǐng)域泛化問(wèn)題的示意圖如下所示，其形式化定義如下：

圖2：領(lǐng)域泛化示意圖

領(lǐng)域泛化不僅與領(lǐng)域自適應(yīng)問(wèn)題有相似之處，其與多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)、終身學(xué)習(xí)等，都有一些類似和差異之處。我們?cè)谙卤碇袑?duì)它們的差異進(jìn)行了總結(jié)。

表1：領(lǐng)域泛化與其它相關(guān)學(xué)習(xí)范式對(duì)比

理論

我們從領(lǐng)域自適應(yīng)理論出發(fā)，分析影響不同領(lǐng)域?qū)W習(xí)結(jié)果的因素，如 圖片-divergence、圖片-divergence 等，繼而過(guò)渡到領(lǐng)域泛化問(wèn)題中，分析影響模型泛化到新領(lǐng)域的因素。從理論上總結(jié)了領(lǐng)域泛化問(wèn)題的重要結(jié)果，為今后進(jìn)行相關(guān)研究指明了理論方向。

詳細(xì)結(jié)果請(qǐng)參考原文第 3 部分。

方法

領(lǐng)域泛化方法是我們的核心。我們將已有的領(lǐng)域泛化方法按照數(shù)據(jù)操作、表征學(xué)習(xí)、學(xué)習(xí)策略分為三大方面，如下圖所示。

圖3：領(lǐng)域泛化方法分類

其中：

數(shù)據(jù)操作，指的是通過(guò)對(duì)數(shù)據(jù)的增強(qiáng)和變化使訓(xùn)練數(shù)據(jù)得到增強(qiáng)。這一類包括數(shù)據(jù)增強(qiáng)和數(shù)據(jù)生成兩大部分。

表征學(xué)習(xí)，指的是學(xué)習(xí)領(lǐng)域不變特征（Domain-invariant representation learning）以使得模型對(duì)不同領(lǐng)域都能進(jìn)行很好地適配。領(lǐng)域不變特征學(xué)習(xí)方面主要包括四大部分：核方法、顯式特征對(duì)齊、領(lǐng)域?qū)褂?xùn)練、以及不變風(fēng)險(xiǎn)最小化（Invariant Risk Minimiation, IRM）。特征解耦與領(lǐng)域不變特征學(xué)習(xí)的目標(biāo)一致、但學(xué)習(xí)方法不一致，我們將其單獨(dú)作為一大類進(jìn)行介紹。

學(xué)習(xí)策略，指的是將機(jī)器學(xué)習(xí)中成熟的學(xué)習(xí)模式引入多領(lǐng)域訓(xùn)練中使得模型泛化性更強(qiáng)。這一部分主要包括基于集成學(xué)習(xí)和元學(xué)習(xí)的方法。同時(shí)，我們還會(huì)介紹其他方法，例如自監(jiān)督方法在領(lǐng)域泛化中的應(yīng)用。

在文章中，我們對(duì)每大類方法都進(jìn)行了詳細(xì)地介紹與總結(jié)。

應(yīng)用與數(shù)據(jù)集

領(lǐng)域泛化問(wèn)題在眾多領(lǐng)域都得到了廣泛應(yīng)用。大多數(shù)已有工作偏重于設(shè)計(jì)更好的領(lǐng)域泛化方法，因此，其往往都在圖像分類數(shù)據(jù)上進(jìn)行評(píng)估。除此之外，領(lǐng)域泛化方法還被應(yīng)用于行人再識(shí)別（Re-ID）、語(yǔ)義分割、街景識(shí)別、視頻理解等計(jì)算機(jī)視覺(jué)的主流任務(wù)中。

特別地，領(lǐng)域泛化方法被廣泛應(yīng)用于健康醫(yī)療領(lǐng)域，例如帕金森病識(shí)別、組織分割、X 光胸片識(shí)別、以及震顫?rùn)z測(cè)等。

在自然語(yǔ)言處理領(lǐng)域，領(lǐng)域泛化被用于情感分析、語(yǔ)義分割、網(wǎng)頁(yè)分類等應(yīng)用。

領(lǐng)域泛化也在強(qiáng)化學(xué)習(xí)、自動(dòng)控制、故障檢測(cè)、語(yǔ)音檢測(cè)、物理學(xué)、腦機(jī)接口等領(lǐng)域中得到了廣泛應(yīng)用。

下圖展示了領(lǐng)域泛化問(wèn)題中流行的標(biāo)準(zhǔn)數(shù)據(jù)集。

表2：領(lǐng)域泛化8個(gè)主流數(shù)據(jù)集

未來(lái)挑戰(zhàn)

我們對(duì)領(lǐng)域泛化進(jìn)行了以下展望：

連續(xù)領(lǐng)域泛化：一個(gè)系統(tǒng)應(yīng)具有連續(xù)進(jìn)行泛化和適配的能力，目前只是離線狀態(tài)的一次應(yīng)用。

新類別的領(lǐng)域泛化：目前我們假定所有的領(lǐng)域具有相同的類別，未來(lái)需要擴(kuò)展到不同類別中、乃至新類別中。

可解釋的領(lǐng)域泛化：盡管基于解耦的方法在可解釋性上取得了進(jìn)步，但是，其他大類的方法的可解釋性仍然不強(qiáng)。未來(lái)需要對(duì)它們的可解釋性進(jìn)行進(jìn)一步研究。

大規(guī)模預(yù)訓(xùn)練與領(lǐng)域泛化：眾所周知，大規(guī)模預(yù)訓(xùn)練（如 BERT）已成為主流，那么在不同問(wèn)題的在規(guī)模預(yù)訓(xùn)練中，我們?nèi)绾卫妙I(lǐng)域泛化方法來(lái)進(jìn)一步提高這些預(yù)訓(xùn)練模型的泛化能力？

領(lǐng)域泛化的評(píng)價(jià)：盡管有工作在經(jīng)驗(yàn)上說(shuō)明已有的領(lǐng)域泛化方法的效果并沒(méi)有大大領(lǐng)先于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，但其只是基于最簡(jiǎn)單的分類任務(wù)。我們認(rèn)為領(lǐng)域泛化需要在特定的評(píng)測(cè)，例如行人再識(shí)別中才能最大限度地發(fā)揮其作用。未來(lái)，我們需要找到更適合領(lǐng)域泛化問(wèn)題的應(yīng)用場(chǎng)景。