WWW 2023 | 自動(dòng)長度選擇的長短期興趣建模模型

論文標(biāo)題：

AutoMLP: Automated MLP for Sequential Recommendations

論文鏈接：

https://arxiv.org/pdf/2303.06337.pdf

盡管存在上述問題，但最近基于 transformer 的高級(jí)模型可以實(shí)現(xiàn)最先進(jìn)的性能，但它們對(duì)輸入序列的長度具有二次計(jì)算復(fù)雜度。為此，本文提出了一種新穎的順序推薦系統(tǒng) AutoMLP，旨在根據(jù)用戶的歷史交互更好地建模用戶的長期/短期興趣。此外，我們通過端到端優(yōu)化設(shè)計(jì)了一種自動(dòng)自適應(yīng)搜索算法，以獲得更可取的短期興趣長度。通過廣泛的實(shí)驗(yàn)，我們表明 AutoMLP 與最先進(jìn)的方法相比具有競爭力的性能，同時(shí)保持線性計(jì)算復(fù)雜性。

如下圖所示，一個(gè)用戶的行為，可能收到長期行為的影響（user1），也可能收到短期行為的影響（user2），也有可能 both（user3）。

序列推薦的三個(gè)重要信息：
1. 相對(duì)靜態(tài)的長期興趣；2. 相對(duì)獨(dú)立、動(dòng)態(tài)的短期興趣；3. item 的屬性特征。
現(xiàn)有的方法有：1. 基于 RNN 的方法，難以捕獲長期依賴；2. 基于 transformer 的方法，位置不敏感，難以區(qū)分異構(gòu)的長短期行為，并且由于 2 次復(fù)雜度，也不能應(yīng)用在太長的序列上；3. 因此出現(xiàn)了長短期興趣分開建模的方法，但這種方法往往利用經(jīng)驗(yàn)選擇固定長度的短期興趣，顯然無法自適應(yīng)不同的場景與任務(wù)。
因此提出了 AutoMLP 模型，全稱為：Automated Long-term Short-term Multi-Layer Perceptron for sequential recommendation。AutoMLP 僅包含 MLP 塊，因此保持線性時(shí)間和空間復(fù)雜度。autoMLP 設(shè)計(jì)了一個(gè)長期興趣模塊和一個(gè)短期興趣模塊來分別捕捉長期和短期的依賴關(guān)系。為了自動(dòng)適應(yīng)不同任務(wù)的短期興趣窗口，利用連續(xù)松弛將離散序列長度通過 AutoML 技術(shù)轉(zhuǎn)換為連續(xù)且可微分的表示，這可以通過梯度下降進(jìn)行優(yōu)化。
02 方法

現(xiàn)在我們介紹 AutoMLP 的概述——一種完全基于 MLP 架構(gòu)的順序推薦系統(tǒng)，它可以自動(dòng)學(xué)習(xí)適合不同順序推薦應(yīng)用的短期用戶興趣長度。AutoMLP 的主體由兩個(gè)獨(dú)立的基于 MLP 的網(wǎng)絡(luò)組成，即長期用戶興趣模塊和短期興趣模塊，如下圖所示。
具體來說，長期用戶興趣模塊占據(jù)了整個(gè)用于預(yù)測的用戶歷史行為序列，因此更傾向于長期的順序依賴。另一方面，短期用戶興趣模塊在 time 之前獲取一定數(shù)量的最新交互，傾向于對(duì)短期順序依賴性進(jìn)行建模。最近交互的數(shù)量將由神經(jīng)架構(gòu)搜索（NAS）算法 DARTS 確定，該算法利用連續(xù)松弛使神經(jīng)架構(gòu)搜索空間可微，因此可以通過梯度下降進(jìn)行優(yōu)化。最后，分離模塊的輸出將由全連接層融合以預(yù)測下一個(gè)交互項(xiàng)。

長期興趣模塊的輸入是全部序列，過幾個(gè) SRSMLP 層得到用戶的長期興趣表示。SRSMLP 層就是一個(gè) mlp-mixer，包括一個(gè) Sequence-mixer 和 Channel-mixer，具體結(jié)構(gòu)如下：
SRSMLP
這個(gè)結(jié)構(gòu)也非常簡單，Sequence-mixer 就是在序列維度（embedding 層的 T）做 MLP，公式如下：

Channel-mixer 就是在特征維度（embedding 層的 D）做 MLP，公式如下：

短期興趣模塊也是過幾個(gè) SRSMLP 層，關(guān)鍵在于能用數(shù)據(jù)驅(qū)動(dòng)的方式自動(dòng)選擇 k 個(gè)短期行為，即：Session Length Search。

實(shí)現(xiàn)參考了 DARTS 的網(wǎng)絡(luò)架構(gòu)搜索算法，先設(shè)置 M 個(gè)短期行為的候選長度：，對(duì)每個(gè)候選 k 都過一個(gè) SRSMLP 層，并為每個(gè) k 分配一個(gè)可學(xué)習(xí)的架構(gòu)權(quán)重：，之后應(yīng)用 softmax 將權(quán)重轉(zhuǎn)換為連續(xù)且可微的近似值。

p.s. 讀者問：softmax 的結(jié)果仍是一個(gè)連續(xù)值，雖然訓(xùn)練時(shí)可微，但推理時(shí)并非是 ont-hot 那樣的選擇，而是加權(quán)融合，那么 Session Length Search 的選擇體現(xiàn)在哪里？
Discussion：由于短期興趣長度的值與模型性能之間的影響不是單調(diào)的，因此要確定局部最優(yōu)值必須應(yīng)用窮舉搜索，這對(duì)于長用戶-項(xiàng)目交互序列來說計(jì)算量極大，因?yàn)橛懈嗫赡艿暮蜻x人。因此，這種方法的主要優(yōu)點(diǎn)是在不枚舉所有可能的模型架構(gòu)的情況下學(xué)習(xí)局部最優(yōu)用戶短期興趣長度并重復(fù)訓(xùn)練它們，從而使選擇短期興趣長度的決策過程高效且自適應(yīng)。

將長短期興趣拼接或相加（文中沒有明確說明）后過一個(gè) mlp。

訓(xùn)練過程包含兩個(gè)階段。第一階段是搜索階段，旨在找到代表優(yōu)選短期長度的局部最優(yōu)A*（長度權(quán)重）。第二階段是再訓(xùn)練階段，在找到 A? 后，我們用最佳短期長度重新訓(xùn)練 AutoMLP 框架。（回答了前面的讀者問）

雖然 是 AutoMLP 可學(xué)習(xí)參數(shù)的一個(gè)子集，但文獻(xiàn)表明，簡單地更新 W和A 完全會(huì)導(dǎo)致訓(xùn)練過程中的過度擬合問題，因?yàn)樗鼈儽舜烁叨纫蕾嚒Ｒ虼?，本文按照慣例使用訓(xùn)練數(shù)據(jù)集優(yōu)化W，同時(shí)使用驗(yàn)證數(shù)據(jù)集優(yōu)化A。具體來說，本文將其表述為雙層優(yōu)化，其中上層變量和下層變量 。形式上，將其表示為：

上式是一個(gè)嚴(yán)格的等式，很難優(yōu)化，因此替換為下式近似：

完整的訓(xùn)練過程為：

這一階段就是固定短期興趣長度后，再訓(xùn)練 W。