在自我監(jiān)督學習中(一種AI技術，訓練數(shù)據(jù)由特征提取器自動標記)，提取器可以利用低級特征(稱為“快捷方式”)，從而導致其忽略有用的表示。為了尋找一種可能有助于自動刪除這些快捷方式的技術，Google Brain的研究人員開發(fā)了一個框架-“鏡頭”-使自我監(jiān)督的模型優(yōu)于以傳統(tǒng)方式訓練的模型。

正如研究人員在本周發(fā)表的預印本論文中所解釋的那樣，在自我監(jiān)督的學習中，提取器生成的標簽用于創(chuàng)建需要學習抽象的語義特征的借口任務。然后，例如可以通過對給定目標任務的模型進行微調，將在任務上經過預訓練的模型轉移到標簽價格昂貴的任務上。但是定義借口任務通常具有挑戰(zhàn)性，因為模型傾向于利用最簡單的功能，例如徽標，水印和由相機鏡頭造成的色帶。

幸運的是，對手可以使用模型可用來解決借口任務的功能，使借口任務變得更加困難。研究人員的框架(針對自我監(jiān)督的計算機視覺模型)以輕量級的圖像到圖像處理圖像。經過對抗性訓練的圖像模型稱為“鏡頭”，以減少借口任務的性能。訓練后，可以將鏡頭應用于看不見的圖像，因此可以在將模型轉移到新任務時使用。此外，鏡頭還可以通過聚焦輸入和輸出圖像之間的差異來幫助可視化快捷方式，從而洞悉快捷方式的不同之處。

在實驗中，研究人員在開源數(shù)據(jù)集CIFAR-10上訓練了一種自我監(jiān)督模型，并對其進行預測，以預測稍微旋轉的圖像的正確方向。為了測試鏡頭，他們在輸入圖像上添加了帶有方向信息的快捷方式，這些快捷信息使模型無需學習對象級功能即可解決旋轉任務。研究人員報告說，從合成快捷方式中學到的模型(沒有鏡頭)表示表現(xiàn)不佳，而從鏡頭中學到的特征提取器總體上“戲劇性”地表現(xiàn)更好。

在第二項測試中，該團隊在開源ImageNet語料庫中的一百萬幅圖像上訓練了一個模型，并讓其預測了圖像中包含的一個或多個補丁的相對位置。他們說，對于所有已測試的任務，增加鏡片可以使基線得到改善。

“我們的結果表明，使用經過對抗訓練的鏡頭自動刪除快捷方式的好處可廣泛應用于所有預置任務和數(shù)據(jù)集。此外，我們發(fā)現(xiàn)可以在各種特征提取器功能中觀察到收益。”該研究的合著者寫道。“除了改進表示法之外，我們的方法還使我們可以可視化，量化和比較通過自我監(jiān)督學習的功能。我們確認，我們的方法可以檢測并緩解先前工作中觀察到的捷徑，并且可以揭示鮮為人知的問題。”

在未來的研究中，他們計劃探索新的鏡頭架構，并查看該技術是否可以應用于進一步改進監(jiān)督學習算法。