OpenAI今天在分階段發(fā)布的GPT-2中發(fā)布了最終模型，這是AI社區(qū)多年來一直在談?wù)摰墓之愇谋旧善鳌?/p>

GPT-2使用機(jī)器學(xué)習(xí)根據(jù)有限的輸入生成新穎的文本?；旧?，您可以輸入任何您喜歡的內(nèi)容的句子，然后AI會(huì)吐出一些“相關(guān)”文本。與大多數(shù)“文本生成器”不同，它不輸出預(yù)寫的字符串。至少根據(jù)OpenAI的研究論文，GPT-2構(gòu)成了以前不存在的文本。

這家非營(yíng)利性組織在2月份成為頭條新聞，當(dāng)時(shí)它宣布不會(huì)立即將GPT-2的全尺寸模型全部發(fā)布給公眾。相反，該公司選擇在八個(gè)月內(nèi)分四部分發(fā)布它。

由于我們擔(dān)心該技術(shù)的惡意應(yīng)用，因此我們不會(huì)發(fā)布經(jīng)過訓(xùn)練的模型。作為負(fù)責(zé)任披露的一項(xiàng)實(shí)驗(yàn)，我們將發(fā)布一個(gè)供研究人員進(jìn)行實(shí)驗(yàn)的小得多的模型以及一份技術(shù)論文。

完整模型包含15億個(gè)參數(shù)。訓(xùn)練模型所用的參數(shù)越多，它看起來就越“智能”-就像人類一樣，實(shí)踐可以完美。

最初，OpenAI發(fā)布了具有1.24億個(gè)參數(shù)的模型，隨后發(fā)布了355和7.74億個(gè)參數(shù)。每次迭代都顯示出與以前的迭代相比功能上的顯著提高。我們檢查了774M模型并被吹走了。您可以在此鏈接上自行嘗試，開發(fā)人員Adam King將模型轉(zhuǎn)換為UI。

除了新的1.5B型模型砝碼外，OpenAI還發(fā)布了GPT-2檢測(cè)模型，以盡力防止濫用。不幸的是，根據(jù)OpenAI，檢測(cè)器不如生成器好。該公司在今天的博客中說：

我們進(jìn)行了內(nèi)部檢測(cè)研究，并開發(fā)了一種檢測(cè)模型，其檢測(cè)率約為95%，可檢測(cè)生成的1.5B GPT-2，具體而言，我們基于RoBERTaBASE(1.25億個(gè)參數(shù))和RoBERTaLARGE(3.55億個(gè)參數(shù))建立了序列分類器)并對(duì)其進(jìn)行微調(diào)，以將1.5B GPT-2模型與WebText(我們用來訓(xùn)練GPT-2模型的數(shù)據(jù)集)的輸出進(jìn)行分類。

我們認(rèn)為，對(duì)于獨(dú)立檢測(cè)而言，此準(zhǔn)確性不夠高，需要與基于元數(shù)據(jù)的方法，人為判斷和公共教育相結(jié)合才能更加有效。我們將發(fā)布此模型，以協(xié)助研究合成文本的檢測(cè)，盡管這樣做確實(shí)可以使具有訪問權(quán)限的對(duì)手更好地逃避檢測(cè)。

一旦我們有機(jī)會(huì)嘗試完整的模型，我們將進(jìn)入GPT-2完整版本的對(duì)抗性(積極)用例。在此期間，您可以下載該模型在這里Github上，檢查出的?？ㄔ谶@里，并宣讀OpenAI的博客文章在這里。