編者按：數(shù)字信息時(shí)代人們獲取新聞的方式越來(lái)越高效，但是獲取新聞中關(guān)鍵信息的效率卻很低,。而 NLP 領(lǐng)域的新聞標(biāo)題生成任務(wù) (News Headline Generation)則可以基于新聞?wù)?，自?dòng)生成包含關(guān)鍵信息的簡(jiǎn)短標(biāo)題,，使讀者可以高效地獲知新聞中的重要內(nèi)容,。

為了開(kāi)展新聞標(biāo)題生成任務(wù)的研究，微軟亞洲研究院的研究員們構(gòu)建了個(gè)可以離線評(píng)測(cè)個(gè)性化新聞標(biāo)題生成方法的基準(zhǔn)數(shù)據(jù)集：PENS（PErsonalized News headlineS）數(shù)據(jù)集,；同時(shí)還提出了一種個(gè)性化新聞標(biāo)題生成的通用框架,，并且對(duì)其進(jìn)行了效果評(píng)估。該論文 “PENS: A Dataset and Generic Framework for Personalized News Headline Geneation" 已被 ACL 2021 收錄,。

在數(shù)字信息時(shí)代,，由于文本信息的數(shù)量、傳播速度都以指數(shù)形式增長(zhǎng)，因此導(dǎo)致信息過(guò)載問(wèn)題日趨嚴(yán)重,。以新聞為例，每天新發(fā)布的新聞消息不計(jì)其數(shù),，用戶難以在有限的時(shí)間內(nèi),，從海量的新聞中篩選出感興趣的文章進(jìn)一步閱讀，因而用簡(jiǎn)明的語(yǔ)言概括新聞的關(guān)鍵信息非常重要,。在 NLP 領(lǐng)域,，新聞標(biāo)題生成任務(wù)（News Headline Generation）可以基于新聞?wù)模詣?dòng)生成包含關(guān)鍵信息的簡(jiǎn)短標(biāo)題,，使讀者高效地獲知新聞中的重要內(nèi)容,。由于標(biāo)題本身是對(duì)新聞?wù)牡母叨雀爬ǎ虼松蓸?biāo)題的簡(jiǎn)潔性,、流暢性和事實(shí)一致性,，對(duì)該技術(shù)來(lái)說(shuō)是一項(xiàng)挑戰(zhàn)。

近年來(lái),，隨著用戶個(gè)性化服務(wù)的普及與人工智能技術(shù)的進(jìn)步,，新聞網(wǎng)站等內(nèi)容平臺(tái)希望通過(guò)標(biāo)題來(lái)吸引讀者的閱讀興趣，但同時(shí)又要避免“標(biāo)題黨"現(xiàn)象的發(fā)生,。因此,，生成個(gè)性化新聞標(biāo)題成為標(biāo)題生成領(lǐng)域的一個(gè)全新研究方向。

什么是個(gè)性化新聞標(biāo)題呢,？舉個(gè)例子,，有一篇報(bào)道籃球比賽的新聞，其潛在的用戶受眾通常是比賽球隊(duì)的球迷,。如果新聞標(biāo)題不考慮用戶的閱讀興趣,，只是客觀地描述比賽結(jié)果，那么輸球一方的球迷進(jìn)一步閱讀這條新聞的概率可能較小,，因?yàn)楫?dāng)他們看到標(biāo)題時(shí)就已經(jīng)知道自己支持的球隊(duì)輸了比賽,，再具體了解輸球過(guò)程的意愿就會(huì)相對(duì)較低。但是,，如果考慮用戶的閱讀興趣,，對(duì)不同球隊(duì)的球迷呈現(xiàn)個(gè)性化的標(biāo)題（如圖1所示），那么即使是輸球方的球迷,，可能也愿意去了解這條新聞的內(nèi)容,。比如，以球迷支持的球星為標(biāo)題的核心詞,，突出球員的個(gè)人表現(xiàn),。

© 微軟亞洲研究院

圖1：個(gè)性化新聞標(biāo)題的實(shí)例

個(gè)性化新聞標(biāo)題生成任務(wù)的定義是：給定用戶歷史閱讀行為數(shù)據(jù)和候選新聞內(nèi)容，生成用戶專屬的不同新聞標(biāo)題。生成的標(biāo)題既要引起用戶的閱讀興趣,，提高用戶進(jìn)一步閱讀,、獲取更高點(diǎn)擊和閱讀量的可能，又要兼顧新聞標(biāo)題的事實(shí)一致性,，保證用戶的閱讀質(zhì)量,，避免成為標(biāo)題黨。它有兩個(gè)重點(diǎn)子任務(wù)：

①學(xué)習(xí)用戶的個(gè)性化閱讀興趣：通過(guò)用戶歷史閱讀行為信息,，可以對(duì)用戶的個(gè)性化閱讀興趣建模,，從而學(xué)習(xí)用戶的個(gè)性化表示；

②生成個(gè)性化新聞標(biāo)題：將用戶的個(gè)性化表示算法與新聞標(biāo)題生成算法融合,，實(shí)現(xiàn)為不同閱讀興趣的用戶生成不同的新聞標(biāo)題,。

因此，以個(gè)性化標(biāo)題展示的新聞,，由于更能引起用戶的閱讀興趣,，進(jìn)而可能獲得更高的點(diǎn)擊和閱讀量，將成為新聞平臺(tái)關(guān)注的新興研究領(lǐng)域,。

可離線評(píng)測(cè)的數(shù)據(jù)集 PENS

開(kāi)展個(gè)性化新聞標(biāo)題生成的研究,，需要一個(gè)大規(guī)模的數(shù)據(jù)集，以開(kāi)展離線評(píng)測(cè),。否則,，當(dāng)測(cè)試不同算法的表現(xiàn)時(shí)，研究者可能需要不斷重復(fù)線上 A/B 測(cè)試,，或者通過(guò)組織人工評(píng)價(jià)的方式來(lái)觀察算法效果,，不但實(shí)現(xiàn)成本高，而且公平性及可復(fù)現(xiàn)性均難以保證,。

為了進(jìn)一步研究個(gè)性化新聞標(biāo)題的生成,，微軟亞洲研究院的研究員們構(gòu)建了PENS（PErsonalized News headlineS）數(shù)據(jù)集，該數(shù)據(jù)集是個(gè)離線評(píng)測(cè)個(gè)性化新聞標(biāo)題生成方法的基準(zhǔn)數(shù)據(jù)集,，且所有數(shù)據(jù)基于 Microsoft News 用戶的匿名化新聞點(diǎn)擊記錄構(gòu)建,，同時(shí)包含了用戶行為信息和新聞?wù)Z料信息。

PENS 的新聞?wù)Z料庫(kù)包含了約11萬(wàn)則英文新聞文章,，每篇新聞文章都由四部分內(nèi)容組成：新聞ID,、新聞標(biāo)題、新聞?wù)暮托侣勵(lì)悇e標(biāo)簽,。所有訓(xùn)練和測(cè)試數(shù)據(jù)中出現(xiàn)的新聞,，都與語(yǔ)料庫(kù)中文章的新聞 ID一一對(duì)應(yīng)。 PENS 的訓(xùn)練數(shù)據(jù)集則包含了匿名用戶的新聞曝光日志（Impression Log）,，其中包括44萬(wàn)名匿名用戶的50萬(wàn)次新聞曝光日志,，以及每名用戶的歷史點(diǎn)擊信息,。具體而言，每一條訓(xùn)練數(shù)據(jù)都由五部分內(nèi)容組成：用戶 ID,、曝光時(shí)間戳,、點(diǎn)擊新聞列表、未點(diǎn)擊新聞列表,、用戶歷史點(diǎn)擊新聞列表,。所有列表中出現(xiàn)的新聞按曝光時(shí)間排序。

為了滿足離線評(píng)測(cè)的需求,，研究員們邀請(qǐng)了103名以英語(yǔ)為母語(yǔ)的高校學(xué)生（以下簡(jiǎn)稱“標(biāo)注者"），人工創(chuàng)建 PENS 的測(cè)試數(shù)據(jù)集,。其構(gòu)造過(guò)程分為兩個(gè)階段：階段,，每位標(biāo)注者瀏覽1000條從新聞?wù)Z料庫(kù)中隨機(jī)抽取的新聞標(biāo)題，并從中選擇少50個(gè)自己感興趣的標(biāo)題,，視為該用戶的歷史點(diǎn)擊行為,；第二階段，每位標(biāo)注者為另外200篇新聞?wù)淖珜?xiě)心中的理想標(biāo)題,。這些人工撰寫(xiě)的新聞標(biāo)題由專業(yè)新聞編輯審查質(zhì)量,。低質(zhì)量的標(biāo)題會(huì)被刪除（例如過(guò)長(zhǎng)、過(guò)短或與正文不符）,，剩余合格的標(biāo)題作為相應(yīng)用戶的個(gè)性化新聞標(biāo)題的 標(biāo)準(zhǔn),。

研究員們認(rèn)為，這些標(biāo)注者雖然不具備專業(yè)的新聞編輯素養(yǎng),，但其人工撰寫(xiě)的標(biāo)題能夠充分反映他們的個(gè)性化閱讀興趣,，因此可以作為測(cè)試時(shí)的“標(biāo)準(zhǔn)答案"。終,，這103名標(biāo)注者構(gòu)建的點(diǎn)擊行為數(shù)據(jù)和撰寫(xiě)的2萬(wàn)多個(gè)個(gè)性化新聞標(biāo)題構(gòu)成了 PENS 的測(cè)試數(shù)據(jù)集,。在此數(shù)據(jù)集上，個(gè)性化新聞標(biāo)題生成方法可以采用文本生成中常采用的評(píng)價(jià)指標(biāo)來(lái)評(píng)估其效果,，如 BLEU,、ROUGE 等。

VNS012 14AK FNV R   

VNS011 14AK EAR K    

VNS011 14SAKEAR 8P1.1  

VNS012 14AKEAR 8P1.X  

VCS0 9614AKVRZ 5P0.5P0+2*0GF6G

VCSO 9614SKERZ 5PO+1*OGF6G 

VCS0 9614AKVRZ 5P0.5P0+2*0GF6G

VCSO 9614SKERZ 5PO+1*OGF6G 

VNSO 33 FN14 AKVRZ 40.40

VNS0 22 FN 18 AK VR H 9P1.9P1+2*PQ55

VV8LB3WK4DA11-6Z+6Z-B-A110-X 

V8RB3DDDD-4Z+4Z-B-A060       

UNS022.18EAR SS 8557-C2

VNS02-18 AKARHU//SS8557-C1//SPOHN & BURKHARDT

 VNSO33FN14AKVRHU 40.40  

VNSO4FN18SKERZU

VNSO33FN18AKVRHD40.40 

VNS04FN14AKEB

 UNS022FN18KKUR12 9P1 9P1

VCS07211KKVR H10.PN+OEGP 10U 

VNSO13FU18KKVR10.30 

VCS09614AKERZ40   

 VCS09614AKEBZ40 

 VCS09614AKERZ40 

 VNSO2 FN 11SKEZ20 

VNSO311AKA8P2 

VNS022FU18KKVR 5P0.5P0      

VNS022FU18AKVRHD 5P0.5P0    

VNS022FU18AKVRHDVSS        

VNSO 3FN14SKERZ40 

NSO2 FN 11SKEZ20 

VNSO311AKA8P2 

CS0VRH72*72 

杰斯曼主令 VV64.3SJ F NO:0.001 1607/2-02  

杰斯曼主令 VV64.3SJ F NO:0.001 1607/1-01   

CS17214ERZ10    

CS17214KKVRZ10.10

UNS022FN18KKUR 1Z 9P1 

UNS02FN18SKER 1Z 9P1  

VNSO22.18KKEAR9P1.9P1 KOM NR 2024205-5 5/07帶編碼器及凸輪

VNSO22.18AKEARH 9P1.9P1 KOM NR 2024205-6 5/07帶編碼器及凸輪

VNSO 2 18 SK FNER2 

VNS022FN18AKVRIPZ 5PO.5PO

 VNS022FU18KKVRIPI 5PO.5PO

VNSO 3 FN 18 SK ER Z 40 

VNSO 33 FN 18 AK VR Z 40,40 

 PL300-5KO-0-5KO AAV  S256  

VNS033FN18AKVRIPZ40.40 

VCS07211ER HDFUZ240 帶安全按鈕 

VCS09611AKERTBP2+1XOGF6B/2067889.4.2

 VNS02218KKEARHDUZ9P19P1+2VER8G  

 VNS02218KKEARHDUZ9P19P1  

VNSO22FN18AKVRIPZ5P0.5PO 2*OELG

VNSO22FU18AKVRIPZ5P0.5PO 3*OELG

NSO 4FN 14 E G1 nach SS 11555-7B