鵝廠搞了個150多人的“翻譯公司”，從老板到員工都是AI智能體！
主營業(yè)務(wù)是翻譯網(wǎng)絡(luò)小說，質(zhì)量極高，參與評價的讀者認(rèn)為比真人翻譯得還要好。
而且相比于雇傭真人，用它來翻譯文學(xué)作品，成本降低了近80倍。
公司名為TransAgents，每個崗位都配備了30個不同的職工，能夠根據(jù)語言、體裁和目標(biāo)受眾適配不同的翻譯風(fēng)格。
相比于傳統(tǒng)的翻譯，產(chǎn)出的譯文更加靈活多樣，也更符合目標(biāo)語言的表達(dá)習(xí)慣，文學(xué)性也更強。
所以，TransAgents雖然在以相似度為基礎(chǔ)的自動評估中“失敗”，卻贏得了讀者和專業(yè)人士的大力肯定。
這樣的表現(xiàn)甚至讓人感嘆說，或許人類對人工智能生成的內(nèi)容更加青睞的時代，就要來了。
還有人表示，TransAgents是證明自己錯看了人工智能的又一證據(jù)——本以為由于模型限制，小說的翻譯對AI會極其困難，結(jié)果AI智能體把這個任務(wù)完成得非常好。
所以，TransAgents到底有沒有那么神呢？
真人和GPT-4都說好
為了評估TransAgents的翻譯質(zhì)量，作者選擇了WMT2023數(shù)據(jù)集，需要對其進(jìn)行篇章級的文學(xué)翻譯。
該數(shù)據(jù)集從12部網(wǎng)絡(luò)小說中各截取了20個連續(xù)的章節(jié)，涉及如下八種類型：
游戲類（Video Games，VG）
東方玄幻類（Eastern Fantasy，EF）
科幻愛情類（Sci-fi Romance，SR）
當(dāng)代愛情類（Contemporary Romance，CR）
玄幻類（Fantasy，F(xiàn)）
科幻類（Science Fiction，SF）
恐怖驚悚類（Horror & Thriller，HT）
玄幻愛情類（Fantasy Romance，F(xiàn)R）
起初，作者使用d-BLEU進(jìn)行了自動評估，該方法會與參考樣本進(jìn)行相似度計算，相似度越高得分也就越高。
具體到本項目當(dāng)中，參考樣本一共有兩組，樣本一是人工給出的翻譯結(jié)果，樣本二是對網(wǎng)絡(luò)中的雙語文本進(jìn)行對齊后得到。
結(jié)果，TransAgents的得分并不理想，只有25分，連SOTA的一半都不到。
但這并不意味著TransAgents的翻譯質(zhì)量不行，而是因為用相似度來衡量文學(xué)作品翻譯的表現(xiàn)，本身就有失偏頗。
文學(xué)翻譯不是逐字對照，而是需要在語義、語氣、風(fēng)格等方面進(jìn)行創(chuàng)造性的轉(zhuǎn)換，這些轉(zhuǎn)換可能導(dǎo)致譯文與參考譯文在表面上差異較大，相似度不高自然就不意外了。
所以，作者干脆直接讓真人（至少10人）來評價翻譯的質(zhì)量，順便也讓GPT-4（0125-Preview）來看了看，在TransAgents、GPT-4（1106-Preview）和真人當(dāng)中，誰的翻譯好。
測評者會看到針對同一段原文的不同翻譯，其中真人只看譯文，GPT-4則是原文譯文都看。
結(jié)果，真人測評者有超過一半都認(rèn)為TransAgents比人類翻譯得更好，8.4%認(rèn)為兩者質(zhì)量相當(dāng)，GPT-4也認(rèn)為TransAgents比自己（和人類）的翻譯質(zhì)量高。
除了這些大眾評審之外，兩名專業(yè)的翻譯也認(rèn)為，雖然人工翻譯更加忠實于原文，但TransAgents給出的翻譯明顯更有文學(xué)色彩，更加簡潔、在遣詞用句上體現(xiàn)出了語言天賦和深厚的文學(xué)表現(xiàn)力。
MATTR和MTLD測試指標(biāo)也證明了這一點，尤其是在MTLD上，TransAgents的語言多樣性比真人和GPT-4高出了三分之一左右。
在作者展示的案例中，TransAgents會根據(jù)目標(biāo)語言的習(xí)慣對翻譯內(nèi)容做出調(diào)整，真人（Ref1）和GPT-4雖然翻的也沒錯，但相比之下不如TransAgents符合語言習(xí)慣。
另外在前后一致性上，TransAgents也超過了單純使用GPT-4，對相同的原文保持使用一樣的譯文。
當(dāng)然，也不是說所有類型它都擅長，在前面提到的8種類型中，TransAgents在游戲、科幻愛情等類型上的表現(xiàn)突出，而在恐怖驚悚等類型上就比較平庸了。
△圖中虛線代表50%Win rate
同時作者也發(fā)現(xiàn)，TransAgents在翻譯時并非“照單全收”，而是會出現(xiàn)一定程度的遺漏現(xiàn)象。
不過從測試中未看過原文的讀者給出的評分來看，這樣的遺漏似乎沒有影響到他們的閱讀體驗。
所以，這家“翻譯公司”是如何運行的呢？
多智能體分工協(xié)作
在這個公司當(dāng)中，不同的智能體分別扮演著CEO、初/高級編輯、真·翻譯、本地化專家和校對（Proofreader）這些不同的職位，除CEO外每個職位各有30人，每個人擅長的領(lǐng)域也有所不同，另外還有一個Ghost Agent。
這些智能體由GPT-4-Turbo驅(qū)動，每個角色都包含姓名、年齡、職位、工作年限及掌握的語言等多維度的設(shè)定。
接到“客戶”的翻譯要求后，CEO會綜合分析原文和目標(biāo)語言、體裁、目標(biāo)受眾等信息，從幾位高級編輯中選擇擅長領(lǐng)域匹配的一位。
此時，Ghost Agent會對CEO的選擇進(jìn)行評估，告知其人選是否合適，從而減少選擇失當(dāng)?shù)默F(xiàn)象。
被選定的高級編輯會與CEO合作，再次結(jié)合任務(wù)需求和個人特點，從公司人才庫中進(jìn)一步選擇初級編輯、翻譯、本地化專家和校對等團隊成員。
團隊組建好后，首先由初級編輯逐章節(jié)識別所有潛在的關(guān)鍵術(shù)語，生成初始術(shù)語表，交由高級編輯審查，刪除其中的通用術(shù)語，生成修訂后的術(shù)語表，反復(fù)迭代直到不需要進(jìn)一步修改。
然后，結(jié)合術(shù)語在不同語境下的意義，高級編輯會將術(shù)語表中的關(guān)鍵術(shù)語翻譯為目標(biāo)語言。
有了術(shù)語表后，初級編輯會為每一章生成詳細(xì)的章節(jié)摘要，盡可能保留關(guān)鍵信息和細(xì)節(jié)，然后還是讓高級編輯來審查，并刪除冗余或不必要的信息，讓章節(jié)摘要更加簡明扼要。
接著，高級編輯根據(jù)修訂后的章節(jié)摘要編寫全書的摘要，概括主要情節(jié)、人物和主題，并隨機選擇書中的一章，分析其語氣、風(fēng)格和目標(biāo)受眾，制定翻譯風(fēng)格指南。
翻譯風(fēng)格指南會發(fā)送給項目團隊所有成員，以確保譯文風(fēng)格的一致性。
根據(jù)風(fēng)格指南，公司中的真·譯員會逐章節(jié)進(jìn)行初步翻譯，把初稿交給初級編輯審查，檢查是否遵循翻譯風(fēng)格指南，并提出改進(jìn)意見。
在此基礎(chǔ)之上，高級編輯會評估經(jīng)過修改的譯文質(zhì)量，決定是否需要進(jìn)一步修改，譯員、初級編輯和高級編輯反復(fù)迭代，直到譯文質(zhì)量滿足要求。
但此時得到的翻譯文本并不是終稿，還要交給本地化專家進(jìn)行調(diào)整。專家會識別可能需要文化調(diào)適的內(nèi)容，如習(xí)語、隱喻等等，并對這些內(nèi)容進(jìn)行調(diào)整，使其在保留原文意圖的基礎(chǔ)之上更貼近目標(biāo)語言和文化。
調(diào)整后的文本會讓初級編輯和高級編輯再次審查，確保譯文在文化適應(yīng)性和忠實度之間取得平衡。
這之后，還有校對人員再次檢查語法、拼寫、標(biāo)點和格式錯誤，如果有修改，還要再讓編輯進(jìn)一步審核。
這些流程都走完后，高級編輯會進(jìn)行后的終審，重點關(guān)注相鄰章節(jié)之間的連貫性，確保情節(jié)、人物、主題等元素在全書范圍內(nèi)保持一致，一旦發(fā)現(xiàn)問題則發(fā)回給前面的團隊成員進(jìn)行修改，直到形成終的譯本。
如果客戶對譯本有修改意見，則會再次由高級編輯牽頭，組織相關(guān)人員進(jìn)行修改，直到定稿。
不僅是在工作流程上極其嚴(yán)格規(guī)范，在客戶對譯本滿意后，高級編輯還會組織項目團隊“開會”進(jìn)行項目總結(jié)，分享經(jīng)驗教訓(xùn)。
過程中積累的有價值的術(shù)語、翻譯技巧、文化調(diào)適策略等知識會被整理歸納，上傳至公司的知識庫，供后續(xù)項目參考。
One More Thing
TransAgents已經(jīng)不是第一個由智能體組成的“公司”了，去年就有來自清華的“游戲公司”ChatDev爆紅網(wǎng)絡(luò)，背后所運用的核心技術(shù)就是多智能體。
如果把視線放寬，不只看“公司”，還有斯坦福的AI小鎮(zhèn)、清華的AI狼人殺游戲，都在使用多智能體進(jìn)行著真實人類社會的模擬。
總之隨著大模型研究的深入，智能體和群體智能實驗已成AI研究熱門方向之一，而且從這次的TransAgents來看，多智能體協(xié)同已經(jīng)開始顯現(xiàn)出了實際效益。
（順便提一句，有網(wǎng)友發(fā)現(xiàn)，從斯坦福小鎮(zhèn)到ChatDev，再到這次的TransAgents，多智能體研究的作者是真的喜歡《星露谷物語》式的繪畫風(fēng)格。）
當(dāng)然，也有人對此表示了擔(dān)憂，認(rèn)為由AI來主導(dǎo)翻譯，會導(dǎo)致語言的同質(zhì)化，讓各種語言中獨特的表達(dá)消失。
更有甚者，已經(jīng)跳出TransAgents本身，想到Ilya對大規(guī)模Agent合作的恐懼了……
那么你認(rèn)為在群體智能這條路上還能創(chuàng)造出什么新奇的成果呢？歡迎在評論區(qū)曬出你的腦洞。
論文地址：https://arxiv.org/abs/2405.11804
本文鏈接：http://www.zh1234.com/news4202.html鵝廠造了個AI翻譯公司：專攻網(wǎng)絡(luò)小說 自動適配語言風(fēng)格
