【同時，你的其他同事也做了一遍和你相同的動作，每個人都利用注意力機制來找到自己的定位。避免出現你和另一位關卡設計出現矛盾，甚至出現團隊做出5個1-1關卡，而1-2、1-3等關卡根本沒有人去做。

這種團隊中成員都做一遍就叫做self-attention，自注意力機制。

同樣的，五個人一起打英雄聯盟，或是一款游戲中的國戰，都是自注意力機制的體現。

比如比賽中要打團戰了，你是去偷塔還是加入團戰，是帶線還是刷野。團戰中，肉盾是不是抗住了傷害，治療有沒有給出關鍵技能，輸出有沒有注意走位，都是自注意力機制的體現。

這是團隊系統運行的內在需要，是大家組成這個團隊的最終目的，不管你是否去做這個機制。

除了注意力機制和自注意力機制，還有一種multi-head self-attention，多頭注意力機制。

所謂的多頭，在這里可以被稱為多個維度。

還是以游戲開發為例，自注意力機制能保證開發出的游戲完全符合游戲設計的初衷，但這僅僅是工作或者說業務的范疇，屬于成功開發游戲的基礎條件。

多頭注意力機制就是確保團隊能達到最優解的充分條件了。

比如團隊老大是不是滿足了大家的收入需求，程序員經常加班有沒有人關心健康，美術小姐姐今天上班哭了會不會被安慰等等。

現實中大家上班都有怨言，因為職位、待遇、人際關系、性格原因等等多種維度的因素，沒辦法完美運行多頭注意力機制。但人工智能沒有這種主觀上的影響，它只會按照人類的設定，完美的運作多頭注意力機制。

這也就是attention is all you need這篇論文的核心變形金剛的核心所在。】

當然，文韜只能淺顯的對公眾解釋注意力機制的內容，它背后的數學模型、如何實現等，就不是能輕易解釋的清楚的內容了。

即便如此，這篇發布在圍脖上的文章也讓網友們仿佛進入另一個領域。

“我去，文韜他真的是在跟我解釋誒！”

“這是要用AI來模擬現實世界啊！”

“很難想象，要實現變形金剛模型，要經歷多少掉頭發的思考，它背后的數學模型又是如何對自然與社會的運作機制進行深刻理解并反復校正自身的。”

“雖然還是不太懂，但我大受震撼！”

“我猜文韜就是想說，AI的本質上是把現實世界通過一些算法轉化成通過算法形成的虛擬世界吧！”

“說了這么多，這個叫變形金剛的架構到底能干啥呢？有沒有大佬說一下？”

“文韜不是說過嗎，他要弄一個大語言模型來著。”

“我表哥的叔叔的同學是搞這方面的，昨天聽他說還可以搞什么蛋白質結構預測啥的。”

“告訴大家，能干的多了去了，我本人就是在黑洞上班，雖然不是openAI，但他們聊天的時候說，好像以后還可以搞文生視頻、文生圖片！”

“什么叫文生視頻和圖片啊？”

“顧名思義，你給AI輸入一段話，比如‘一個穿著白裙子的小姑娘正在院子里蕩秋千’，AI就能給你生成好些符合你描述的圖片或者視頻內容。”

“臥槽，這也太神奇了吧？真的能辦到嗎！”

“還不知道嘛，但是現在已經有了理論基礎，相信openAI那邊很快就會根據變形金剛架構開始做產品了吧！”

“天呀，難以想象，可怕的是可能要不了太久就真的會有產品出現了！”

……

事實上，transformer架構已經完全做出來了，并且大語言模型chatGPT都已經在進行訓練了。

在論文的基礎上，文韜直接指明了大語言模型這個方向，openAI正在全力實現GPT功能。

在論文發布后，有兩家大公司分別處于迷茫和興奮的狀態中。

迷茫的是谷歌，AI領域的人才正在緩慢流失，即便他們的工作文化充滿自由，但這阻止不了人才們向往openAI。

特別是attention is all you need發布后，這一趨勢更加明顯。

同時，谷歌對于transformer架構的緊急研究并沒有能取得多少成果，雖然基于這個架構的構想出現了好幾個，但是他們缺少實現的方法，甚至連基礎的訓練方式都很難搭建出來。

興奮的則是微軟。

openAI需要大量的云計算算力，微軟提供了這份算力，但這并不是免費的。

雖然他們是openAI成員之一，但這并不意味著就要白送，最多給個折扣。

賺錢還不算完，transformer架構的提出，讓全世界的AI研究員們都震撼異常，這對微軟云計算來說也是一個巨大的廣告效應。

看見沒有，連openAI都在使用我們的云計算，其他研究單位還不趕緊來簽合同？！

同時，微軟作為openAI成員之一，天然的就擁有技術授權，哪怕transformer本身是開源，微軟也能從自家參與項目的成員中獲得一定的額外信息，比如谷歌很想知道的模型訓練方法啥的。

這讓微軟十分看好openAI的長遠發展，甚至主動聯系文韜，詢問openAI子公司什么時候開放融資。

文韜回答說快了，畢竟chatGPT已經開始搞了，需要巨量的資金。從GPT1到GPT4，保守估計百億美刀級別。

看著微軟又賺錢又搞AI的，文韜不擔心他們的技術突破太快，只是對于他們賺錢感覺很不爽。

黑洞有發展云計算的能力，但是資金需要的太多。

顯卡、switch、AI，都是要花大錢的項目，云計算只能放在后面了。

好在幾個項目的進展都算是順利，聽藍寶石的王漢飛信誓旦旦的保證，說是第一張實驗性的顯卡已經設計完成并且馬上進行成品試驗。

而驚蟄GPU適配游戲的進度也不慢，雖然需要適配的游戲總量非常大，但各大游戲公司都挺配合的，讓文韜比較放心。

switch的情況也差不多，試驗機也在組裝調試中，文韜應該不久之后就能拿到手里試玩了。

雙人成行游戲的開發進度完全不用文韜擔心，黑洞已經是一家成熟的游戲公司了。這一次他想試試自己只設計核心玩法，把關卡、劇情、流程等全部交給黑洞，然后自己來當雙人成行的第一個玩家！
?

?這個月應該會完結了吧_(:зゝ∠)_

?

????