編輯“Transformer模型”（章節(jié)）

== 模型原理 ==
=== 編碼器-解碼器結(jié)構(gòu) ===
編碼器和解碼器是Transformer模型的核心組成部分。編碼器將輸入序列轉(zhuǎn)換為一系列連續(xù)的表達(dá)，這些表達(dá)被設(shè)計(jì)成能夠捕捉序列內(nèi)所有位置的信息。解碼器則使用這些表達(dá)來生成輸出序列。這種結(jié)構(gòu)在機(jī)器翻譯中尤為重要，例如將一種語言翻譯成另一種語言。
=== 多頭注意力 ===
多頭注意力機(jī)制允許模型在不同的表示子空間中捕捉到輸入數(shù)據(jù)的不同方面。每個“頭”都是一個注意力機(jī)制的實(shí)例，但它們的線性變換（即Q、K、V）是不同的。這允許模型并行地學(xué)習(xí)數(shù)據(jù)的多個不同特征，并將它們組合起來以形成最終的表達(dá)。
=== 位置編碼 ===
為了讓模型能夠理解單詞在序列中的相對位置或距離，Transformer引入了位置編碼。這是通過給輸入的單詞嵌入添加一組位置編碼來實(shí)現(xiàn)的，確保了模型具有某種對單詞順序的感知能力。
=== 層歸一化和殘差連接 ===
為了穩(wěn)定訓(xùn)練更深的網(wǎng)絡(luò)，Transformer在每一層使用了層歸一化，并且在每個塊的輸入和輸出間加入了殘差連接。層歸一化有助于梯度更好地流動，而殘差連接防止了梯度消失問題，并允許梯度直接流向任何層次。
=== 掩碼 ===
在解碼器中，掩碼用于防止模型在預(yù)測當(dāng)前位置的輸出時(shí)看到未來的信息。這種掩碼保證了模型的輸出僅依賴于已經(jīng)生成或已知的輸出，從而強(qiáng)制模型在每一步都必須根據(jù)當(dāng)前的上下文進(jìn)行預(yù)測。