編輯“BERT模型”（章節(jié)）

=== Transformer編碼器 ===

每個(gè)Transformer編碼器層包括兩個(gè)主要部分：

1、自注意力機(jī)制（Self-Attention Mechanism）：這部分允許模型在生成每個(gè)單詞的表示時(shí)考慮輸入序列中所有其他單詞的影響。自注意力機(jī)制通過(guò)計(jì)算單詞之間的注意力權(quán)重來(lái)實(shí)現(xiàn)這一點(diǎn)，這些權(quán)重衡量了單詞間的相互關(guān)系和重要性。

2、前饋神經(jīng)網(wǎng)絡(luò)（Feed-Forward Neural Network）：在自注意力機(jī)制之后，模型會(huì)通過(guò)一個(gè)前饋神經(jīng)[[網(wǎng)絡(luò)]]，該網(wǎng)絡(luò)包含兩個(gè)線性變換之間有一個(gè)非線性激活函數(shù)（如ReLU）。這個(gè)前饋網(wǎng)絡(luò)用于進(jìn)一步處理從自注意力機(jī)制得到的表示。