Attention Is All You Need - Transformer 논문 정리

딥러닝 학계 전반에 혁신적인 돌풍을 몰고 온 논문,

Attention is All You Need: https://dl.acm.org/doi/10.5555/3295222.3295349

Attention is all you need | Proceedings of the 31st International Conference on Neural Information Processing Systems

 

BERT 논문도 컨퍼런스 논문에다 거의 Encoder 구조를 그대로 갔다 썼기 때문에

모델의 구조적인 부분은 나와있지 않아 어쩔 수 없이 Transformer 논문도 같이 공부하게 되었고,

읽은 김에 정리해서 기록으로 남겨보자 하는 생각에 포스팅을 하게 되었다. 드디어 내가 너까지 이해했다 트랜스포머..

 

🗣️ BERT 정리한거 보러가기: https://miiinnn23.tistory.com/112

 

Transformer는 크게 문장을 이해하는 encoder 부분과, 이해한 내용을 기반으로 생성 작업을 실행하는 decoder 부분으로 나뉘어져 있다는 것만 알고 있고, 각각의 연산들이 어떻게 진행된다거나 세부적인 모델 내용을 공부할 수 있는 기회가 없었는데(사실 어려워서 작년에 읽다 때려침ㅎ) 좋은 기회로 수업도 듣고 발표도 해본 덕에 정리를 해본다..

 

 

들어가기 전에,

 

Transformer는 앞서 말했듯

 

입력으로 들어오는 문장(입력 시퀀스)을 기계가 이해할 수 있는 최소 단위인 토큰으로 쪼개서 각 토큰간의 관계를 해석하고 문맥을 파악하여 각 토큰들을 벡터화된 표현(representation)으로 만들어놓는 encoder 부분과

encoder로부터 학습된 표현들과 문맥 파악 방법을 기반으로 입력 시퀀스를 내가 원하는 문제에 맞게 변환(문장 생성, 번역, 요약 등등)하여 문장을 토큰 단위로 생성하는 decoder 부분으로 나뉘어져 있다.

 

그래서 흔히 Encoder 부분을 강화한 모델이 BERT이고, Decoder 부분을 강화한 모델이 GPT로 알려져있다. 그러나 초기의 BERT 모델은 문맥을 파악할지언정 생성하는 task는 한계가 존재하고(QA문제 테스트 시 지문에 답이 없는 경우 '답할 수 없음' 이라는 결과를 내놓아야 했음) GPT 모델은 문장을 생성할지언정 '자기 회귀 모델'이라는 특성 탓에 단방향 학습만이 가능하여 문맥 학습에 제한이 존재했다. 그럼에도 불구하고, transformer와 BERT/GPT의 등장으로 인해 NLP 학계가 아주 아주 아주 아주 .. 큰 발전을 이룩하였다는 점에서 이들은 매우 상징적이라고 볼 수 있다.

 

또한 부가적으로 .. CNN이 Computer Vision 학계에 꽤나 큰 충격을 주었는데, CNN을 파고파고 쥐어짜고 끝없이 파서 더이상 나올 것도 없을 쯤에 Transformer의 핵심인 'self-attention' 메커니즘 덕에 또다시 힘을 얻고 ViT(Vision Transformer)라는 대단한 모델이 등장할 수 있었으니 여러모로 다양한 학계의 새로운 가능성을 열어준 대단한 논문이 분명하다. 실제로 비전쪽 연구실 들어간 내 친구들은 전부 transformer 기반 모델들 연구하고 있었음

 

아무튼 '그' 트랜스포머가 왜 그렇게 대단한지 수업을 들으면서 더더욱 알게 되었는데, 이러한 전후 배경들이 재미있어서 들어가기 전에 적어보았다.

 

재미없엇으면 말고ㅋㅎ

 

---

Introduction

대체 Transformer가 뭐지?

Sequence transduction model; 시퀀스 변환 모델

 

- Sequence-to-sequence: 시퀀스가 입력으로 들어오면, 학습을 통해 다시 시퀀스를 출력

- 이를 통해 기계 번역, 문서 요약, 음성 인식 등의 자연어 처리 문제를 해결하는 모델

 

해당 과정에서 기존 sequence-to-sequence 모델에 많이 활용되던 RNN이나 convolution 등등의 방식을 사용하지 않고, attention 메커니즘만을 활용하여 시퀀스 내 토큰 간의 관계를 모델링하였다.

 

Background

컴퓨터 비전쪽 분야는 인간의 시각 체계를 모방한 CNN의 등장으로 인해 획기적으로 발전하게 되었다고 한다. 반면 NLP 분야는 과거 정보를 활용하기 위한 순환 모델들(RNN, LSTM, GRU) 등이 많이 사용되었다. 왜냐?? 텍스트 데이터들은 sequential한 데이터라 문맥적인 정보를 파악하기 위해 이전 단어를 기억하고 활용할 수 있어야 되기 때문이다.

 

순환 모델(Recurrent Model)들의 작동 방식

- input / output sequence에서 각 토큰의 위치 정보(symbol position)를 기반으로 순차적인 연산 진행

- hidden state* $h_t$ ($t$ 번째 토큰)는 현재 위치 $t$와 $h_{t-1}$번째 토큰 정보를 활용하여 생성됨

* hidden state: 학습하고자 하는 토큰의 정보/표현

 

Attention?

중요한 것에 집중

 

self-attention의 시각화

 

토큰 간 거리와 상관 없이 의존성 모델링(dependency modeling)이 가능하여 기계 번역, 문서 요약, 음성 인식 등 다양한 시퀀스 변환 문제를 효과적으로 처리할 수 있다. 여기서 의존성 모델링이란, 시퀀스 내의 각 토큰들이 서로 어떻게 연결되어 있는지, 즉 서로 간의 연관성과 영향을 파악하고 이를 반영하여 학습하는 과정을 의미한다.

→ ‘의존성 모델링’은 attention의 본질!

 

기존에는 attention은 순환 모델과 함께 많이 사용되었다.

→ 다만 이렇게 하게 되면 순환 모델들의 특성에 의해 순차 처리 방식의 특성 상 병렬 처리가 어렵고, 메모리의 한계로 인해 긴 문장에는 활용이 어려움(초기 정보가 손실되거나 왜곡될 위험으로 인해 의존성 학습이 어렵고, 학습의 효율 측면에서도 좋지 않음)

 

Background

Self-Attention

- intra-attention이라고도 함

- 단일 시퀀스 내 각 토큰들 사이의 관계를 학습하여 시퀀스의 표현(representation)을 생성하는 attention mechanism

- 각 토큰은 다른 모든 토큰과의 상호 작용을 통해 자신에게 필요한 정보를 선택적으로 반영함으로써 문맥/의존성 파악이 효과적

End-to-end memory networks

- 순환 attention mechanism 기반

- 간단한 QA(Question Answering) 문제와 언어 모델링 문제에서 좋은 성능 보임

 

Model Architecture

Transformer 모델은 크게 encoder와 decoder 두 단계의 구조로 구성되어 있다. 요약하자면,

 

- Encoder의 역할: 입력 시퀀스의 토큰(symbol)을 $(x_1, x_2,\dots, x_n)$을 각 토큰의 문맥적인 정보를 반영한 표현 $\mathbf z=(z_1, \dots, z_n)$으로 매핑

- Decoder의 역할: $\mathbf z$로부터 한번에 하나씩 출력 시퀀스 $(y_1,\dots, y_m)$ 생성

 

모델의 각 단계는 자기 회귀(auto-regressive) 형태이며, 텍스트 생성시 생성된 현재 토큰은 다음 토큰 생성을 위한 추가적인 입력으로 활용된다.

Encoder and Decoder Stacks

Transformer 모델의 전체 구조

 

Encoder

Transformer의 encoder는 6개의 동일한 레이어로 구성되어있고, 각 encoder 레이어는 두개의 sub-layer로 이루어져 있다.

 

첫번째 레이어는 Multi-head attention 메커니즘을 수행하는 레이어이고, 두번째는 토큰의 포지션 별 연산되는 fully-connected feed-forward 네트워크를 의미한다. 각 sub-layer 별 연산 후에는 residual connection을 수행하고, 이후 layer normalization을 수행하여 효율적인 학습을 진행한다.

 

Residual connection(잔차 연결)은 각 sub-layer 출력에 입력값을 더해줌으로써 학습 과정에서 identity mapping(입력을 그대로 전달)을 통해 최소한 원래 입력 정보가 유지되도록 하고, backpropagation 과정에서 발생할 수 있는 기울기 소실(gradient descent) 문제를 완화하기 위해 적용한다. 또한 layer normalization은 각 값들의 평균과 분산을 일정하게 유지함으로써 학습의 안정성과 효율성을 높이기 위해 사용되었다.

 

그외의 부분에 대해서 저게 다 뭔소리냐면 그냥 그런게 있다고 생각하면 된다. 아래에서 자세하게 설명한다.

Decoder

encoder와 마찬가지로 6개의 동일한 decoder 레이어로 구성되어있다. 기본적인 구조도 encoder와 유사한데, 중간에 encoder의 출력 결과에 대해 multi-head attention을 수행하는 sub-layer가 존재한다. 또한 첫번째 sub-layer의 경우 self-attention layer를 수정하여 masked multi-head attention을 수행하게 함으로써 현재 토큰이 이후 이어지는 토큰들로부터 영향을 받지 않게 한다. 즉, 이러한 마스킹은 output embedding을 생성할 때 i 번째 토큰에 대한 예측이 i-1 번째까지의 토큰에만 의존할 수 있도록 한다.

 

→ Casual mask; Decoder의 self-attention 계층에서 미래(아직 생성되지 않은) 토큰들이 현재 토큰의 예측에 영향을 주지 않도록 마스킹하는 기법

Attention

해당 파트에서는 attention 연산은 구체적으로 어떻게 수행되는지 설명한다.

 

Transformer의 Attention은 의미적으로 시퀀스의 각 토큰들이 자기 자신을 포함하여 다른 토큰들과 어떤 관계를 갖는지 학습하는 역할을 하지만, Attention 기법을 함수적으로 설명하자면 (query, key, value)를 입력받아 하나의 출력 벡터로 매핑하는 역할을 한다. (단, query, key, value, output은 모두 vector 형태라고 가정)

 

여기서의 출력 벡터는 Value의 가중 합(weighted sum)으로 연산되고, Value는 각 토큰 별 Key와 Query로부터 연산된다. Transformer에서 사용되는 Query, Key, Value에 대한 대략적인 정의는 다음과 같다.

 

Query

- Key에 대한 문맥적 연관성 찾고자 하는 항목을 나타내는 벡터

- 어떤 정보가 중요한지 찾기 위해 각 단어가 얼마나 연관되어 있는지 평가

 

Key

- attention score 연산에 사용되는 벡터

- Query와 비교해서 모델이 각 Value에 얼마나 집중해야 하는지 결정

- 각각의 단어가 가진 정보의 관련성 판단의 기준이 됨

 

Value

- 실제로 전달하고자 하는 "정보"를 담고 있는 벡터, 중요한 단어의 정보를 최종 결과로 만들어내는 데 사용

- attention 가중치 연산 이후 최종 output 만들어내기 위해 value vector 적용됨

→ 쉽게 정리하면, Query는 "이 부분에 집중해야 하나?"라는 질문을, Key는 "이 부분의 특징은 뭐야?"라고 답하며, Value는 "여기 중요한 정보가 있어!"라는 실제 정보를 포함한다.

Scaled Dot-Product Attention

Sub-layer의 multi-head attention 내 개별적인 attention 연산들을 scaled dot-product attention 이라고 한다. 이때, Input은 Query, Key, Value로 구성되어 있다.

 

- 토큰 별 Query, Key $\in \mathbb R^{d_k}$

- 토큰 별 Value $\in \mathbb R^{d_v}$

 

이때 $d_k$와 $d_v$는 일반적으로 모델 설계시 미리 정의되는 hyper-parameter이고, Transformer에서는 $d_k=d_v=\frac{d_{model}}{h}$ ($h$ : multi-head attention에서 head의 수, $d_{model}$ : 전체 모델 차원)으로 설정하여 실험에 사용하였다. 마찬가지로 h 와 전체 모델 차원 $d_{model}$ 역시 hyper-parameter의 영역이기도 하다.

 

전체 시퀀스의 attention이 개별적으로 연산되는 과정은 다음과 같다. 실제 연산에서는 토큰 별 (query, key, value $\in\mathbb R^{d_k}$) 벡터 연산이 진행된다기보단 한 시퀀스 내 모든 토큰들에 대해 동시에 attention이 연산되어 벡터가 아닌 Q, K, V $\in\mathbb R^{seq\_len\times d_k}$의 행렬 형태로 연산이 수행된다.

 

Query와 Key의 내적 연산(MatMul) → $\sqrt{d_k}$로 각 값 나눠줌(Scale) → softmax function 연산(SoftMax) → Value와 연산(MatMul)

 

그럼 각 단계의 연산은 무엇을 의미할까?

- Query와 Key의 내적 연산: $QK^T$는 각 토큰 별 Query와 Key 사이의 유사도(또는 관련도)를 연산하는 과정으로, 각 토큰끼리 얼마나 강하게 연결되어 있는지를 수치로 표현한다.

- Scale: 각 벡터의 길이 $d_k$가 커질수록 내적의 결과값이 커지는 문제를 완화하기 위한 스케일링을 진행한다. 이를 통해 softmax 함수의 입력 값이 너무 커지지 않게 하여, 학습 시 안정성을 높인다.

- Softmax: 스케일링된 내적 값에 softmax를 적용하여, 각 Query에 대해 Key들의 유사도를 확률 분포로 변환한다. 이를 통해 각 Key에 할당된 가중치가 0과 1 사이의 값으로 정규화되며, 전체 Key에 대해 합이 1이 된다.

 

→ 여기까지 연산된 값이 곧 각 Key에 대한 attention score가 된다. 해당 과정들을 통해 각 Query가 어떤 Key에 집중할지 결정된다.

 

- Value와 행렬곱: 앞서 계산된 softmax 결과를 Value와 곱하는 과정으로, 각 Query에 대해 중요한 정보를 담은 Value들을 가중 합산(weighted sum)하여 최종 출력 벡터를 생성한다.

 

 

Attention score는 왜 하필 확률분포값으로 표현할까?

0과 1 사이의 값으로 변환함으로써 정규화의 의미도 들어가고, 해석이 더 용이해지기 때문이다. 이를 통해 어떤 key가 얼마나 중요한지를 확률적으로 해석함으로써 어떤 정보에 더 집중할지를 명확하게 판단할 수 있다.

 

각 연산 과정을 위와 같이 도식화할 수 있지만.. 사실 개별 attention 연산은 수식 한줄로 표현할 수 있다.

 

$$ \text{Attention}(Q,K,V) =\text{softmax}(\frac{QK^T}{\sqrt{d_k}})V $$

 

이게 끝이다.

Multi-Head Attention

단일 attention 연산을 하는거보다 attention 연산을 다르게 여러번 수행하여 각 attention 별로 다양한 의미를 포함한 representation을 얻게 되는 것이 문맥 파악에 더 효과적이라고 한다. 따라서 위에서 언급한 attention을 h번 수행하여 문장의 의미 파악에 있어 head 별로 서로 다른 정보를 학습하고자 multi-head attention을 수행한다.

Query, Key, Value 벡터들에 각각 다른 선형 변환(projection)을 적용하여 h개의 다양한 표현을 생성한 후, 각 표현 별 병렬적으로 위에서 언급된 attention 연산을 수행한다. 이를 통해 각 head에서는 독립적으로 attention 연산하고, 다양한 문맥적 정보를 포함한 $d_v$ 차원의 attention score 벡터를 output으로 갖게 된다. 이러한 Multi-head attention은 모델이 서로 다른 위치에서 서로 다른 representation subspace의 정보를 동시에 참고할 수 있게 된다. 만약 단일 attention을 사용하게 되면 평균화로 인해 이정도의 문맥 파악이 불가능하게 된다.

 

그럼 각 head별 attention 정보는 최종적으로 어떻게 융합할까? 단순하게 concatenation한다.

 

$$ \text{Multihead}(Q,K,V)=\text{Concat(head}_1,\dots,\text{head}_h)W^O \\where\ \text{head}_i=\text{Attention}(QW^Q_i,KW^K_i,VW^V_i) $$

 

이 때, $W^Q_i\in\mathbb R^{d_{model}\times d_k}, W^K_i\in\mathbb R^{d_{model}\times d_k},W^V_i\in\mathbb R^{d_{model}\times d_v},W^O\in\mathbb R^{hd_v\times d_{model}}$.

논문에서는 h=8, 각 쿼리 별 Query, Key와 Value의 차원을 모델의 크기/h 로 정의하여서 결국 출력 벡터인 $W^O$는 정방행렬의 형태가 된다.

Applications of Attention in our Model

Transformer 논문에서 각 sub-layer 별 multi-head attention은 어떻게 연산될까? Transformer 구조 내 등장하는 multi-head attention 연산은 encoder layer에서 1번, decoder layer에서 두 번 등장한다.

 

Decoder layer의 ‘multi-head attention’

논문에서 “encoder-decoder attention” layer라고도 불리는 해당 단계에서는 Query는 이전 decoder layer(Masked Multi-head Attention)으로부터 학습된 값이, (Key, Value)는 encoder layer의 최종 출력 단계에서 나온 값을 사용한다. 이는 다른 sequence-to-sequence model들의 encoder-decoder attention mechanism을 모방한 것으로, decoder에서는 각 위치의 토큰들이 입력 시퀀스의 모든 위치 정보를 효과적으로 참고할 수 있다.

 

이 때,

- (Key, Value): encoder의 최종 출력으로부터 생성되므로, 입력 시퀀스의 모든 토큰에 대한 정보를 포함

- Query: decoder의 이전 masked self-attention 단계에서 생성된 표현으로, 그 시점까지(즉, 이전 토큰들에 기반한) 정보를 포함

 

즉, decoder의 해당 토큰은 자신의 query를 이용해 encoder의 전체 출력(모든 위치의 토큰들)을 참고 가능 → 전체 입력 문맥을 반영하여 문맥 정보 학습 가능

 

Encoder layer의 ‘multi-head attention’

Encoder layer의 multi-head attention에서는 생성 과정이 아닌 문맥을 파악하는 과정이기 때문에, 각 토큰들은 모든 위치의 토큰을 참고할 수 있다. 즉, encoder 내 각 토큰들은 이전 layer에서 학습된 모든 토큰들의 정보를 반영하여 학습이 가능하다.

 

Decoder layer의 ‘masked multi-head attention’

Decoder의 multi-head attention에서는 각 토큰이 해당 위치를 포함한 decoder의 모든 위치의 토큰에서 attention 연산을 할 수 있게 한다. 단, 자기 회귀(auto-regression) 특성을 만족하기 위해서는 현재 토큰 이후에 존재하는 토큰들의 정보를 참고하는 것을 방지하기 위해 뒤의 토큰들을 masking(-∞로 처리)하여 scaled dot-product attention을 진행한다.

Position-wise Feed-Forward Networks

각 sub-layer 별 연산 이후 위치 별 개별적으로 fully connected feed-forward network를 적용한다. 해당 sub-layer는 두 개의 선형 변환과 ReLU activation function으로 구성되어있다. 토큰의 위치 별 연산이 수행되기 때문에, 다른 토큰들의 정보들이 섞이지 않고 독립적으로 연산이 가능하다. 또한, ReLU 함수를 적용하여 토큰의 비선형 변환을 진행함으로써 각 토큰의 표현을 강화하는 역할을 수행할 수 있다.

 

$$ \text{FFN}(x)=\max(0, xW_1+b_1)W_2+b_2 $$

 

해당 연산은 수행되는 위치는 동일하지만, $W_1$과 $W_2$와 관련된 파라미터들은 레이어마다 별도로 학습이 진행된다. 이 연산을 다르게 표현하자면 커널 크기가 1인 두번의 convolution 연산과 동일하다. 또한 ReLU 함수를 적용하여 비선형 변환을 수행함으로써 각 모델이 토큰 간 더 복잡한 패턴과 관계를 학습할 수 있게 한다.

 

해당 레이어에서는 결국 512차원 → 2048차원 → 512차원 총 두번의 차원 변환을 거쳐 토큰의 표현을 재구성함으로써 각 토큰의 표현을 더욱 풍부하고 의미있게 만드는 역할을 수행한다.

Embeddings and Softmax

Transformer에서 입출력으로 사용하는 각각의 토큰들은 다른 시퀀스 변환 모델들과 동일하게 학습된 임베딩을 사용해 각 토큰을 $d_{model}$ 차원의 표현 벡터로 변환한다. 또한 decoder의 출력에서는 softmax 함수를 통해 다음 토큰의 등장 확률을 예측한다. 즉, Transformer는 입/출력 모두 동일한 차원의 벡터 공간으로 임베딩하고, 가중치 공유 · 스케일링을 통해 모델의 효율성, 안정성을 높인다.

---

 💡 Embedding / Encoding / Representation 차이?

- Embedding: 단어를 고정 차원의 벡터로 “초기 변환”하는 단계.

- Encoding: 임베딩된 토큰 벡터들에 문맥적인 정보를 추가하는 학습 과정

- Representation: 인코딩 결과로 나온 문맥과 의미를 반영한 최종(hidden) 벡터 표현

Output embedding과는 조금 다른 개념.. Output embedding은 hidden representation(즉, decoder의 representation)으로부터 실제 단어 예측을 할 때 활용되는 벡터 집합이고, representation은 모델이 생성한 중간 또는 최종 상태의 벡터를 의미한다.

---

Positional Encoding

Transformer에서는 convolution이나 recurrence 기법을 사용하지 않기 때문에, 데이터 ‘시퀀스’에 대한 정보를 활용하기 위해서는 입출력 시퀀스로 갖는 표현에 위치 정보를 반드시 포함해줘야 한다. 따라서 본 논문에서는 input embedding에 “positional encoding”을 추가하여 encoder와 decoder 모델에서 사용한다. “positional encoding”은 $d_{model}$과 같은 차원이기 때문에, 둘을 더하여 사용할 수 있다.

여기서는 싸인과 코싸인 함수를 사용하여 각 위치를 고유하게 인코딩하는데, 이를 통해 서로 다른 주기 패턴을 결합하여 위치 정보를 효과적으로 전달하고자 하였다.(푸리에변환의 원리와 유사하다 함!!)

 

$$ PE_{(pos, 2i)}=\sin(pos/10000^{2i/d_{model}})\\PE_{(pos, 2i+1)}=\cos(pos/10000^{2i/d_{model}}) $$

 

pos는 위치, i는 차원을 의미한다. 파장이 2$\pi$ ~ 10000·2$\pi$의 기하학적 모양이 형성되는 싸인파(sinusoid) 모양의 그래프를 채택하여 모델이 시퀀스의 길이와 상관 없이 토큰들 간 상대적 거리를 쉽게 연산할 수 있게 한다. 또한 학습된 임베딩을 사용하여 실험한 결과, 대부분의 경우 성능 차이가 미미했으며, sinusoidal 임베딩 방식은 학습 시 사용된 시퀀스 길이를 초과하는 길이의 시퀀스에도 잘 일반화되었기 때문에 해당 방식이 채택되었다.

 

Why Self-Attention

그래서 다시 말하자면, 도대체 self-attention이 어떤 점이 기존 순환 모델/컨볼루션 레이어와 차별점이 있는 것일까?

가장 큰 차이점을 꼽아보라면 레이어 별 연산 복잡도, 병렬화 가능한 연산의 양이 있다. 그 외에도 장기 의존성(long-range dependencies) 간 path의 길이도 있다.

 

Self-attention 레이어는 모든 위치의 토큰들을 상수시간 내에 실행되는 연산을 통해 연결 가능한 반면, 순환 모델은 O(n)의 연산이 필요하다. 연산량 측면에서 시퀀스 길이 n이 표현의 차원 d보다 작을 때(n < d) self-attention layer는 순환 모델보다 빠르고, 그 반대의 경우 연산의 효율을 위해 입력 시퀀스의 각 위치로부터 r 거리 내의 이웃들만 고려할 수 있도록 attention 연산의 범위를 제한할 수 있다. 이렇게 하면 최대 경로의 길이를 O(n/r) 까지 증가시킬 수 있다.

또한, convolution 연산과 비교해봤을 때도 마찬가지이다. 커널 너비가 k < n인 단일 convolution layer의 경우 입력과 출력 토큰들의 모든 위치를 연결할 수 없다. 모든 위치를 연결하려면 연속 커널일 때 O(n/k) 레이어, dilated convolution인 경우 O(log_k(n))개의 레이어가 필요하기 때문에 네트워크 내 두 position 간 path 길이가 길어질 수 있다.

 

Separable convolution* 적용하면 복잡도를 낮출 수 있기 때문에, 본 모델에서는 feed-forward 부분에서 해당 방식을 채택하게 됨

* Separable convolution: 일반적인 convolution 연산을 두 단계로 분해하여 수행하는 기법

- Depthwise Convolution: 각 입력 채널에 대해 별도의 필터를 적용하여 공간적(feature map 내의 지역 패턴) 정보를 추출. 이 과정에서는 채널 간 결합은 이루어지지 않음.

- Pointwise Convolution (1×1 Convolution): depthwise convolution의 출력에 대해 1×1 필터를 적용하여 채널 간의 결합을 수행

 

그 외에도 self-attention을 통해 더 해석이 용이한 모델을 설계할 수 있고, multi-head attention의 결과로 개별적인 head들이 문장의 구문이나 의미 구조와 같은 문맥 파악에 있어 다양한 의미가 담긴 패턴들을 학습 결과로 내놓기 때문에 자연어 처리 모델에 있어 획기적인 학습이 가능함을 알 수 있다.