[스노피 AI] Vision Transformer 쉽게 이해하기 - 5. Self-Attention Mechanism
Self-Attention Mechanism1. Introduction to Self-Attention· Definition : Intra-Attention이라고도 알려진 Self-Attention은 모델이 단일 시퀀스의 여러 부분 간의 관계를 고려할 수 있도록 하는 메커니즘입니다. 다른 모든 요소와 관련하여 시퀀스의 각 요소에 대한 attention score를 계산하여 모델이 관련 기능 및 종속성에 집중할 수 있도록 합니다.2. Importance of Self-Attention· Context understanding : Self-Attention을 사용하면 모델이 데이터 내의 장기적인 종속성과 컨텍스트 관계를 캡처할 수 있습니다.Efficiency : 병렬화를 활성화하여 순환 신경망(RNN)에..
SnowPea(스노피) AI
2024. 8. 5. 10:51
