cos sin1 Transformer 에서 cos, sin 함수를 사용한 이유(position encoding) Transformer를 공부하면서 무시무시한 수식이 나오는데, 이 함수가 왜 사용되는지, 어떻게 유도되었는지, 무슨 의미인지 살펴보도록 하자. 오늘 포스팅은 순차적으로 진행되는 것이 아니라 내용이 왔다갔다 할 것이라, 흐름 잘 잡아야할 것 같다. 오늘의 최종 목표로 position embedding을 완벽히 뜯어보자. 오늘 다룰 부분은 Positional Encoding을 하는 영역이다. First step 이를 이해하기 위해서는 embedding과 position embedding을 알고있어야한다. 말 그대로 embedding은 문자에 ID를 부여하는 것. position embedding은 문자의 위치를 부여하는 것이다. Encoder input은 embedding과 position embedding.. 2023. 10. 17. 이전 1 다음 728x90 반응형
