누누와데이터

1. Introduction # Goal of this paper - 모네의 그림과 실제 그림을 일일이 대조 시켜서 학습하지 않아도, 대상 이미지에 모네의 화풍을 적용시킬 수있다 - 이를 위해서 모네의 그림에 대한 도메인 dataset과 풍경 그림에 대한 도메인 dataset만 있으면 된다. - 논문의 목적은 paired training examples이 없어도, image collection에서 특별한 특징들을 발견하고 이러한 것들을 어떻게 다른 image collection에 적용시킬 수 있는지를 설명하는 것이다. # Paired vs Unpaired - paired training data 은 x_i, y_i 각각이 대응되 paired dataset 이다. - unpaired training dat..

1. Introduction & Related Work - Language model의 pre-training은 많은 자연어 처리 tasks에서 효과가 있다. - 여기서 말하는 pre-training 방법은 다른 문제에 학습시킨 가중치들로 초기화하고 pre-train 모델을 downstream task에 적용하는 것이다. - downstream task의 예시 Sentence-level tasks : natural language inference, paraphrasing, … Token-level tasks : named entity recognition, question answering, … - pre-training을 하기 위한 task로 Language model를 채택한다. - Language..

Effective Approaches to Attention-based Neural Machine Translation는 attention 기법이 기계번역이 적용되기 시작하던 초창기에 이에 대한 성능을 높이는 방법을 소개한 논문이다. 2022년 현재는 self-attention에 기반한 transformer방법들이 기계번역 성능을 높이는 데, 주로 많이 쓰이지만 이 때 당시만 하더라도 encoder-decoder기반의 모델에서 attention을 접목시켜서 해결하는 것이 주된 방식이였던 것 같다. 논문에서는 Global approach 과 Local approach 두가지 방식을 소개하면서 Bahdanau attetion보다 성능이 좋으면서 연산과정은 더 간단함을 보이고 있다. 특히 Local appro..