누누와데이터

1. Introduction & Related Work - Language model의 pre-training은 많은 자연어 처리 tasks에서 효과가 있다. - 여기서 말하는 pre-training 방법은 다른 문제에 학습시킨 가중치들로 초기화하고 pre-train 모델을 downstream task에 적용하는 것이다. - downstream task의 예시 Sentence-level tasks : natural language inference, paraphrasing, … Token-level tasks : named entity recognition, question answering, … - pre-training을 하기 위한 task로 Language model를 채택한다. - Language..