누누와데이터

1. Introduction 일반적인 NLM 의 특징과 단점 • 언어 모델은 단어들에 대한 시퀀스를 확률 분포로 나타낸 것이다. • 그리고 전통적인 방법은 (1) n차 마르코프 가정과 (2) counting과 subsequent smoothing에 대한 n-gram 확률 추정을 나타낸다. • Neural language model은 n-gram 데이터의 sparsity 문제를 단어에 대한 매개변수화를 통해 임베딩 벡터를 표현함으로써 해결한다. • NLM이 count-based 방법보다 앞선 성능을 보여주지만, 이러한 모델에도 단점이 있다 . 예컨대, NLM은 eventful, eventfully, uneventful, and uneventfully 와 같은 단어들이 벡터 공간에서 서로 구조적으로 연관된 ..