누누와데이터

Ask Me Anything Dynamic Memory Networks for Natural Language Processing 논문은 2016년 ICML에서 발표된 논문이다. Dynamic memory 개념을 통해서, input으로 여러 문장들이 입력되어도 이들 간의 관계를 유기적으로 고려할 수 있다는 것이 인상적이였다. 1. Introduction 대부분의 자연어 처리와 관련된 작업들은 question-answering problem이다 question-answering과 관련된 tasks의 예는 다음과 같다. (1)Machine translation : 기계번역 (2)Named entity recognition(개체명 인식작업) : 단어를 보고 어떤 유형인지 or 어떤 집단에 속하는지를 추측하는 것..

1. Introduction 일반적인 NLM 의 특징과 단점 • 언어 모델은 단어들에 대한 시퀀스를 확률 분포로 나타낸 것이다. • 그리고 전통적인 방법은 (1) n차 마르코프 가정과 (2) counting과 subsequent smoothing에 대한 n-gram 확률 추정을 나타낸다. • Neural language model은 n-gram 데이터의 sparsity 문제를 단어에 대한 매개변수화를 통해 임베딩 벡터를 표현함으로써 해결한다. • NLM이 count-based 방법보다 앞선 성능을 보여주지만, 이러한 모델에도 단점이 있다 . 예컨대, NLM은 eventful, eventfully, uneventful, and uneventfully 와 같은 단어들이 벡터 공간에서 서로 구조적으로 연관된 ..

1. Introduction 각 단어들은 semantic vector space로 나타내어진다. 이러한 단어 표현은 information retrieval, document classification, question answering, named entity recognition, parsing에 사용되어진다 Word vector를 표현하는 일반적인 방법 (1) global matrix factorization methods, such as latent semantic analysis (LSA) LSA의 특징 : LSA는 효율적으로 통계적 정보를 나타내지만, 단어간의 유사성을 분석하는 일에는 취약하다.. (2) local context window methods, such as the skip-gram..