일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- PCA #주성분 분석 #머신러닝 #선형대수 #sklearn
- 딥러닝 #머신러닝 #AdaGrad
- BERT #자연어처리
- 파이썬 #알고리즘 #데크 #원형큐 #코딩테스트
- 배치 정규화 #batch normalization # 딥러닝 #머신러닝
- 파이썬 #알고리즘 #코딩인터뷰 #리트코드 #DFS
- char-CNN #자연어처리 # 단어임베딩 #wordembedding #LSTM
- 딥러닝 #모멘텀 #momentum #핸즈온머신러닝 #하이퍼파라미터튜닝
- 자연어처리 #glove #글로브 #glove vector #벡터 임베딩
- 특이값분해 # SVD #머신러닝 #차원축소 # 인공지능
- 자연어처리 #question-answering #dynamic memory #attention
- cyclegan #GAN
- 3d cad #인공지능 #resnet
- 자연어처리 #기계번역 #attention #global attention # local attention
- Today
- Total
목록전체 글 (14)
누누와데이터
1. Introduction # Goal of this paper - 모네의 그림과 실제 그림을 일일이 대조 시켜서 학습하지 않아도, 대상 이미지에 모네의 화풍을 적용시킬 수있다 - 이를 위해서 모네의 그림에 대한 도메인 dataset과 풍경 그림에 대한 도메인 dataset만 있으면 된다. - 논문의 목적은 paired training examples이 없어도, image collection에서 특별한 특징들을 발견하고 이러한 것들을 어떻게 다른 image collection에 적용시킬 수 있는지를 설명하는 것이다. # Paired vs Unpaired - paired training data 은 x_i, y_i 각각이 대응되 paired dataset 이다. - unpaired training dat..
1. Introduction & Related Work - Language model의 pre-training은 많은 자연어 처리 tasks에서 효과가 있다. - 여기서 말하는 pre-training 방법은 다른 문제에 학습시킨 가중치들로 초기화하고 pre-train 모델을 downstream task에 적용하는 것이다. - downstream task의 예시 Sentence-level tasks : natural language inference, paraphrasing, … Token-level tasks : named entity recognition, question answering, … - pre-training을 하기 위한 task로 Language model를 채택한다. - Language..
Effective Approaches to Attention-based Neural Machine Translation는 attention 기법이 기계번역이 적용되기 시작하던 초창기에 이에 대한 성능을 높이는 방법을 소개한 논문이다. 2022년 현재는 self-attention에 기반한 transformer방법들이 기계번역 성능을 높이는 데, 주로 많이 쓰이지만 이 때 당시만 하더라도 encoder-decoder기반의 모델에서 attention을 접목시켜서 해결하는 것이 주된 방식이였던 것 같다. 논문에서는 Global approach 과 Local approach 두가지 방식을 소개하면서 Bahdanau attetion보다 성능이 좋으면서 연산과정은 더 간단함을 보이고 있다. 특히 Local appro..