티스토리

누누와데이터

검색하기

블로그 홈

누누와데이터

imhappynunu.tistory.com/m

happynunu 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[논문 리뷰] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 1. Introduction # Goal of this paper - 모네의 그림과 실제 그림을 일일이 대조 시켜서 학습하지 않아도, 대상 이미지에 모네의 화풍을 적용시킬 수있다 - 이를 위해서 모네의 그림에 대한 도메인 dataset과 풍경 그림에 대한 도메인 dataset만 있으면 된다. - 논문의 목적은 paired training examples이 없어도, image collection에서 특별한 특징들을 발견하고 이러한 것들을 어떻게 다른 image collection에 적용시킬 수 있는지를 설명하는 것이다. # Paired vs Unpaired - paired training data 은 x_i, y_i 각각이 대응되 paired dataset 이다. - unpaired training dat.. 공감수 0 댓글수 0 2022. 3. 7.
[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 1. Introduction & Related Work - Language model의 pre-training은 많은 자연어 처리 tasks에서 효과가 있다. - 여기서 말하는 pre-training 방법은 다른 문제에 학습시킨 가중치들로 초기화하고 pre-train 모델을 downstream task에 적용하는 것이다. - downstream task의 예시 Sentence-level tasks : natural language inference, paraphrasing, … Token-level tasks : named entity recognition, question answering, … - pre-training을 하기 위한 task로 Language model를 채택한다. - Language.. 공감수 0 댓글수 0 2022. 3. 6.
[논문 리뷰] Effective Approaches to Attention-based Neural Machine Translation Effective Approaches to Attention-based Neural Machine Translation는 attention 기법이 기계번역이 적용되기 시작하던 초창기에 이에 대한 성능을 높이는 방법을 소개한 논문이다. 2022년 현재는 self-attention에 기반한 transformer방법들이 기계번역 성능을 높이는 데, 주로 많이 쓰이지만 이 때 당시만 하더라도 encoder-decoder기반의 모델에서 attention을 접목시켜서 해결하는 것이 주된 방식이였던 것 같다. 논문에서는 Global approach 과 Local approach 두가지 방식을 소개하면서 Bahdanau attetion보다 성능이 좋으면서 연산과정은 더 간단함을 보이고 있다. 특히 Local appro.. 공감수 0 댓글수 0 2022. 2. 11.
[논문 리뷰] Ask Me Anything Dynamic Memory Networks for Natural Language Processing Ask Me Anything Dynamic Memory Networks for Natural Language Processing 논문은 2016년 ICML에서 발표된 논문이다. Dynamic memory 개념을 통해서, input으로 여러 문장들이 입력되어도 이들 간의 관계를 유기적으로 고려할 수 있다는 것이 인상적이였다. 1. Introduction 대부분의 자연어 처리와 관련된 작업들은 question-answering problem이다 question-answering과 관련된 tasks의 예는 다음과 같다. (1)Machine translation : 기계번역 (2)Named entity recognition(개체명 인식작업) : 단어를 보고 어떤 유형인지 or 어떤 집단에 속하는지를 추측하는 것.. 공감수 0 댓글수 0 2022. 2. 11.
[논문 리뷰] Character-Aware Neural Language Models 1. Introduction 일반적인 NLM 의 특징과 단점 • 언어 모델은 단어들에 대한 시퀀스를 확률 분포로 나타낸 것이다. • 그리고 전통적인 방법은 (1) n차 마르코프 가정과 (2) counting과 subsequent smoothing에 대한 n-gram 확률 추정을 나타낸다. • Neural language model은 n-gram 데이터의 sparsity 문제를 단어에 대한 매개변수화를 통해 임베딩 벡터를 표현함으로써 해결한다. • NLM이 count-based 방법보다 앞선 성능을 보여주지만, 이러한 모델에도 단점이 있다 . 예컨대, NLM은 eventful, eventfully, uneventful, and uneventfully 와 같은 단어들이 벡터 공간에서 서로 구조적으로 연관된 .. 공감수 1 댓글수 0 2022. 1. 22.
[논문 리뷰] GloVe: Global Vectors for Word Representation 1. Introduction 각 단어들은 semantic vector space로 나타내어진다. 이러한 단어 표현은 information retrieval, document classification, question answering, named entity recognition, parsing에 사용되어진다 Word vector를 표현하는 일반적인 방법 (1) global matrix factorization methods, such as latent semantic analysis (LSA) LSA의 특징 : LSA는 효율적으로 통계적 정보를 나타내지만, 단어간의 유사성을 분석하는 일에는 취약하다.. (2) local context window methods, such as the skip-gram.. 공감수 1 댓글수 0 2022. 1. 17.
AdaGrad(Adaotive Method) 개념 및 코드 구현 개념 핸즈온 머신러닝 2 책에서는 Adagrad의 원리를 다음과 같이 소개한다. 한쪽이 길쭉한 그릇 모양의 손실함수가 있다고 가정해보자. Gradient descent 알고리즘은 global minimum으로 곧장 향하지 않고 가장 가파른 경사를 따라 빠르게 내려가기 시작해서 골짜기 아래로 느리게 이동한다. AdaGrad 알고리즘은 global minimum의 방향을 좀 더 일찍 감지하고 global minimum쪽으로 좀더 정확한 방향을 잡아서 이동한다. 일반적인 Gradient descent 알고리즘의 경우에는, 모든 파라메터에 대해 동일한 step-size (학습률) 이 적용된다. 이에 반해 Adaptive 방법은, 각각의 매개변수에 맞춰서 학습률을 변화시키는 학습을 진행하면서, 학습률을 점차 줄여.. 공감수 0 댓글수 0 2021. 7. 10.
Momentum 개념 및 코드 구현 개념 (1) 나타난 배경 경사하강법을 시행할 때, 학습률이 너무 작은 경우, 극솟값에 다다르는 속도가 너무 느리게 되어 많은 학습이 필요하다. 또한 처음 시작점(보통 딥러닝에서는 처음 시작점은 무작위로 주어짐)이 global minimum 보다 local minimum에 더 가까운 경우, 경사하강법에서 local minimum에 도달하면, f'(x)=0이 되어 더이상의 업데이트가 진행되지 않는다. (2) 기본 원리 볼링공이 매끈한 표면의 완만한 경사를 따라 굴러간다고 하자. 볼링공은 처음에는 느리게 출발하지만, 종단속도에 도달할 때까지는 빠르게 가속될 것이다. 이것이 보리스 폴랴크가 1964년에 제안한 Momentum 최적화의 간단한 원리이다. 반대로 표준적인 경사하강법은 경사면을 따라, 일정한 크기의 .. 공감수 0 댓글수 0 2021. 7. 9.
[논문 리뷰] Batch Normalization: Accelerating Deep Network Training by ReducingInternal Covariate Shift 1.기존의 Deep Neural Network 정규화 방식의 문제 Neural Network를 안정적으로 잘 학습시키려면, (1) Input 부분에서 정규화 기법을 사용하고 (2)각 층의 weight를 √(n/2) 로 나누어 표준화를 진행한다. 하지만 Layer가 깊어질수록 input 부분에서 정규화한 효과가 없어진다(내부 공변량 변화 : Internal Covariate Shift) 이전 파라미터들이 업데이트 됨에 따라 다음에 번에 있는 Hidden Layer들의 입력 분포가 변경 됩니다. 이는 Layer가 깊을수록 심화될 수 있습니다. 2.Internal Covariate Shift Internal Covariate Shift(내부 공변량 변환)는 학습 도중 신경망 파라미터 변화에 의해서 발생되는 신.. 공감수 0 댓글수 0 2021. 7. 1.
차원축소 2 : SVD 개념과 sklearn적용 SVD (Singular Value Decomposition) 공식 SVD 역시 PCA와 유사항 행렬 분해 기법을 이용한다. 하지만. PCA의 경우, 정방행렬(행과 열의 크기가 같은 행렬)만을 고유벡터로 분해할 수 있지만, SVD는 정방행렬뿐만 아니라, 행과 열의 크기가 다른 행렬에도 적용할 수 있다. 위의 그림에서, 행렬 U와 V에 속한 벡터는 특이벡터(singular vector)이다. 특히 U에 속한 벡터를 Left Singular Vector, V에 속한 벡터를 Right Singular Vector라고 한다. 모든 특이벡터는 서로 직교하는(orthogonal) 성질을 가진다. 위의 식에서 U와 V의 가운데에 있는 diagonal은 대각행렬이며, 대각행렬은 행렬의 대각에 위치한 값만 0이 아니고 .. 공감수 0 댓글수 0 2021. 6. 29.
차원축소 1 : PCA 개념과 sklearn적용 구성 차원축소(Dimension Reduction) PCA (Principal Component Analysis) 공분산 행렬 공분산 행렬 분해 klearn 적용 및 활용 차원 축소(Dimension Reduction) 일반적으로 차원이 증가할수록, 데이터 포인트 간의 거리가 기하급수적으로 멀어지게 되고 희소(sparse)한 구조를 가지게 된다. 수백개 이상의 피처로 구성된 데이터 세트의 경우, 상대적으로 적은 차원에서 학습된 모델보다 예측 신뢰도가 떨어진다. 또한 피처가 많을 경우, 개별 피처 간에 상관관계가 높을 가능성이 큰데, 선형회귀와 같은 선형 모델에서는 입력 변수 간의 상관관계가 높을 경우 이로 인한 다중공선성 문제로 모델의 예측 성능이 저하된다 →필요성 : (1) 많은 다차원의 피처를 차원 .. 공감수 0 댓글수 0 2021. 6. 28.
[논문리뷰] A Convolutional Neural Network Approachto the Classification of Engineering Models Preprocessing for classification A weighted Light Field Descriptor (LFD) scheme is chosen as the method of feature extraction, and the generated images are fed as inputs to the CNN [1] 각각의 3D 모델링 데이터의 정십이면체의 정점에 20 대의 카메라를 배치하여 다양한 뷰에서 3D 모델의 이미지들을 캡처한다.(20대는 [1] 기준) 이렇게 캡처된 이미지들은 일치하는 CAD model label에 맞게 assigned된다. 딥러닝 학습 시 3D CAD 데이터 augmenting By observing the 3D objects in each category, an.. 공감수 0 댓글수 0 2021. 4. 11.
파이썬 알고리즘 인터뷰 32번 문제 : 섬의 개수 -문제 : 1을 육지로 0을 물로 가정한 2D 그리드 맵이 주어졌을 때, 섬의 개수를 계산하라. (연결되어 있는 1의 덩어리 개수를 구하라) -풀이 : 깊이우선탐색(DFS)을 사용하였다. ->입력1 11110 11010 11000 00000 ->출력1 1 ->입력2 11000 11000 00100 00011 ->출력2 3 class Solution(object): def dfs(self ,grid, i, j): # 더 이상 땅이 아닌 경우, 종료 if i = len(grid) or j = len(grid[0]) or grid[i][j] != '1': return grid[i][j] = '0' self.dfs(grid, i+1, j) self.dfs(grid, i + 1.. 공감수 0 댓글수 0 2021. 2. 5.
파이썬 알고리즘 인터뷰 26번 문제 : 원형데크디자인 문제설명 이문제는 원형 데크를 디자인하는 문제이다. 데크는 파이썬의 모듈로서 양쪽 끝을 모두 추출할 수 있는 큐이다. 파이썬의 데크의 기능을 하는 클래스를 이중연결리스트로 구현해보자 class MyCircularDeque: def __init__(self, k: int): self.head, self.tail = ListNode(None), ListNode(None) self.k, self.len = k, 0 #k는 원형데크의 최대길이, len은 원형데크의 현재 길이이다. self.head.right, self.tail.left = self.tail, self.head # 이중 연결리스트에 신규 노드 삽입 def _add(self, node:ListNode, new:ListNode): n = node.r.. 공감수 0 댓글수 0 2021. 2. 3.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.