Lazyer

시계열 분석 - 모형 @lazyerIJ References 시계열 분석 - 모형 본 내용은 위 블로그를 보고 내용을 임의로 정리, 요약 한 글입니다. 1. 시계열 분석 적용 대상 회귀분석은 시점을 고려하지 않지만, 시계열 분석은 시간을 고려한다. 1개의 데이터와 그 데이터를 획득한 시간을 알고있다면, 그 데이터 자체적으로도 분석이 가능해진다. 2. 대표적인 시계열 데이터의 특성 시계열 정보 = 규칙적인 패턴 + 불규칙적인 패턴 규칙적인 패턴 자기 상관성 이전의 결과와 이후의 결과 사이에서 발생. (이전 값이 크면 이후 값은 낮은 경향 따위) 바로 이전의 결과의 영향을 받을 수도 있지만 Delay가 발생하기도 한다. 이동평균 이전에 생긴 불규칙한 사건이 이후의 결과에 편향성을 초래 불규칙적인 패턴 (Whi..

#Underflow/Overflow #Poor Conditioning #Gradient Based Optimization #Jacobian and Hessian Matrix @2017.01 1. Underflow / Overflow Underflow : 0에 가까운 매우 작은 숫자가 0으로 반올림되어 취급 Overflow : 매우 큰 숫자가 무한으로 취급. ex ) softmax - Underflow 또는 Overflow로 부터 반드시 안정화 필요 모든 x(i)가 상수 c와 같다고 가정했을 때, output = 1/n으로 동일 exp 함수 그래프에 따라 x(i) 가 매우 클 때 Overflow, 매우 작을 때 Underflow 발생 해결 : softmax(z) wherez=x − max(i)x(i) ex..

Mask RCNN @by lazyerIJ _ 18.06.27 페이스북에서 공개한 Image Masking 알고리즘. Object classification을 pixel단위로 수행하는 것이 특징이다. Faster RCNN과 크게 다르지 않기 때문에, 기본 로직은 제외하고 Faster RCNN과 다른점을 위주로 정리하였다. 먼저, Faster RCNN은 classification과 bounded-box regression을 함께 학습한다. rpn을 통하여 ROI영역을 추출하고 classification을 진행하기 때문에 2개의 Loss를 사용하게된다. Mask RCNN은 3개의 Loss값을 사용하는데, 가 추가되어 가 된다. Mask RCNN의 흐름은 'ROI 탐색 -> Classification(Faste..

Faster RCNN @lazyerIJ 1. History of R-CNN Series Rich feature hierarchies for accurate object detection and semantic segmentation(2013) Fast R-CNN(2015) Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networds(2015) Mask R-CNN(2017) 2. Compare Models speed : Faster RCNN R_FCN 3. R-CNN Architecture bounding img almost 2k(Regions of Interest.ROI f..

Sequence to Sequence Learning with Neural Networks Machine Translate와 같은 자연어 처리 분야에 관한 연구가 진행되며 Seq2Seq는 기계 번역에 대하여 새로운 접근 방식을 제공한다. 이전의 Machine Tranlslate에서는 Phrase-by-Phrase(구문 대 구문)으로 번역을 진행하였기 때문에 '문법'에 의존하였으며 언어학자들의 역할이 컸다. Deep-Learning에 의한 새로운 접근법을 알아보자. Sequence-to-Sequece 시퀀스란 연관된 연속의 데이터를 의미한다. 문장(Sentence)는 일련의 연속된 단어(Word)들의 표현으로 이루어 져있으며 좋은 시퀀스의 예이다. Clustering과는 다른 개념이며, Input Data..

Word2Vec 1. Word2Vec word2vec은 2013년 Tomas Mikolov를 중심으로 구글에서 발표한 Continuous Word Embedding 학습 모델이다. NNLM을 계승하면서도 학습 속도를 비약적으로 끌어올려 주목받고있으며 큰 차이점으로는 NNLM모델의 Hidden Layer가 사라졌다. 각 기능에 따라 CBOW, Skip-gram 두 가지 모델을 제시하였다. 2. CBOW CBOW의 경우 주위 단어들로 부터 가장 확률론적으로 가능성이 높은 한 단어를 찾는 모델이다. 입력층~은닉층(WV∗NW_{V*N}WV∗N​), 은닉층~출력층(WV∗NW_{V*N}WV∗N​)을 연결하는 2개의 행렬 이 존재한다. 서로다른 행렬이며 그 모양은 서로 전치한 것과 동일하다. 실제로 같은 행렬을 이용..

Word Embedding 1.Word embedding 검색을 통한 클러스터링, 텍스트 분류, 기계 번역과 같이 다양한 분야에서 텍스트 데이터가 사용된다. 딥러닝, 머신러닝을 포함하여 컴퓨터 알고리즘은 원시 형식의 문자 또는 일반 텍스트를 처리할 수 없기 때문에 '문자'의 입력을 숫자로 변환하여야 한다. 문장 속의 "Apple"이 과일인지, 회사인지를 알아내려면 의미론적 관계 및 문맥을 포착하는 단어의 표현을 구현하여야 한다. "Word Embeddings are Word converted into numbers" 의 문장에서 ["Word","embeddings","are","Word","converted","into","numbers"] 의 단어들이 나올 수 있다. 가장 간단하게 "Word"를 표현하..