Lazyer

시계열 분석 - 모형 @lazyerIJ References 시계열 분석 - 모형 본 내용은 위 블로그를 보고 내용을 임의로 정리, 요약 한 글입니다. 1. 시계열 분석 적용 대상 회귀분석은 시점을 고려하지 않지만, 시계열 분석은 시간을 고려한다. 1개의 데이터와 그 데이터를 획득한 시간을 알고있다면, 그 데이터 자체적으로도 분석이 가능해진다. 2. 대표적인 시계열 데이터의 특성 시계열 정보 = 규칙적인 패턴 + 불규칙적인 패턴 규칙적인 패턴 자기 상관성 이전의 결과와 이후의 결과 사이에서 발생. (이전 값이 크면 이후 값은 낮은 경향 따위) 바로 이전의 결과의 영향을 받을 수도 있지만 Delay가 발생하기도 한다. 이동평균 이전에 생긴 불규칙한 사건이 이후의 결과에 편향성을 초래 불규칙적인 패턴 (Whi..

Tacotron Analysis - Data Preprocessing Tacotron : https://carpedm20.github.io/tacotron/ python3 -m datasets.son.download datasets/son/video : download ts format video data datasets/son/assets : download text format data python3 -m audio.silence --audio_pattern "./datasets/son/audio/*.wav" --method=pydub from pydub import silence audio = read_audio(audio_path) not_silence_ranges = silence.detect_..

#Underflow/Overflow #Poor Conditioning #Gradient Based Optimization #Jacobian and Hessian Matrix @2017.01 1. Underflow / Overflow Underflow : 0에 가까운 매우 작은 숫자가 0으로 반올림되어 취급 Overflow : 매우 큰 숫자가 무한으로 취급. ex ) softmax - Underflow 또는 Overflow로 부터 반드시 안정화 필요 모든 x(i)가 상수 c와 같다고 가정했을 때, output = 1/n으로 동일 exp 함수 그래프에 따라 x(i) 가 매우 클 때 Overflow, 매우 작을 때 Underflow 발생 해결 : softmax(z) wherez=x − max(i)x(i) ex..

Google tutorial - Style Transfer@18.12.1@Google tutorial[PROLOG]Image AImage BImage A+B Image Style Transer 은 Image A와 Image B를 이용하여 새로운 그림을 만들어준다. 추 후 Style Transfer을 Sound에 적용하는 연구를 시도해보고자 Tensorflow Tutorial을 공부해보았다.개념과 코드에 대한 설명이 섞여있기 때문에 코드만 또는 개념만 공부하고자 한다면 다소 복잡하고 지저분 할 수 있다. 코드와 개념을 같이 공부한다해도.. 많이 부족하여 지저분할 수 있다.항상 개념만 공부하면 코드를 보았을 때 적용시키는 부분이 어려워, 코드와 개념을 함께 정리하여보았다. 1. 개요 Style Transfe..

Mask RCNN @by lazyerIJ _ 18.06.27 페이스북에서 공개한 Image Masking 알고리즘. Object classification을 pixel단위로 수행하는 것이 특징이다. Faster RCNN과 크게 다르지 않기 때문에, 기본 로직은 제외하고 Faster RCNN과 다른점을 위주로 정리하였다. 먼저, Faster RCNN은 classification과 bounded-box regression을 함께 학습한다. rpn을 통하여 ROI영역을 추출하고 classification을 진행하기 때문에 2개의 Loss를 사용하게된다. Mask RCNN은 3개의 Loss값을 사용하는데, 가 추가되어 가 된다. Mask RCNN의 흐름은 'ROI 탐색 -> Classification(Faste..

Faster RCNN @lazyerIJ 1. History of R-CNN Series Rich feature hierarchies for accurate object detection and semantic segmentation(2013) Fast R-CNN(2015) Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networds(2015) Mask R-CNN(2017) 2. Compare Models speed : Faster RCNN R_FCN 3. R-CNN Architecture bounding img almost 2k(Regions of Interest.ROI f..

Sequence to Sequence Learning with Neural Networks Machine Translate와 같은 자연어 처리 분야에 관한 연구가 진행되며 Seq2Seq는 기계 번역에 대하여 새로운 접근 방식을 제공한다. 이전의 Machine Tranlslate에서는 Phrase-by-Phrase(구문 대 구문)으로 번역을 진행하였기 때문에 '문법'에 의존하였으며 언어학자들의 역할이 컸다. Deep-Learning에 의한 새로운 접근법을 알아보자. Sequence-to-Sequece 시퀀스란 연관된 연속의 데이터를 의미한다. 문장(Sentence)는 일련의 연속된 단어(Word)들의 표현으로 이루어 져있으며 좋은 시퀀스의 예이다. Clustering과는 다른 개념이며, Input Data..

Word2Vec 1. Word2Vec word2vec은 2013년 Tomas Mikolov를 중심으로 구글에서 발표한 Continuous Word Embedding 학습 모델이다. NNLM을 계승하면서도 학습 속도를 비약적으로 끌어올려 주목받고있으며 큰 차이점으로는 NNLM모델의 Hidden Layer가 사라졌다. 각 기능에 따라 CBOW, Skip-gram 두 가지 모델을 제시하였다. 2. CBOW CBOW의 경우 주위 단어들로 부터 가장 확률론적으로 가능성이 높은 한 단어를 찾는 모델이다. 입력층~은닉층(WV∗NW_{V*N}WV∗N​), 은닉층~출력층(WV∗NW_{V*N}WV∗N​)을 연결하는 2개의 행렬 이 존재한다. 서로다른 행렬이며 그 모양은 서로 전치한 것과 동일하다. 실제로 같은 행렬을 이용..