Lazyer

Word Embedding 1.Word embedding 검색을 통한 클러스터링, 텍스트 분류, 기계 번역과 같이 다양한 분야에서 텍스트 데이터가 사용된다. 딥러닝, 머신러닝을 포함하여 컴퓨터 알고리즘은 원시 형식의 문자 또는 일반 텍스트를 처리할 수 없기 때문에 '문자'의 입력을 숫자로 변환하여야 한다. 문장 속의 "Apple"이 과일인지, 회사인지를 알아내려면 의미론적 관계 및 문맥을 포착하는 단어의 표현을 구현하여야 한다. "Word Embeddings are Word converted into numbers" 의 문장에서 ["Word","embeddings","are","Word","converted","into","numbers"] 의 단어들이 나올 수 있다. 가장 간단하게 "Word"를 표현하..

highway_network Highway Networks _ Lazyer [arXiv:1505.00387v2] - Rupesh Kumar Srivastava - 03.11.15 Abstract 학습 모델의 깊이가 증가함에 따라 성능이 증가한다는 사실은 일반화되었다. 하지만 깊이가 증가할수록 최적화가 어려워지며 훈련에 어려움이 따른다.Highway Network는 모델을 깊게 만들면서도 정보의 흐름을 통제하고 학습 가능성을 극대화할 수 있도록 해준다. 1. Introduction 생략 notice bold : Vectors, Matrices capital letters : transform function 0, 1 : Vectors of zeros and ones I : Identify matrix σ(..