전체 글 (43) 썸네일형 리스트형 AlexNet AlexNet AlexNet 은 ILSVRC 에서 2012년 직전 2011년 우승했던 모델의 25.8% 에러를 뒤로한 채, 압도적인 성능인 16.4% 의 에러로 우승한 모델이다. [Input layer - Conv1 - MaxPool1 - Norm1 - Conv2 - MaxPool2 - Norm2 - Conv3 - Conv4 - Conv5 - Maxpool3 - FC1- FC2 - Output layer] # 논문에서 유용하게 봐야할 점 LRN : Local Response Normalization : 데이터의 편차가 심한 경우 sigmoid, tanh 함수는 Saturating 현상이 심하여 Vanishiong Gradient 를 유발할 수 있다. 그렇기 때문에 Normalization 으로 데이터의 .. Why Convolutions ? Convolution Layer 를 사용해야했던 이유를 다른 관점에서 보려고 한다. ( 이 글은 Andrew Ng 교수님의 CNN 강의의 학습에 의한 글입니다.) 1. Parameter Sharing 입력값으로 받아왔던 이미지에 대한 Conv filter 를 적용하면, 결과적으로 또 다른 파트에도 영향을 끼칠 수 있다는 점이다. 말로는 어렵기에 figure 를 사용하여 보겠다. 2. Sparsity of Connections 각 Layer 에서 발생한 결과값은 Input 에서의 작은 값에 의존적이라는 것. 표현이 어설플 수 있지만, filter 가 적용되어 돌고 있는 부분이 아닌 그 외의 부분은 연산에서 0이라고 생각할 수 있다. (대개, 이러한 행렬의 구조를 Sparse matrix 라고 한다.) LeNet-5 (Basic CNN) 1. LeNet-5 Yann LeCun 라는 분이 1998년 Paper submit 하셨던 'Gradient-Based Learning Applied to Document Recognition' 에 담긴 신경망의 구조를 LeNet-5 라고 한다. 전반적인 내용은 이전에 있었던 Convolutional Neural Network 의 Conv filter 의 사용배경에서 다루었던 내용이 었으므로 본론으로 들어가보자. http://lushuangning.oss-cn-beijing.aliyuncs.com/CNN%E5%AD%A6%E4%B9%A0%E7%B3%BB%E5%88%97/Gradient-Based_Learning_Applied_to_Document_Recognition.pdf 전체적인 구조는 굉장히 간단하다.. Convolutional Neural Networks 해당 글은 Adrew Ng 교수님의 Coursera 에 속한 강의 CNN 과정에서 출처합니다. Computer Vision 분야에서는 기존에 사용되었던 일반적인 Deep Learning ( 일반적인 Layer 를 깊게 쌓아 올리는 방법)은 Large Scale (HIgh Quality Image) 에 적용하여 classification, recognition, detection 등의 작업을 진행하기엔 잘 동작하지 않는 문제가 발생하였다. 따라서 Convolutional filter 를 도입한 방법을 사용하기 시작하였다. 1. Edge Detection https://en.wikipedia.org/wiki/Edge_detection#/media/File:%C3%84%C3%A4retuvastuse_n%C3%.. SQLite3 SQLite 를 이용하여 파이썬 데이터베이스 연동에 대한 학습이다. 테이블 생성 및 삽입 # DB생성 & Auto Commit:반영(Rollback:수정 전으로 되돌리기) # auto commit 을 위한 isolation_level conn = sqlite3.connect('./resource/database.db', isolation_level=None) # Cursor c = conn.cursor() print('Cursor Type : ', type(c)) # 테이블 생성 (Data Type : TEXT, NEMERIC, INTEGER, REAL, BLOB) c.execute("CREATE TABLE IF NOT EXISTS users(id INTEGER PRIMARY KEY, username t.. 파이썬 간단한 문법들 모음2 파이썬 간단한 문법들 모음 Class Imbalanced Problem Class Imbalanced Problem - 모델이 소수의 데이터를 무시하는 현상 majority class 의 수가 minority class 의 수보다 월등히 많은 상황. 의료, 반도체, 보험, 텍스트 등 여러 분야의 문제 Class Imbalanced Problem 이 있는 Classificaion data 문제에서는 Accuracy 와 같은 지표는 그 의미가 현저하게 줄어든다. 따라서 G-Mean 이나 F1-Score 같은 measure 를 사용한다. G - Mean : 제 1종 오류와 제 2종 오류 중 나쁜쪽에 더욱 가중치를 준다. F1 - Score : 불량에 관여하는 지표인 정밀도와 재현율만을 고려 # 제 1종 오류 : 귀무가설이 참인데 기각하는 경우 alpha 로 그 확률값을 표현 # .. 이전 1 2 3 4 5 6 다음 목록 더보기
