여행자의 책

가중치가 지나치게 커져서 발생하는 문제 learning Rate를 줄여서 해결하도록 하자

사이킷런은 GPU를 지원하지 않는다. 그래서 코랩 프로를 사용했을 때 이점이 그렇게 크지 않다. 더군다나 코랩은 고용량 RAM도 25기가 밖에 지원하지 않기 때문에 금새 OOM(Out of Memory)가 떠서 기껏 연산해놓은 작업이 날라가 버리는 불상사가 발생한다. 이 글은 제한된 컴퓨터 자원을 이용해 머신러닝을 하려는 사람들에게 도움이 됐으면 하는 마음으로 프로젝트를 하면서 사용했던 방법을 공유하는 글이다. 첫번째. 메모리를 사라. 이게 무슨 말인가? 제한된 컴퓨터 자원을 사용하는 사람을 위한 글이라더니 갑자기 메모리를 사라니? 맞다. 하지만 금전적인 여유가 있다면... 이 방법 저 방법 찾는바에야 메모리를 사서 해결하는 방법이 훨씬 더 간편하고 속편한 방법이다. 일단 메모리만 커져도 디스크 I/O가..

%load_ext tensorboard %tensorboard --logdir {'로그있는 디렉토리'} %load_ext tensorboard %tensorboard --logdir {'로그있는 디렉토리'} 만약 체크포인트가 여러개의 폴더로 나눠져 있는 경우 라면 상위 디렉토리를 지정해서 볼 수 있다. 가령 아래와 같이 디렉토리가 있다면 log1 |-R1 |-R2 |-R3 %load_ext tensorboard %tensorboard --logdir {'./log1/'} %load_ext tensorboard %tensorboard --logdir {'./log1/'} 이런 식으로 잡으면된다.

프로젝트를 하면서 텐서보드를 사용할 일이 있었는데 구글에는 온통 케라스를 이용한 텐서보드밖에 없었다. 내가 필요한건 케라스가 아니라 텐서플로우로 구현한 Lasso와 Ridge였다. 직접해보고 적는 코랩으로 텐서플로우만을 이용한 텐서보드 사용하기 tensorflow session을 이용해서 tensorboard를 사용하려면 4가지만 기억하자 1. 초기화(tf.reset_default_graph()) 2. 텐서보드에서 볼 변수들을 정한다. A_summary = tf.summary.scalar(name, 변수) 3. 묶어준다. 4. 학습을 진행하면서 기록해준다. merge = tf. import tensorflow.compat.v1 as tf from tensorflow.python.framework impo..

def regulRegresor(y, X, RegType, Rconst): regression_type = RegType # LASSO, Ridge num_cols = X.shape[1] x_data = tf.placeholder(shape=[None, num_cols], dtype=tf.float32, name='Input') #Input(feature) y_target = tf.placeholder(shape=[None,1],dtype=tf.float32, name='Output') #Output(label) A = tf.Variable(tf.random_normal(shape=[num_cols,1]),name =Weight) # Weight Vector b = tf.Variable(tf.random..

import tensorflow.compat.v1 as tf from tensorflow.python.framework import ops import numpy as np from sklearn.datasets import load_iris ops.reset_default_graph() def regulRegresor(y, X, RegType, Rconst): regression_type = RegType # LASSO, Ridge num_cols = X.shape[1] x_data = tf.placeholder(shape=[None, num_cols], dtype=tf.float32) y_target = tf.placeholder(shape=[None,1],dtype=tf.float32) A = tf..