여행자의 책

결론부터 말하면 2차에서 떨어졌다. 카카오를 처음 지원할 때가 아마 컴퓨터공부를 시작한지 5개월 째 되는 때 였을 것이다. 공부를 시작한지 얼마되지 않았기 때문에 별다른 기대를 하지 않았다. 그저 카카오 코딩테스트가 타사 코딩테스트에 비해 어렵기로 유명했고 어차피 돈도 안드는데 라는 생각으로 가벼운 마음으로 시험을 봤다. 하지만 내가 블로그를 돌아다니면서 정보를 얻어 도움을 받은 것처럼 나 역시 도움이 되고자 이 글을 적는다. 1. 1차 코딩테스트 1차 시험문제는 모두 공개되어있기 때문에 특별히 할말이 없다. 7문제 중에 정확히 푼 문제는 총 3문제 였고 한문제가 효율성만 떨어져서 총 3.5솔 정도라고 생각한다. 떨어졌다고 생각했는데 운이 좋게 붙었다. 2. 2차 코딩테스트 카카오 2차 코딩테스트는 매우..

가중치가 지나치게 커져서 발생하는 문제 learning Rate를 줄여서 해결하도록 하자

sklearn에서 모델을 돌린 후에 웹에서 이 모델을 사용하기 위해 파일 형태로 저장해서 사용할 때 사용하는 방법 1. 모델 저장 import joblib model = LinearRegression() model.fit(Xtrain, ytest) joblib(model, 'fileName.pkl') 위 명령어를 작성하면 저장할 수 있다. 2. 모델 불러오기 import joblib model = joblib.load('/filePath/fileName.pkl') result = model.transform(input) Input 파일의 순서를 맞추거나 pandas DataFrame 형태로 만들어서 사용하면된다. 위와 같은 방법으로 Pipeline이나 Scaler(Standard, Minmax, Robu..

스케일러를 fit 하지 않고 transform 하려고 했을 때 발생하는 오류라고 생각할 수 있다.. 그때 발생하는 오류가 맞긴 하지만 나의 경우는 조금 달랐다. Colab에서 scaling을 한 후에 fit하고 pickle이나 joblib을 이용해 저장하고 웹에서 불러올 때 위에 있는 에러가 발생했다. 이유는 sklearn의 버전이 저장하는 환경과 웹서버 환경이 다르기 때문이다. 2020.11.22 지금 Colab의 sklearn 버전은 0.22.2.post1 웹서버의 버전을 아래 명령어를 통해 낮춰주고 진행하면된다. pip install scikit-learn==0.22.2.post1 참고로 sklearn.externals.joblib is deprecated

www.stefaanlippens.net/python-pickling-and-dealing-with-attributeerror-module-object-has-no-attribute-thing.html Python: pickling and dealing with "AttributeError: 'module' object has no attribute 'Thing'" - Stefaan Lippens inserts content h The pickle module of python is a very handy module if you want to store and retrieve your python data structures to and from a file. Using that module you d..

사이킷런은 GPU를 지원하지 않는다. 그래서 코랩 프로를 사용했을 때 이점이 그렇게 크지 않다. 더군다나 코랩은 고용량 RAM도 25기가 밖에 지원하지 않기 때문에 금새 OOM(Out of Memory)가 떠서 기껏 연산해놓은 작업이 날라가 버리는 불상사가 발생한다. 이 글은 제한된 컴퓨터 자원을 이용해 머신러닝을 하려는 사람들에게 도움이 됐으면 하는 마음으로 프로젝트를 하면서 사용했던 방법을 공유하는 글이다. 첫번째. 메모리를 사라. 이게 무슨 말인가? 제한된 컴퓨터 자원을 사용하는 사람을 위한 글이라더니 갑자기 메모리를 사라니? 맞다. 하지만 금전적인 여유가 있다면... 이 방법 저 방법 찾는바에야 메모리를 사서 해결하는 방법이 훨씬 더 간편하고 속편한 방법이다. 일단 메모리만 커져도 디스크 I/O가..

가상환경 툴로 pipenv를 사용하고 서버에 올리려고 하니 발생한 문제. Pipfile에 들어가보면 [requires] python=3.7 으로 적혀있는데 리눅스 환경에는 python3 환경변수로 3.6버전이 등록이 되어있었다. 배포에 버전에 관련된 문제가 없다면 [requires] python=3.6 버전으로 맞춰서 실행해주도록하자

.profile은 Login shell를 위한 것 .bashrc Non Login Shell를 위한 것 .profile이 더 상위 개념

spark 버전과 pyspark 버전이 다를 때 발생하는 에러로 pip3 freeze로 pyspark 버전을 확인하고 spark-shell --version으로 spark 버전을 확인하고 두개를 비교해보고 돌리도록 하자

colab에서 pyspark를 돌리다가 lightgbm을 사용하려고 mmlspark를 install하고 아래와 같은 코드를 돌릴려고 하니 발생한 오류 from mmlspark.lightgbm import LightGBMRegressor 이 에러는 기본적으로는 spark에 필요한 패키지가 없어서 발생한 문제로 먼저 아래 명령어로 하둡과 스파크를 다운로드 받아준다. !apt-get install openjdk-8-jdk-headless -qq > /dev/null !wget -q https://www-us.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz !tar xf spark-2.4.7-bin-hadoop2.7.tgz !pip install..