티스토리

조마조마

검색하기

블로그 홈

조마조마

gjghks.tistory.com/m

Deep Learning, Computer Vision, Image Processing, 일상

구독자: 1

방명록 방문하기

주요 글 목록

파이토치_2 import random import numpy as np import torch import os import cv2 import pandas as pd import albumentations as A from pathlib import Path from sklearn.model_selection import train_test_split, StratifiedKFold from torch.utils.data import Dataset, DataLoader from sklearn.metrics import f1_score import timm import torch.nn as nn from torch.optim import AdamW from torch.optim.lr_scheduler import Co.. 공감수 0 댓글수 1 2023. 10. 31.
파이토치_1 import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn import torch.optim as optim import torchvision.models as models import torch.nn.functional as F from torchvision import transforms, datasets # Constants USE_CUDA = torch.cuda.is_available() DEVICE = torch.device("cuda" if USE_CUDA else "cpu") BATCH_SIZE = 32 EPOCHS = 10 MEAN = [0.5, 0.5, 0.5] STD = [0.5, 0.5, 0.. 공감수 0 댓글수 1 2023. 10. 31.
프로그래머스_1 ## 문제 ### 요청 사항 1. 전체 고객 수 --- #### ✅ 구현 조건 - 고객 정보에 존재 하는 전체 고객의 수를 확인해 주세요. #### ✅ 정답 예시 ```json // problem_1.json { "total": 100 } ``` ### 요청 사항 2. 휴면 고객 리스트 --- #### ✅ 구현 조건 - 현재 고객 상태(status)가 휴면(dormant)인 고객을 대상으로 이벤트를 기획하고 있습니다. 휴면 고객 ID 리스트를 출력해 주세요. #### ✅ 제약 사항 - 고객 ID를 기준으로 오름차순 정렬하여 출력합니다. #### ✅ 정답 예시 ```json // problem_2.json [ 100, 101, 104, 106, 110, ... ] ``` import os import js.. 공감수 0 댓글수 0 2023. 10. 26.
Save the model object into a file for restoration/de-serialization Pytorch provides two main ways of doing this: The less recommended way is to save the entire model object as follows: torch.save(model, PATH_TO_MODEL) And then, the saved model can be later read as follows: model = torch.load(PATH_TO_MODEL) Although this approach looks the most straightforward, this can be problematic in some cases. This is because we are not only saving the model parameters, bu.. 공감수 0 댓글수 0 2021. 4. 2.
define colors using random tuples COLORS = np.random.randint(0, 255, size=(len(classes), 3), dtype="uint8") # draw loop color = [int(c) for c in COLORS[idx]] ※ reference: pytorch computer vision codebook 공감수 0 댓글수 0 2021. 1. 6.
define the optimizer and the learning rate schedule define an Adam optmizer object with a learning rate of 1e-4: from torch import optim opt = optim.Adam(model_resnet18.parameters(), lr=1e-4) we can read the current value of the learning rate using the following function: def get_lr(opt): for param_group in opt.param_groups: return param_group['lr'] current_lr = get_lr(opt) print('current lr = {}'.format(current_lr) define a learning scheduler us.. 공감수 0 댓글수 0 2021. 1. 6.
visualize the filters of the first CNN layer let's get the weight of the first layer: for w in model_resnet18.parameters(): w = w.data.cpu() print(w.shape) break then, normalize the weights: min_w = torch.min(w) w1 = (-1 / (2 * min_w)) * w + 0.5 print(torch.min(w1).item(), torch.max(w1).item()) next, make a grid and display it: grid_size = len(w1) x_grid = [w1[i] for i in range(grid_size)] x_grid = utils.make_grid(x_grid, nrow=8, padding=1.. 공감수 0 댓글수 0 2021. 1. 6.
store best weights # a deep copy of weights for the best performing model best_model_wts = copy.deepcopy(model.state_dict()) # initialize best loss to a large value best_loss=float('inf') # main loop . . . # store best model if val_loss < best_loss: best_loss = val loss best_model_wts = copy.deepcopy(model.state_dict()) # store weights into a local file torch.save(model.state_dict(), path2weights) print("Copied be.. 공감수 0 댓글수 0 2021. 1. 4.
Storing and loading models Once training is complete, we'll want to store the trained parameters in a file for deployment and future use. There are two ways of doing so. Let's look at the first method: 1. First, we will store the model parameters or state_dict in a file: # define path2weights path2weights="./models/weights.pt" # store state_dict to file torch.save(model.state_dict(), path2weights) 2. To load the model par.. 공감수 0 댓글수 0 2020. 12. 31.
model summary use torchsummary package to get summary of the model to see the output shape and the number of parameters in each layer. 1. install the torchsummary package: pip install torchsummary 2. let's get the model summary using torchsummary: from torchsummary import summary summary(model, input_size=(channels, H, W)) ---------------------------------------------------------------- Layer (type) Output Sh.. 공감수 0 댓글수 0 2020. 12. 31.
pytorch 1.7.1 + cuda 11.0 + cudnn 8.0.5.39 on windows rtx 30xx번대 ampere 아키텍처 정식 지원 pytorch 1.7.1(stable) 버전이 나왔다. 기존 1.7.0 버전에서는 30xx번대에서 jit 오류를 뿜어댔으나 나를 포함한 다른 유저들의 열화와 같은 성원에 nightly 버전(1.8)부터 해결되더니 드디어 stable(1.7.1) 버전도 나왔다. 아마 기존에는 anaconda의 cuda 버전이 낮아서 안되지 않았나 싶다. 각설하고, 윈도우 환경에서 pytorch 1.7.1 + cuda 11.0 + cudnn 8.0.5로 기존 코드들 깔끔하게 동작한다. 30xx번대 그래픽 카드 사용자들은 pytorch 업데이트 해서 사용해보자. 공감수 0 댓글수 0 2020. 12. 14.
Pycharm Pro를 활용한 SSH interpreter 앞서 ubuntu에 pytorch 환경을 설정했지만 SSH 콘솔을 통해 코딩 및 디버깅을 하기엔 어려움이 따른다. 그래서 구글링을 통해 pycharm pro에서 SSH interpreter를 활용하는 방법을 찾았다. 그러니까 뭔말이냐면, 내 컴퓨터가 너무 구리거나 혹은 너무 좋아서 (RTX 3000번대.. 현재 pytorch에서 암페어 아키텍처를 정식 지원 안해서 못쓴다고 보면 된다, github보면 어거지로 컴파일해서 돌리는 친구들 있는데 속도 안나온다, 괜히 고생하지 말자) 딥러닝 개발환경이 안된다면, server의 컴퓨팅 자원을 활용해서 학습도 하고 코딩도 하고 싶은데, 디버깅이 편하려면 pycharm을 써야되는데, ssh 콘솔 접속을 통해서 pycharm을 어떻게 써야하나 고민중에, 이를 해결할 .. 공감수 0 댓글수 0 2020. 11. 23.
Ubuntu 18.04 / cuda 10.1 / cuDNN 7.6.5 / anaconda / pytorch 세팅 계속 windows에서만 작업하다가 ubuntu에서 작업할 일이 생겨서 부랴부랴 구글의 도움을 받아 세팅을 완료했다. 이전에도 ubuntu에서 작업했지만 좀 오래되서 다 까먹음.. 서버를 제공받은터라 putty를 통해 세팅을 진행했다. 또한 cuda 10.1과 cuDNN 7.6.5로 version을 정한 이유는 google colab pro 및 pytorch를 사용중인데 거기서 사용하는 version이기 때문이다. (구글 형님 믿고 갑니다) ubuntu는 설치되어있다고 가정하에 cuda 설치를 진행한다. cuda 설치시 driver가 설치되기 때문에 따로 graphic driver를 설치하지 않아도 된다. - 기존 driver 및 cuda가 설치되어 있을 시 제거 $sudo apt-get purge nv.. 공감수 0 댓글수 0 2020. 11. 23.
split-folders machine learning을 위해서는 dataset을 train/val/test set으로 분할할 필요가 있다. 이유는 cs231n 강의 초반에 자세하게 나오지만, 간략하게 정리하면 training의 평가를 위함이다. generization이 잘되야 좋은 model이라고 볼 수 있다. 본인은 보통 train/val/test의 비율을 75/15/10으로 분할한다. 그리고 class imbalance를 피하기위해 각 class별 data 비율도 중요하고 또 하나는 random으로 sampling을 해야한다는 것이다. 기존에는 dataset을 하나의 폴더에 모아놓고 powershell 명령어를 통해 분할했었다. Get-ChildItem SomeFolder | Get-Random -Count $x | Mov.. 공감수 0 댓글수 0 2020. 11. 23.
Lecture 6: Training Neural Networks I part 1에서는 활성 함수, 데이터 전처리, 가중치 초기화, batch normalization, 학습 과정, 하이퍼파라미터 최적화를 다룬다. 먼저 activation functions을 살펴보자. input으로 데이터 입력이 들어오고 가중치와 곱한다. (행렬 내적) 이는 FC 혹은 CNN이 될 수 있다. 이후 활성 함수(activation function), 즉 비선형 함수를 통과하게 된다. 위의 그림은 다양한 활성 함수들의 예시를 보여준다. 먼저 sigmoid를 살펴보자. sigmoid는 입력을 받아서 0~1 사이의 값이 되도록 한다. 입력이 크면 1에 가깝고, 입력이 작으면 0에 가깝게 된다. 0 근처의 구간을 보면 선형 함수와 가까워 보인다. 이는 값이 적당할때 back-propagation이 .. 공감수 1 댓글수 0 2020. 10. 5.
Lecture 5: Convolutional Neural Networks 1957년에 Frank Rosenblatt가 Mark I Perceptron Machine을 개발했다. 최초의 perceptron을 구현한 기계이다. perceptron은 wx+b와 유사한 함수를 사용한다. 왜 똑같은게 아니고 유사하냐면 출력값이 1 또는 0이기 때문이다. 가중치 w는 update rule이 존재한다. 하지만 이것은 w를 조절하면서 맞추는 식이였다. 1960년대에는 Widrow와 Hoff가 Adaline과 Madaline을 개발했다. 이것은 최초의 multilayer perceptron network를 구현한 기계였다. 하지만 backpropagation과 같은 알고리즘은 없었다. 최초의 backpropagation은 1986년에 Rumelhart가 제안했다. chain rule과 upd.. 공감수 1 댓글수 0 2020. 9. 24.
Lecture 4: Backpropagation and Neural Networks analytic gradient를 어떻게 계산할까? computational graph를 이용하면 어떠한 함수도 표현이 가능하다. 위 그림에서 각 노드는 연산 단계를 나타내며, input이 x, w인 선형 classifier를 보여준다. 곱셉 노드는 행렬 곱셈을 나타내며, 데이터 x와 가중치 w의 곱을 통해 score vector를 출력한다. 그 다음 hinge loss라는 계산 노드가 있다. loss를 계산하는데 하단에 regularization 노드가 더해져서 최종 loss가 된다. 이렇게 computational graph를 이용하여 함수를 표현하면, gradient를 계산하기 위해 computational graph 내부의 모든 변수에 대해 chain rule을 재귀적으로 사용하는 backprop.. 공감수 0 댓글수 0 2020. 9. 17.
R-CNN(Regions with CNN features), SPPNet(Spatial Pyramid Pooling in Deep CNN) R-CNN 이전의 object detection에 사용되던 방법들은 hand-crafted feature에 기반하는 SIFT와 HOG와 같은 알고리즘이였다. AlexNet 이후에 버클리 연구팀이 CNN을 이용하여 detection 분야에 R-CNN이라는 알고리즘을 만들었다. 먼저 입력 이미지로부터 약 2,000개의 후보 영역을 설정한다. 후보 영역 설정은 selective search 방법을 사용한다. selective search는 계층적 그룹핑 방법이며, region의 유사도를 따져서 반복적으로 통합하는 방법이다. 후보 영역을 설정하면 해당 영역을 모두 동일한 224x224 크기로 warping을 수행한다. AlexNet 구조를 활용했기때문에 입력 크기를 224x224 크기로 통일했다. (위 그림 3.. 공감수 0 댓글수 0 2020. 9. 16.
곱셈 노드의 역전파 z =f(x,y) = xy 라는 곱셈 노드 함수가 있다. 이 곱셉 노드의 로컬 그래디언트는 다음과 같다. 편미분을 r이라고 표현하면, rz / rx = r(xy) / rx = y rz / ry = r(xy) / ry = x 현재 입력값에 대한 loss의 변화량은 로컬 그래디언트에 흘러들어온 그래디언트를 각각 곱해주면 된다. 곱셈 노드의 역전파는 순전파 때의 입력 신호들을 서로 바꾼 값을 곱해서 흘려보낸다. 공감수 0 댓글수 0 2020. 9. 15.
덧셈 노드의 역전파 z = x + y 라는 함수에서, 입력값은 x, y이다. 편미분을 r로 표현해서 rz / rx 값을 구해보자. y가 픽스된 상태에서 x값의 변화에 대해 z에게 어떤 영향을 주는지 보자. x + 1 = z 이런 함수로 가정했을때, x값이 1 증가하면 z도 1 증가하고, x값이 2 증가하면 z도 2 증가한다. 이는 rz / rx의 기울기(gradient)가 1이라는 것이다. 반대로 x가 픽스된 상태에서 y값의 변화에 대해 z에게 어떤 영향을 주는지 보자. y + 1 = z 이런 함수로 가정했을때, y값이 1 증가하면, z도 1 증가하고, y값이 2 증가하면, z도 2 증가한다. 이는 rz / ry의 기울기(gradient)가 마찬가지로 1이라는 것이다. 이렇기 때문에 덧셈 노드에 대한 역전파시 rz / rx.. 공감수 0 댓글수 0 2020. 9. 15.
Lecture 3: Loss Functions and Optimization 위의 그림은 3개의 학습 데이터에 대해 임의의 가중치 W 행렬을 가지고 예측한 10개의 클래스 스코어이다. 굵게 표시된 스코어를 보면 이 보다 스코어가 더 높은 것도, 낮은 것도 볼 수 있다. 예를 들어 고양이 이미지에서 고양이 클래스의 스코어가 가장 높기를 기대하지만 예측된 점수는 2.9로 그리 높지 않으며 개구리가 3.78로 더 높다. 이 스코어를 보면 이 분류기는 그리 좋지 않다. 우리는 정답 클래스, 여기서는 고양이가 가장 높은 점수를 예측하는 분류기를 원한다. 동일한 가중치 W를 가지고 다른 이미지를 보자. 자동차 이미지에서는 자동차 점수가 6.04 가장 높다. 자동차에 대한 분류 성능이 괜찮은 가중치 W라고 볼 수 있다. 개구리 이미지에서 개구리 점수는 -4.34로 다른 점수들보다 훨씬 낮다... 공감수 1 댓글수 0 2020. 9. 14.
Lecture 2: Image Classification Pipeline 우리가 Image classification을 수행한다고 생각해보자. 어떻게 해야 할까? 우선 이미지를 입력 받아야 할 것이다. 고양이 사진을 예로 들자. 우리 Image classification 시스템에는 미리 정해놓은 카레고리 집합이 존재한다. 개, 고양이, 자동차 등이 있을 수 있다. 이제 우리 알고리즘은 입력된 고양이 사진을 어떤 카테고리에 속할 지 정하는 일을 해야한다. 인간은 시각 인식 테스크에 고도화되어 있기에 매우 쉬워 보일수도 있지만 컴퓨터(기계) 입장에서는 매우 어려운 작업일 수 밖에 없다. 컴퓨터가 고양이 사진을 볼 때는 고양이라고 판단하지 못한다. 단지 해상도 크기의 숫자 집합으로 밖에 보이지 않는다. 거대한 숫자 집합에 불과하다. 각 픽셀은 red, green, blue 채널의 .. 공감수 0 댓글수 0 2020. 9. 12.
Lecture 1: Introduction CISCO의 통계자료에 따르면 인터넷 트래픽 80% 이상이 비디오 데이터임. 이미지를 제외하고 순수 비디오만 80%임. 이는 인터넷의 대부분의 데이터가 시각 데이터라는 것을 알 수 있음. 때문에 시각 데이터를 잘 활용할 수 있는 알고리즘을 개발하는 것이 중요해짐. 하지만 시각 데이터에 대한 이해 및 해석은 상당히 어려운 일임. YouTube의 통계자료에 따르면 매초 5시간 이상의 비디오가 업로드 된다고 함. 이러한 비디오를 사람이 일일이 보고 분류할 수 없음. 그래서 자동으로 시각 데이터를 이해하고 분석하는 알고리즘을 개발하는 것이 중요함. 컴퓨터 비전 분야에는 다양한 분야가 존재함. 컴퓨터 비전이 우주(Universe)의 중심이라고 할 수 있음. 이미지의 물리학적 형성 등을 이해하려면 물리학적 현상들을.. 공감수 0 댓글수 0 2020. 9. 7.
시작하기 앞서 2018년도에 공부했던 cs231n (2017) 강의에 대해 정리 해보려고 한다. 기초가 중요하니까. 2019년도 봄 강의가 최신인거 같은데 강의자료만 업데이트되고 강의 비디오는 2017년도꺼를 쓰는거 같다. 2017년도꺼로 정리해야지. 공감수 0 댓글수 0 2020. 9. 7.
미국 대선과 나스닥100의 상관관계? 2020년 11월 3일 화요일에 미국 대선이 있다. 미국 대선은 우리나라와 마찬가지로 4년마다 실시되고, '11월 첫째 월요일이 있는주의 화요일' 이라는 규정에 따라 정해진다. 그럼 미국 대선때마다의 나스닥100의 주가는 어땠을까? 먼저 나스닥100은 1985년 1월 31일부터 시작되었다. 그런데 내가 쓰고 있는 삼성선물에서는 2004년 1월까지만 차트를 볼 수 있다. -_-; 그럼 2004년 이후의 대선때마다 나스닥100 주가를 살펴보자. 2004년 11월에 조지 W. 부시(공화당)가 당선되었다. 이때는 대선 전인 9월부터 대선후의 12월까지 숨도 안쉬고 올랐다. 다음 대선은 2008년 11월에 버락 오바마(민주당)가 당선되었다. 이때는 반대로 9월부터 12월까지 숨도 안쉬고 내린걸 알 수 있다. 다음.. 공감수 0 댓글수 0 2020. 8. 31.
Labelme 현재 얼굴 피부 이미지에서 색소침착, 홍조, 주름, 여드름과 같은 피부 특징을 검출하는 프로젝트를 진행하고 있다. Instance Segmentation 방법을 활용할 예정이므로 학습 데이터셋에 Annotation 작업이 필요하다. Annotation Tool중에 하나인 Labelme에 대한 사용방법을 정리한다. 참고 사이트 : https://github.com/wkentaro/labelme 1. Labelme 설치 - Anaconda에서 Annotation을 위한 가상환경을 따로 만들자. 관리하기 편하니까. : Install Anaconda : 관리자 권한으로 anaconda prompt를 열자. : 관리자 권한은 앱 아이콘을 오른쪽 마우스 클릭하면 '관리자 권한으로 실행'이라는 메뉴가 있다. : co.. 공감수 5 댓글수 0 2020. 8. 31.
VGG Image Annotator 2018년도에 Instance Segmentation 방법을 기반으로 조기 위암 영역을 검출하는 프로젝트를 진행했었다. 학습 데이터셋에 Annotation 작업이 필요했는데, VGG Image Annotator를 활용했었다. (현재는 Labelme를 활용하고 있음) 1.0.6 버전을 기준으로 사용방법을 정리해본다. 오랜만에 홈페이지 들어가서 찾아보니 버전업이 많이 됐다. -_-; 아마 많은 기능이 업데이트 됐으리라고 본다. 기본적인 구조는 비슷하기에 최신버전을 받아서 해도 무방할듯하다. 1. 다운로드 링크 - http://www.robots.ox.ac.uk/~vgg/software/via/ - 하단에 Downloads 링크가 있다. - 1.0.6 버전을 받아주자. via-1.0.6.zip 2. 압축을 풀.. 공감수 0 댓글수 0 2020. 8. 31.
2020년 8월 30일 일요일 매주 일요일은 빨래와 청소를 하는 날이다. 기존에는 매주 토요일마다 했었는데, 토요일에도 뺄래감이나 청소거리들이 나오길래 일요일로 변경하였다. (feat. 귀차니즘) 영어회화 학원도 다녀왔다. 학원을 마치면 보통 까페에 들려 공부를 하고 온다. (feat. 집에서 잘 안함) 오늘은 코로나의 상황 악화로 바로 집에 왔다. 집에 와서 어제 먹다 남은 치킨을 먹었다. 타지로 와서 좋은 점 한가지는 서울보다 물가가 저렴하다는 것이다. 어제 14,000원에 반반(양념+간장) 치킨을 시켰었는데 양이 엄청 많다. 이틀동안 먹어도 남아서 내일 저녁에 마무리 지을 예정이다. 그리고 이력 및 포트폴리오를 정리했다. 의미 전달이 좀 더 잘 될 수 있도록 간결하게 수정했다. 최근 채용 사이트에 이력을 오픈해놨더니 헤드헌터를 .. 공감수 0 댓글수 0 2020. 8. 30.
그동안 투자? 경험들 사실 꽤 오래전부터 나름의 투자를 해왔다. 처음은 2011년? 2012년쯤? 국내 주식을 통해서였다. 당시 엔씨소프트를 32만원 정도에 매입하고 12만원까지 하락해서 굉장히 힘들었던 기억이 난다. 몇 년 동안을 버텨서 결국 조금 수익을 내고 빠져나왔지만. 100만원정도 상폐도 경험해 보고 투자금을 유지? 정도하는 상황이였다. 그러다가 2017년도 11월? 정도에 코인을 접하게 된다. 한창 코인 붐이 일어나고 있을때였던걸로 기억한다. 처음에는 소액으로 시작했다가 불어나는 돈을 보고 주식에 있는 돈까지 빼서 투자하게 된다. 2018년 1월이였나 그때를 아직 잊을수가 없다. 실시간으로 투자금 대비 수익률이 100% 넘게 오르고, 돈 벌기가 이렇게 쉬운가 하면서 새벽까지 지켜보다가 겨우 잠들었다. 그 날을 기준.. 공감수 0 댓글수 0 2020. 8. 30.
Nuance(뉘앙스) 1. appointment vs promise - appointment는 병원 진료 등과 같은 중요한 약속에 쓰임. ex) I've got a dental appointment at 3 o'clock. - promise는 말 그대로 일반적인 약속, 맹세와 같은 의미. ex) She kept her promise to visit her grandma regularly. 2. saw vs looked at vs watched - saw는 포괄적인 의미로 제일 많이 쓰임. ex) Guess who I saw at the party last night. - looked at은 쳐다보고 있다는 느낌. ex) She looked at me and smiled. - watched는 지켜보고 있다는 느낌. ex) Sh.. 공감수 0 댓글수 0 2020. 8. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.