딥러닝 기초 6

학습한 모델 저장 및 불러오기

기업 프로젝트 할 당시 성능 잘나온 모델을 수시로 저장하지 않고 매번 모델을 돌려서 성능을 보여줬던 기억이 난다.기본적인 학습한 모델 저장 및 불러오는 방법에 대해서 간략하게 알아보자import tensorflow as tf import numpy as np(trainX, trainY), (testX, testY) = tf.keras.datasets.fashion_mnist.load_data()trainX = trainX / 255.0testX = testX / 255.0trainX = trainX.reshape( (trainX.shape[0], 28,28,1) )testX = testX.reshape( (testX.shape[0], 28,28,1) )model = tf.keras.Sequential([..

딥러닝 기초 2024.07.31

개 고양이 구분 AI모델 만들기-2. Preprocess & modeling 전처리 및 모델링

지난 포스트에서 json파일을 통해 kaggle에서부터 load된 데이터는 zip 형태로 존재할 것이다.직접 데이터를 handling 하기 위해서는 zip을 풀어야 한다.!unzip -q dogs-vs-cats-redux-kernels-edition.zip -d .해당 코드를 통해 zip파일을 풀어보자zip 파일을 풀고나면 train dataset과 test dataset이 zip 파일로 나오는데 우선 train dataset의 데이터 만으로 train과 validation set을 만들어 모델을 학습시키고 성능을 확인해보자!unzip -q train.zip -d .print(len(os.listdir('/content/train/')))# -> 25000train dataset만 위와 같이 압출을 풀면..

딥러닝 기초 2024.07.10

개 고양이 구분 AI모델 만들기-1. Dataset load(kaggle)

kaggle competition dataset으로 이미지 분류 모델 실습을 진행해보려고 한다.1) Dataset LoadGoogle Colab환경에서 kaggle dataset load를 하기 위해서는 몇가지 환경설정이 필요하다.https://www.kaggle.com/competitions/dogs-vs-cats-redux-kernels-edition/data해당 링크를 타고 들어가면해당 대회를 확인할 수 있는데 직접 data를 다운받고 colab환경에 업로드 하는 방법으로 데이터를 load 할수도 있지만코드를 통해 직접 데이터를 불러올 수 있는 환경을 구축할 수 있다.import osos.environ['KAGGLE_CONFIG_DIR'] = '/content/'!kaggle competitions..

딥러닝 기초 2024.07.07

Mnist fashion 의류데이터 분류하기-3. 컨볼루션 레이어로 성능 높이기

model = tf.keras.Sequential([ tf.keras.layers.Dense(128,input_shape = (28,28), activation = "relu"), tf.keras.layers.Dense(64, activation = "relu"), tf.keras.layers.Flatten(), tf.keras.layers.Dense(10, activation = 'softmax'),])지난 포스팅에서 구현한 모델은 28x28픽셀의 이미지를 한 줄의 576개 픽셀로 나열한 후 은닉층을 거쳐 나오는 구조의 모델이기 때문에 픽셀안 의류의 위치가 좀 바뀐다거나 뒤집어진 의류 같은경우 분류에 대한 오차가 매우 커질 수 있다는 문제점이 존재한다. 이를 해결하기 위해 conv..

딥러닝 기초 2024.07.04

Mnist fashion 의류데이터 분류하기-2.모델 학습

Mnist fashion 데이터를 불러온 이후 train데이터로 학습을 진행하고 test데이터로 예측을 진행해보자model = tf.keras.Sequential([ tf.keras.layers.Dense(128,input_shape = (28,28), activation = "relu"), tf.keras.layers.Dense(64, activation = "relu"), tf.keras.layers.Flatten(), tf.keras.layers.Dense(10, activation = 'softmax'),])model = 형식으로 모델을 정의할수 있다. Dense layers를 통해 은닉층 노드수를 설정할 수 있으며 activation function으로 relu함수를 사용했..

딥러닝 기초 2024.07.03

Mnist fashion 의류데이터 분류하기-1.데이터 로드 및 설명

tensorflow에서 제공하는 연습용 데이터인 Mnist fashion 데이터를 통해의류 카테고리 구분하는 모델 만들기 1. 데이터 로드 및 설명import tensorflow as tfimport matplotlib.pyplot as plt-mnist data load 및 모델 학습은 모두 tensorflow keras를 통해 진행할 것이기 때문에 tensorflow를 임포트-불러온 이미지 shape을 확인하기 위한 시각화 라이브러리 matplotlib 임포트 (trainX, trainY), (testX,testY) = tf.keras.datasets.fashion_mnist.load_data()mnist datasets을 불러오면 train:test = 60000:10000 비율의 튜플 형식으로 데..

딥러닝 기초 2024.07.03