파이썬으로 압축 파일 푸는 방법, zipfile import os import zipfile filename = '/tmp/validation-horse-or-human.zip' # 압축파일 경로 설정 후 filename으로 저장 zip_ref = zipfile.ZipFile(filename, 'r') zip_ref.extractall('/tmp/validation-horse-or-human') # 압축풀 폴더 설정 zip_ref.close() Python 2021.12.02
이미지 파일 (JPG, PNG..)을 학습을 위해 넘파이 데이터로 만드는 방법(ImageDataGenerator) 파일로 되어있는 이미지를, 학습을 위해서 넘파이로 바꿔줘야 한다. 실제로 복잡한 작업을 해야 하는것을, 텐서플로우에서 쉽게 처리 할 수 있게 라이브러리를 제공한다. ImageDataGenerator from tensorflow.keras.preprocessing.image import ImageDataGenerator # 파일로 되어있는 이미지를 피처 스케일링을 한다. => 255.0으로 나누는것 train_datagen = ImageDataGenerator(rescale= 1/255.0) validation_datagen = ImageDataGenerator(rescale= 1/255.0) 파일이 들어있는 디렉토리를 알려주고, 이미지 사이즈 정보도 알려주고, 불류할 정보도 알려준다. target_siz.. Python 2021.12.02
실제값은 레이블 인코딩이고, 예측값은 소프트맥스로 나왔을때, 컨퓨전 매트릭스 만드는 방법 # 어떤것을 많이 틀리는지 확인한다. # 이런것은 컨퓨전 매트릭스로 확인하는 것! from sklearn.metrics import confusion_matrix y_pred = model.predict(X_test) y_pred.shape # 테스트 이미자가 10000개 (10000, 10) # 출력 y_test[0] 9 #출력 y_pred[0] # 출력 array([4.27080568e-06, 1.02400215e-07, 6.76651825e-06, 5.95587892e-07, 2.32840534e-06, 1.21201472e-02, 4.48114770e-06, 1.23955883e-01, 3.06501424e-05, 8.63874733e-01], dtype=float32) y_pred[0].argm.. Python 2021.12.01
뉴럴넷에 이미지를 학습시킬때, 텐서플로우로 사용하는 코드 # 라이브러리 임포트 import tensorflow as tf from keras.models import Sequential from keras.layers import Dense, Flatten model = Sequential() model.add( Flatten()) # 알아서 이미지 사이즈 계산해서, 인풋레이어 만들어 준다. # 히든 레이어 1개 model.add( Dense(units= 128, activation='relu')) # 아웃풋 레이어 셋팅 # 아웃풋 레이어는, 10개로 분류하는 문제이므로, # 노드 10개를 셋팅하고, 액티베이션 함수에는 소프트맥스(softmax)를 설정한다. model.add( Dense(units=10, activation='softmax' 이미지의 가로 세.. Python 2021.12.01
이미지를 피처 스케일링 하는 방법 학습이 잘되도록 0과 1사이의 값으로 노말라이징(normalizing) 한다. 우리가 기본적으로 하는 피처 스케일링은 두가지를 가장 많이 사용한다. StandardScaler, MinMaxScaler 를 많이 사용한다. (Standardiztion, Normalization) 그러나 이미지는, 범위가 0과 255사이로 정해져 있기 때문에 굳이 피처 스케일러를 사용할 필요없이 255로 그냥 나눠주기만 하면, 자동으로 0과 1사이의 값으로 피처스케일링 된다. X_train = X_train / 255.0 X_test = X_test / 255.0 Python 2021.12.01
이미지의 행렬, Gray Scale Image. Color Image import tensorflow as tf # 라이브러리 임포트 # Fashion MNIST 데이터는 tf.keras datasets API에 들어있다. mnist = tf.keras.datasets.fashion_mnist # 트레이닝과 테스트셋 가져온다. (X_train, y_train), (X_test, y_test) = mnist.load_data() X_train # 출력 array([[[0, 0, 0, ..., 0, 0, 0], [0, 0, 0, ..., 0, 0, 0], [0, 0, 0, ..., 0, 0, 0], ..., [0, 0, 0, ..., 0, 0, 0], [0, 0, 0, ..., 0, 0, 0], [0, 0, 0, ..., 0, 0, 0]], [[0, 0, 0, ..., 0, .. Python 2021.12.01
텐서플로우의 리그레션 문제 모델링 하는 코드 # 라이브러리 임포트 import tensorflow.keras from keras.models import Sequential from keras.lavers import Dense # 딥러닝을 이용한 모델링 model = Swquential() X_train.shape # 첫번째 히든레이어의 인풋 레이어의 숫자 셋팅을 위해 확인 (400, 5) # 첫번째 히든레이어 생성 : 이때는 인풋 레이어의 숫자도 셋팅해준다. input_dim = 5 model.add( Dense(units = 20, activation = 'relu', input_dim = 5 ) ) # 두번째 히든레이어 생성 model.add( Dense(units = 10, activation = 'relu')) # 아웃풋 레이어 생성 #.. Python 2021.11.30
원 핫 인코딩 Dummy variable trap one hot encoding이란? 범주를 벡터 방식으로 표현하기 위한 방법 예를 들면 프랑스, 스페인, 영국의 세 나라가 있다고 하면 프랑스 = [1, 0, 0] 스페인 = [0, 1, 0] 영국 = [0, 0, 1] 이렇게 매칭을 시킵니다. dummy variable trap이란? dummy variable trap이라는 것은 범주를 나누는데 불필요한 컬럼을 제거하는 것입니다. 위에서 프랑스 = [1, 0, 0] 스페인 = [0, 1, 0] 영국 = [0, 0, 1] 라고 분류를 했는데 사실 이 상태는 dummy variable trap에 빠진 상태입니다. 원 핫 인코딩한 결과의 맨 왼쪽 컬럼은, 삭제를 해도, 0과 1로 모두 3개 데이터표현가능 프랑스 = [1, 0] 스페인 = [0, 1] 영국 =.. Python 2021.11.30
파이썬 Prophet 라이브러리 사용법 avocado_df 라는 데이터프레임에서 region 컬럼의 내용이 west 인 아보카도의 가격을 예측하시오. 365일치 데이터 예측 24주 데이터 예측 Python 2021.11.29