Ai/Keggle11 Modeling - Chest X-Rat Images - [ 머신러닝-딥러닝 문제해결 전략 ] 성능 개선을 위해 변경사항을 살펴보자. 1. 모델 생성 단계에서 B7보다 파라미터가 적은 EfficientNet-B1,B2,B3를 사용하자. 각 모델을 예측하고 결과를 앙상블 하자. 2. 모델 훈련 단계에서 스케줄러를 설정하자. 3. 예측 단계에서 앙상블을 하자. 13.4 성능 개선 시드값 고정 및 GPU 장비 설정 시드값 고정 import torch # 파이토치 import random import numpy as np import os # 시드값 고정 seed = 50 os.environ['PYTHONHASHSEED'] = str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed.. 2023. 10. 4. Baseline - Chest X-Rat Images - [ 머신러닝-딥러닝 문제해결 전략 ] 12장과 주목할만한 차이점은 위와 같다. 1. 데이터를 불러오는 과정이 다르다. 2. 데이터 준비 시 '데이터 셋 클래스'를 따로 정의하지 않는다. - ( 훈련/검증 데이터가 이미 구분 돼있기 때문. ) 3. 가장 단순한 b0 버전의 EfficientNet을 이용한다. 4. 훈련 과정과 예측 과정을 함수로 정의해 호출한다. 13.3.1 시드 값 고정 및 GPU 장비 설정 시드값 고정 import torch # 파이토치 import random import numpy as np import os # 시드값 고정 seed = 50 os.environ['PYTHONHASHSEED'] = str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(se.. 2023. 10. 4. EDA - Chest X-Rat Images - [ 머신러닝-딥러닝 문제해결 전략 ] 13.2.1 데이터 둘러보기 본 데이터셋은 다음과 같이 정상/폐렴 엑스선 이미지를 훈련용, 검증용, 테스트용으로 디렉터리를 구분하여 제공한다. # 데이터 경로 data_path = '/kaggle/input/chest-xray-pneumonia/chest_xray/' # 훈련, 검증, 테스트 데이터 경로 설정 train_path = data_path + 'train/' valid_path = data_path + 'val/' test_path = data_path + 'test/' 이전에는 판다스의 read_csv() 매서드를 이용해서 파일을 불러왔지만, 이번엔 csv 파일이 아니라서 파일을 불러오는 방식이 다르다. from glob import glob print(f'훈련 디렉터리 개수 : {len(g.. 2023. 10. 4. Modeling2 - Plant Pathology 2020 - [ 머신러닝-딥러닝 문제해결 전략 ] 11장과 동일한 방법으로 성능 개선을 꾀한다. 훈련 데이터를 100% 활용하여 성능을 올려보자. 훈련, 검증 데이터를 구분하는 것을 제외하곤 모든 코드는 같다. 12.4 성능 개선 II import torch # 파이토치 import random import numpy as np import os # 시드 값 고정 seed = 50 os.environ['PYTHONHASHSEED'] = str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True t.. 2023. 10. 2. Modeling - Plant Pathology 2020 - [ 머신러닝-딥러닝 문제해결 전략 ] 이번 장에서는 모델 생성까지는 동일하게 하고, 훈련 단계에서 스케줄러를 이용한 에폭 증가와 더불어 예측단계에서 진행하는 TTA, 그리고 레이블 스무딩으로 성능 개선을 해보자. 12.4 성능 개선 import torch # 파이토치 import random import numpy as np import os # 시드값 고정 seed = 50 os.environ['PYTHONHASHSEED'] = str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True.. 2023. 10. 2. Baseline - Plant Pathology 2020 - [ 머신러닝-딥러닝 문제해결 전략 ] 12.3.1 시드값 고정 및 GPU 장비 설정 시드값 고정 import torch # 파이토치 import random import numpy as np import os # 시드값 고정 seed = 50 os.environ['PYTHONHASHSEED'] = str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False torch.backends.cudnn.enabled = False.. 2023. 10. 2. EDA - Plant Pathology 2020 - [ 머신러닝-딥러닝 문제해결 전략 ] 12.2.1 데이터 둘러보기 import pandas as pd # 데이터 경로 data_path = '/kaggle/input/plant-pathology-2020-fgvc7/' train = pd.read_csv(data_path + 'train.csv') test = pd.read_csv(data_path + 'test.csv') submission = pd.read_csv(data_path + 'sample_submission.csv') train.shape, test.shape train.head() test.head() submission.head() 12.2.2 데이터 시각화 타깃값 분포 # 데이터를 타깃값별로 추출 healthy = train.loc[train['healthy']==1] m.. 2023. 10. 2. Modeling2 - Aerial Cactus Identification - [ 머신러닝-딥러닝 문제해결 전략 ] 11.4 항공 사진 내 선인장 식별 경진대회 성능 개선 II import torch # 파이토치 import random import numpy as np import os # 시드 값 고정 seed = 50 os.environ['PYTHONHASHSEED'] = str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False torch.backends.cudnn.enabled = Fal.. 2023. 10. 2. Modeling - Aerial Cactus Identification - [ 머신러닝-딥러닝 문제해결 전략 ] import torch # 파이토치 import random import numpy as np import os # 시드값 고정 seed = 50 os.environ['PYTHONHASHSEED'] = str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False torch.backends.cudnn.enabled = False device = torch.device('cuda' if .. 2023. 10. 2. Baseline - Aerial Cactus Identification - [ 머신러닝-딥러닝 문제해결 전략 ] 11.3.1 시드 값 고정 및 GPU 장비 설정 시드 값 고정 import torch # 파이토치 import random import numpy as np import os # 시드값 고정 seed = 50 os.environ['PYTHONHASHSEED'] = str(seed) random.seed(seed) # 파이썬 난수 생성기 시드 고정 np.random.seed(seed) # 넘파이 난수 생성기 시드 고정 torch.manual_seed(seed) # 파이토치 난수 생성기 시드 고정 (CPU 사용 시) torch.cuda.manual_seed(seed) # 파이토치 난수 생성기 시드 고정 (GPU 사용 시) torch.cuda.manual_seed_all(seed) # 파이토치 난수 생성기 시.. 2023. 10. 2. EDA - Aerial Cactus Identification - [ 머신러닝-딥러닝 문제해결 전략 ] 11.2.1 데이터 둘러보기 import pandas as pd # 데이터 경로 data_path = '/kaggle/input/aerial-cactus-identification/' labels = pd.read_csv(data_path + 'train.csv') submission = pd.read_csv(data_path + 'sample_submission.csv') labels.head() submission.head() 11.2.2 데이터 시각화 import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib inline mpl.rc('font', size=15) plt.figure(figsize=(7, 7)) label = ['Has.. 2023. 9. 26. 이전 1 다음 728x90 반응형
