Lectures20 level 2 Data-Centric, 9. numpy, albumentation 버전에 따른 훈련속도 차이 변화 12분 → 3분 이번 대회에서는 서버의 도커 이미지 배급에 문제가 있어서 python 3.8 버전, home 폴더가 없이 시작해서 용량 이슈 때문에 서버를 반납하고 다시 시작했었다. 변경된 서버에서는 python 3.10버전을 이용했는데, 갑자기 훈련시간이 12분으로 늘어났다. 그래서 하루 온종일을 투자하여 은성이와 훈련속도 줄이기 라이브러리 레시피를 찾았다. pip install opencv-python==4.5.4.58 tqdm==4.62.3 matplotlib==3.7.1 albumentations==1.1.0 numpy==1.21.3 이렇게 설치를 하고나면 이렇게 훈련되던 게 이렇게 훈련된다. 이미지가 100장이든, 400장이든 3분30초 이내에 해결된다. 큰 변화점은 albumentations를 1.3.1 → .. 2024. 2. 5. level 2 Data-Centric, 7. CORD (clova, huggingface) 사용법 (coco ↔ ufo) huggingface에서 데이터를 가져오려면 !pip install datasets requests !pip install ipywidgets --upgrade 를 해야되는 것 같은데... 잘 모르겠다. 나는 huggingface에 가서 직접 다운로드 받았다. https://huggingface.co/datasets/naver-clova-ix/cord-v2 ufo포맷 # input_path = '/data/ephemeral/home/level2-cv-datacentric-cv-10/data/medical/ufo/add_json.json' # output_path = '/data/ephemeral/home/level2-cv-datacentric-cv-10/data/medical/ufo/_add_json.j.. 2024. 2. 5. level 2 Data-Centric, 5. 공공행정문서ocr (aihub) 사용법 (coco ↔ ufo) 대회 기간은 한 주밖에 안되고, 이걸 하나하나 코드로 짜기엔 대회 기간 내에 완성 못 할까봐 겁이나고 미루고 미루다가 대회 종료 이틀 남겨두고 작성한 코드다. 좀 더 일찍 뛰어들어볼 걸 싶으면서 아주 후회된다. 하지만 높은 점수를 내는 것보다 공부할 기회가 주어졌음에 감사하자. 대회 진행을 위해서는 ufo format을 써야한다. ufo 파일에는 tag가 달리고 coco 파일에는 tag의 존재가 없다. 물론 새로 tags나 container 같은 새로운 key를 추가해줘도 되지만 CVAT에서 relabeling 작업을 거쳐 출력된 새로운 coco format json에서는 tag, container같은 default 인자 외의 값은 모두 삭제된다. tag를 다는 코드도 있긴 하지만 페이지 수만 잡아먹을 .. 2024. 2. 5. level 2 Data-Centric, 3. CVAT 사용법 (labeling tool) 보호되어 있는 글 입니다. 2024. 2. 5. level 2 Data-Centric, 2. makeing validset ipynb 파일 형식으로, 되도록 복사붙여넣기하면 그대로 실행되게끔 유도했는데 그냥 깃허브를 공유하는 게 낫겠지만 나는 깃허브 공유하기엔 부끄럽다. 뫄하하하 # train.json → save_train.json import json import os json_file_path = "../data/medical/ufo/train.json" new_file_path = "../data/medical/ufo/save_train.json" # save_train.json 파일이 존재하지 않을 때만 이름 변경 실행 if not os.path.exists(new_file_path): os.rename(json_file_path, new_file_path) print('변경 완료') with open(new_fil.. 2024. 2. 5. level 2 Data-Centric, 0. img위에 annotations 시각화 0. img위에 annotations 시각화 1. Custom Augmentation 2. makeing validset 3. CVAT 사용법 (labeling tool) 4. 이어서 학습하기, (pth file 사용법) 5. 공공행정문서ocr (aihub) 사용법 (coco ↔ ufo) 6. ocr데이터, 금융 및 물류 (aihub) 사용법 (coco ↔ ufo) 7. CORD (clova, huggingface) 사용법 (coco ↔ ufo) 8. json file, concat방법 9. numpy, albumentation 버전에 따른 훈련속도 차이 변화 12분 → 3분 0. img 위에 annotations 시각화 import os import json from glob import glob fr.. 2024. 2. 5. level 2 Data-Centric 대회 정리 지난 대회는 12/13등으로 마무리 했기에..절치부심하여 전집중호흡으로 이번 대회 박살내보길 기대했다. 하지만 마의 0.9점의 벽을 넘지 못하고 11/13등으로 마무리 했다. 순위로 따지자면 형편없는 듯 하지만 이번 대회는 physical 순서로 순위가 메겨지는 게 아니라는 체감이 있었기 때문에 변경거리가 아주 많아서 멘탈 케어는 지난 대회보다 덜 필요한 것 같다. 껄껄껄 변경거리룰 퓰어놓기 전에 overview를 보자 ( 매번 새로운 강의가 열릴 때마다 편지처럼 overview를 적어주시는데 이걸 읽으면 마음이 따듯해진다) 이번 대회의 핵심은 기존 train 데이터에서 잘못 라벨링된 anntation을 수정하고 외부 데이터로 학습을 시켜 일반화 성능과 높은 추론력을 키워내는 것이 핵심이라고 생각했다. .. 2024. 2. 3. 2-2. mmdetection ConvNext 사용법 (mask rcnn, fp16 error) 목차 1. mmcv 2.x ver code flow 리뷰 ( 순한맛 ) 1-1. faster rcnn train/ inference코드 리뷰 & Config 수정 (부스트 캠프 제공) 1-2. faster rcnn의 scheduler 잡지식 2. mmcv 2.x config 파일 사용법 ( 순한맛 ) 2-1. cascade rcnn 사용법 2-2. ConvNext 사용법 (mask rcnn, fp16 error) 3. mmcv 외부 라이브러리 사용법 ( 안순한맛 ) // DINO, CoDETR은 MMCV 3.x ver 3-1. swin b / L 사용법 3-2. UniverseNet 사용법 3-3. FocalNet 사용법 4. Optional 4-1. wandb 사용법, 사용 안 하는 법 4-2. val.. 2024. 1. 20. 2.1 mmdetection cascade rcnn config 사용법 목차 1. mmcv 2.x ver code flow 리뷰 ( 순한맛 ) 1-1. faster rcnn train/ inference코드 리뷰 & Config 수정 (부스트 캠프 제공) 1-2. faster rcnn의 scheduler 잡지식 2. mmcv 2.x config 파일 사용법 ( 순한맛 ) 2-1. cascade rcnn 사용법 2-2. ConvNext 사용법 (mask rcnn, fp16 error) 3. mmcv 외부 라이브러리 사용법 ( 안순한맛 ) // DINO, CoDETR은 MMCV 3.x ver 3-1. swin b / L 사용법 3-2. UniverseNet 사용법 3-3. FocalNet 사용법 4. Optional 4-1. wandb 사용법, 사용 안 하는 법 4-2. val.. 2024. 1. 20. 1-2. mmdetection faster rcnn의 scheduler 잡지식 목차 1. mmcv 2.x ver code flow 리뷰 ( 순한맛 ) 1-1. faster rcnn train/ inference코드 리뷰 & Config 수정 (부스트 캠프 제공) 1-2. faster rcnn의 scheduler 잡지식 2. mmcv 2.x config 파일 사용법 ( 순한맛 ) 2-1. cascade rcnn 사용법 2-2. ConvNext 사용법 (mask rcnn, fp16 error) 3. mmcv 외부 라이브러리 사용법 ( 안순한맛 ) // DINO, CoDETR은 MMCV 3.x ver 3-1. swin b / L 사용법 3-2. UniverseNet 사용법 3-3. FocalNet 사용법 4. Optional 4-1. wandb 사용법, 사용 안 하는 법 4-2. val.. 2024. 1. 20. 1-1. faster rcnn train/ inference코드 리뷰 & Config 수정 (부스트 캠프 제공) (부스트 캠프 제공) ( 순한맛 ) 목차 1. mmcv 2.x ver code flow 리뷰 ( 순한맛 ) 1-1. faster rcnn train/ inference코드 리뷰 & Config 수정 (부스트 캠프 제공) 1-2. faster rcnn의 scheduler 잡지식 2. mmcv 2.x config 파일 사용법 ( 순한맛 ) 2-1. cascade rcnn 사용법 2-2. ConvNext 사용법 (mask rcnn, fp16 error) 3. mmcv 외부 라이브러리 사용법 ( 안순한맛 ) // DINO, CoDETR은 MMCV 3.x ver 3-1. swin b / L 사용법 3-2. UniverseNet 사용법 3-3. FocalNet 사용법 4. Optional 4-1. wandb 사용법, 사용 안 하는 법 4-2. val.. 2024. 1. 20. level 2 Detection 대회 정리 13개 팀 중 12등으로 마무리한 Detection competition 분노의 정리 글이다 뫄하하하(주르륵...) 변명거리가 참 많은 순위이지만 부족한 background룰 채울 생각이나 해야겠다! 2024. 1. 20. 이전 1 2 다음 728x90 반응형
