Jeremy가 medical imaging 관련, 세 번째 Kaggle 노트북을 공개 했습니다. 이번 노트북에서는 크게 두 가지의 내용이 등장합니다.1. GPU 최적화 방법을 사용한 한 배치의 모든 사진의 brain 영역에 대한 mas..
Deep Learning/resources 2019. 10. 21. 09:18https://www.facebook.com/groups/fastaikr/permalink/2430550040493776/
Jeremy가 medical imaging 관련, 세 번째 Kaggle 노트북을 공개 했습니다. 이번 노트북에서는 크게 두 가지의 내용이 등장합니다.
1. GPU 최적화 방법을 사용한 한 배치의 모든 사진의 brain 영역에 대한 masking, cropping, resizing 을 한번에 수행 방법
2. parallel 함수를 이용해서, 1번에서 수행된 전처리된 이미지를 16bit PNG 파일로의 저장을 병렬 처리하는 방법
이 두개 모두 fastai 에서 제공하는 라이브러리로, 내부적인 구현은 PyTorch의 연산을 사용한것 같습니다. 다만, handy한 함수들을 제공하는것이죠. 이때까지 처럼 fastai 라이브러리의 접근 방식 그대로 입니다.
- Pandas, PyTorch 라이브러리와 seamless하게 잘 동작한다고 이해하시면 될것 같습니다.
1, 2번 방법을 사용해서, 약 300GB의 데이터를 16bit PNG 파일로 저장하는데 걸린 시간은 약 20분 정도라고 합니다. 정확히 사용한 GPU 스펙은 나와 있지 않지만, Jeremy 본인이 사용한 GPU면 적어도 2080Ti 수준이 아닐까 싶습니다.
이 방법의 보다 자세한 내용은 아래 링크를 참고해 주시기 바랍니다
https://www.kaggle.com/jhoward/cleaning-the-data-for-rapid-prototyping-fastai
아직 현재 진행중인 RSNA 캐글 대회에 적용 가능한 내용으로, 이 대회에 참여하시는 분들께 도움이 될 것 같습니다. 또한, GPU를 이용한 빠른 전처리 방법으로, 관련 분야 종사자 분들께도 좋은 소식이 되었으면 합니다!
첨부그림1. fastai 의 mask_from_blur 함수를 이용한, 마스킹 결과
첨부그림2. brain 영역의 cropping 결과
첨부그림3. 1번과 2번을 모두 수행하기 위한 코드
첨부그림4. 잘못된 RescaleIntercept의 수정, 전 후 결과 - 노트북에 포함되어 있습니다.
