Be the only one, not the best one

[XGBoost/LightGBM] Laurae++: xgboost / LightGBM

이번에는 Kaggle에서 가장 많이 사용되는 모델인 xgboost와 lgbm에 관련된 내용입니다.

@laurae 님이 만든 xgboost/lightgbm 웹페이지입니다. 공식 documentation에서도 링크를 제공하고 있습니다.

xgboost와 lightgbm의 parameter에 대한 설명들을 볼 수 있습니다.
총 86개의 parameter에 대한 다음과 같은 내용이 정리되어 있고, 원하는 filter로 parameter를 선택해서 볼 수도 있습니다.

- 간단 설명
- 매개변수의 유형과 카테고리
- xgboost와 lightgbm에서의 명칭
- 범위
- major impact와 minor impact
- 일반적인 사용법과 tips
- 그 외 세부적인 설명과 유용한 링크

링크는 다음과 같습니다.

https://sites.google.com/view/lauraepp/parameters

사이트에는 튜토리얼과 벤치마크 결과도 있으니 참고하면 좋을 것 같습니다. 다들 즐거운 Kaggle/ML 생활하세요 :)

+ 원래는 한글로 번역을 할까 싶었는데, 번역본보다 원문이 이해가 잘되서 포기했습니다.
+ 이 표는 awesome table이라는 서비스로 만들었다는데, 꽤 괜찮아보입니다.

#Kaggle #LightGBM #XGBoost #parameter #Laurae
https://www.facebook.com/groups/KaggleKoreaOpenGroup/permalink/515068679225236/?sfnsn=mo

DEVIEW2019 Keynote에서 “석상옥 대표님”이 소개해주신 NAVER LABS의 자율주행용 Open dataset입니다. 국내자율주행 기술 성장에 큰 도움이 될 것으로 기대됩니다 : )
https://www.facebook.com/groups/ReinforcementLearningKR/permalink/2324753411097219/?sfnsn=mo

안녕하세요 TmaxData에서 NLP를 연구 중인 장영록입니다:)

ALBERT(A Lite BERT - Google 2019.9)라는 논문을 소개드리고자 글 적 습니다.

ALBERT는 BERT 보다 모델의 크기는 작지만 GLUE, SQuAD 등의 task에서 더 높은 성능을 달성한 모델입니다. Downstream Task에 높은 성능을 얻은 것도 중요하지만 Transformer의 각 Layer 간 Parameter를 공유하여 모델의 크기가 BERT 보다 현저히 줄었다는게 가장 큰 Contribution인 것 같습니다.

논문 내용을 정리한 제 블로그 글을 공유드리니 관심있으신 분은 보시길 바랍니다. :)

논문 링크 : [https://arxiv.org/abs/1909.11942](https://arxiv.org/abs/1909.11942)

논문 정리 블로그 : [https://y-rok.github.io/nlp/2019/10/23/albert.html](https://y-rok.github.io/nlp/2019/10/23/albert.html)
https://www.facebook.com/groups/TensorFlowKR/permalink/1020923228248735/?sfnsn=mo

안녕하세요 rl kr. 개인적으로 오랜 숙제였던 IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures(IMPALA)를 구현하여 결과를 공유합니다. tensorflow로 구현하였습니다(pytorch로 하지 못해 토치 유저분들에게는 죄송하다는 말씀을 올리며). 사용한 것은 distributed tensorflow를 기본적으로 사용하였습니다. 제 예전 actor critic으로 breakout을 잘 배우기 위해서는 엄청나게 오랜시간(10시간정도)걸렸지만 20개의 actor로 2시간만에 의미있는 결과를 뽑아낼 수 있었습니다. 혹시 코드에서 오류 혹은 수식을 코드로 옮기는 과정에서 잘못된 부분이 있다면 바로 알려주시면 감사하겠습니다.

ps. 윤수로님께 감사하다는 말씀 올립니다.
https://www.facebook.com/groups/ReinforcementLearningKR/permalink/2324753411097219/?sfnsn=mo