딥러닝의 내부에서 일어나는 일을 Information Theory로, 그 중에서도 Information Bottleneck 이라는 원리로 접근하는 이론에 관한 글입니다
Deep Learning/resources 2017. 11. 29. 07:18https://m.facebook.com/groups/255834461424286?view=permalink&id=565488850458844
딥러닝의 내부에서 일어나는 일을 Information Theory로, 그 중에서도 Information Bottleneck 이라는 원리로 접근하는 이론에 관한 글입니다.
한마디로 딥러닝 아키텍쳐안의 노드는 바틀넥처럼 작용하여 자기에게 들어온 인포메이션 중 미래의 목표와 관련된 것들만을 선별하고 그 나머지는 버림으로서 (여기서는 compression이라 표현) 일반화라는 목표에 도달하게 된다는 것입니다.
즉 개냐 고양이냐 0이냐 1이냐 하는 식으로 일반화하는 데에 필요한 정보들만 계속 추상화되어 바틀넥안으로 밀어넣어진다는 것인데 이 과정에서 인풋에 들어있는 얼마나 많은 정보들이 걸러지고 버려지겠는지만 생각해보아도 딥러닝의 파워를 한 번에 느껴볼 수가 있어요. 다시말해 입력의 세부 정보들은 모두 압축되고 혹은 날아가고 기다 아니다, 이거다 저거다만 남는 것이니 러닝의 가장 중요한 부분은 버리는데서 이루어진다는 것. 쿨!
이 이론을 발표한 이스라엘의 히브루 대학의 물리학 교수인 Naftali Tishby는 자신이 수십년간 연구해온 이 인포메이션 바틀넥 원리라는 주제를 최근 성공적으로 딥러닝의 내부 작용의 원리와 연관을 시켜내었습니다. 이 기사에서 보면 딥러닝의 대부인 힌튼교수도 그의 유튜브 동영상 강연을 보고는 잘 이해하기는 어렵지만 딥러닝 내부 원리를 설명하는 좋은 이론인 거 같다며 Tishby의 연구 결과에 찬사를 보냈다고 하네요. *힌튼교수가 보았다는 그의 동영상 강의는 여기. https://www.youtube.com/watch?v=bLqJHjXihK8&t=2234s
P.S.: 며칠전에 여기에 딥러닝의 블랙박스라는게 뭘 모른다고 하는거냐고 툭 묻듯이 한 줄 썼는데 관심 가져주신 분들 감사합니다. ^^
Tishby교수의 동영상 강연은 심도가 있는 반면 매우 테크니컬한 면이 있어서 이해하기에 어려운 점이 있었는데 이 기사는 영문이지만 읽기에 크게 어렵지 않아 이 글을 공유합니다.
https://www.wired.com/story/new-theory-deep-learning/?mbid=social_fb_onsiteshare
딥러닝의 내부에서 일어나는 일을 Information Theory로, 그 중에서도 Information Bottleneck 이라는 원리로 접근하는 이론에 관한 글입니다.
한마디로 딥러닝 아키텍쳐안의 노드는 바틀넥처럼 작용하여 자기에게 들어온 인포메이션 중 미래의 목표와 관련된 것들만을 선별하고 그 나머지는 버림으로서 (여기서는 compression이라 표현) 일반화라는 목표에 도달하게 된다는 것입니다.
즉 개냐 고양이냐 0이냐 1이냐 하는 식으로 일반화하는 데에 필요한 정보들만 계속 추상화되어 바틀넥안으로 밀어넣어진다는 것인데 이 과정에서 인풋에 들어있는 얼마나 많은 정보들이 걸러지고 버려지겠는지만 생각해보아도 딥러닝의 파워를 한 번에 느껴볼 수가 있어요. 다시말해 입력의 세부 정보들은 모두 압축되고 혹은 날아가고 기다 아니다, 이거다 저거다만 남는 것이니 러닝의 가장 중요한 부분은 버리는데서 이루어진다는 것. 쿨!
이 이론을 발표한 이스라엘의 히브루 대학의 물리학 교수인 Naftali Tishby는 자신이 수십년간 연구해온 이 인포메이션 바틀넥 원리라는 주제를 최근 성공적으로 딥러닝의 내부 작용의 원리와 연관을 시켜내었습니다. 이 기사에서 보면 딥러닝의 대부인 힌튼교수도 그의 유튜브 동영상 강연을 보고는 잘 이해하기는 어렵지만 딥러닝 내부 원리를 설명하는 좋은 이론인 거 같다며 Tishby의 연구 결과에 찬사를 보냈다고 하네요. *힌튼교수가 보았다는 그의 동영상 강의는 여기. https://www.youtube.com/watch?v=bLqJHjXihK8&t=2234s
P.S.: 며칠전에 여기에 딥러닝의 블랙박스라는게 뭘 모른다고 하는거냐고 툭 묻듯이 한 줄 썼는데 관심 가져주신 분들 감사합니다. ^^
Tishby교수의 동영상 강연은 심도가 있는 반면 매우 테크니컬한 면이 있어서 이해하기에 어려운 점이 있었는데 이 기사는 영문이지만 읽기에 크게 어렵지 않아 이 글을 공유합니다.
https://www.wired.com/story/new-theory-deep-learning/?mbid=social_fb_onsiteshare
