안녕하세요 케라스 코리아 여러분!
* 수화를 텍스트로 번역해주는 인공지능: https://blogs.nvidia.co.kr/…/…/ai-translates-sign-language/…
* 수화를 통역해주는 장갑: https://m.facebook.com/story.php?story_fbid=255318208158674&id=214142335609595
이거를 보다가 딥러닝에 적용할 수 있을까 생각하다가 의문점이 생겼습니다.
수화는 class 마다 길이가 다를테고, 사람마다 transient(다음 동작을 위한 손의 이동) 길이가 다를텐데 어떻게 RNN을 적용 할 수 있을까요?
바꿔서 질문드리면, 그림처럼 Real-world에서는 수화1 -> transient(손이 이동) -> 수화2 -> transient -> 수화3-... 이런식일텐데,
결과1과 4는 각각 수화1, 2하고 겹치는 영역이 많아 올바른 결과를 낼것 같은데, 결과 2,3 은 transient때문에 수화 n, m의 결과를 낼 것 같습니다.
이럴때 어떻게 해야하는걸까요?
crop된 데이터만 가지고 시계열을 하다가 real-world로 가려니 어떻게 해야하는지 모르겠습니다.
다들 지나가시는길에 한말씀씩 조언해주시면 큰 도움이 될 것 같습니다 :)
감사합니다!
* 수화를 텍스트로 번역해주는 인공지능: https://blogs.nvidia.co.kr/…/…/ai-translates-sign-language/…
* 수화를 통역해주는 장갑: https://m.facebook.com/story.php?story_fbid=255318208158674&id=214142335609595
이거를 보다가 딥러닝에 적용할 수 있을까 생각하다가 의문점이 생겼습니다.
수화는 class 마다 길이가 다를테고, 사람마다 transient(다음 동작을 위한 손의 이동) 길이가 다를텐데 어떻게 RNN을 적용 할 수 있을까요?
바꿔서 질문드리면, 그림처럼 Real-world에서는 수화1 -> transient(손이 이동) -> 수화2 -> transient -> 수화3-... 이런식일텐데,
결과1과 4는 각각 수화1, 2하고 겹치는 영역이 많아 올바른 결과를 낼것 같은데, 결과 2,3 은 transient때문에 수화 n, m의 결과를 낼 것 같습니다.
이럴때 어떻게 해야하는걸까요?
crop된 데이터만 가지고 시계열을 하다가 real-world로 가려니 어떻게 해야하는지 모르겠습니다.
다들 지나가시는길에 한말씀씩 조언해주시면 큰 도움이 될 것 같습니다 :)
감사합니다!
