http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Vinyals_Show_and_Tell_2015_CVPR_paper.pdf

이번 글의 소재는 올해 CVPR에 제출된 논문입니다.

구글 오픈딥 소속 연구자들이 내어 놓은 건데, 논문 전면의 이름값들이 후덜덜합니다.

그리고 이름값에 부족하지 않을 정도로 후덜덜한 연구 내용입니다.



논문의 초록에서도 밝히고 있습니다만, Image Caption Generating이라는 분야는 상당히 중요합니다. Computer Vision과 Natural Language Processing를 연결하는 교두보이면서 동시에 각 분야의 아주 원천적인 기술을 요구하기 때문입니다.


이들이 풀려고 시도한 문제 자체는 심플합니다. "컴퓨터에게 어떤 사진을 보여주고, 사진의 내용을 영어(자연어)로 설명해 보라고 하는 것" 이죠.

문제가 심플하다고 해서 해법 또한 심플한 경우는 별로 없습니다.
말이야 쉽지만, 사실 이 문제는 여러 작은 문제들로 나뉘게 됩니다.

첫째로 주어진 사진으로부터 사진 속에 등장하는 오브젝트들의 정체를 가려내는 것.
둘째로 각 오브젝트 사이의 관계를 구해내는 것
셋째로 그 관계성을 어색하지 않은 인간의 언어로 풀어내는 것.


이 문제들 각각이 결코 쉬운 것이 아닙니다. 하지만 구글 아닙니까?



원래 이미지에서 뭔가를 인식하거나 하는 용도로는 Convolutional Neural Network란 걸 주로 씁니다. 왜 이미지 인식에서 CNN이 성능이 좋은가 하는 것도 상당히 흥미로운 주제입니다만, 수식이 안 나올래야 안 나올 수도 없고 그렇게 설명하려고 해도 쉽지 않을 것이니(저는 파인만이 아니에요!), 일단은 얘가 사람의 시세포들이 적당히 뭉쳐 있는 것과 약간 비슷한 연결구조를 가진다, 그래서 이미지 인식에 성능이 좋다. 정도로 이해하시면 됩니다.


그리고 자연 언어 처리, 예를 들어서 영어를 프랑스어로 바꾼다던지, 단어들을 벡터 공간에 매핑한다던지 하는 식의 문제에는 보통 Long Short Term Memory(LSTM)이라고 불리는 재귀 신경망(Recurrent Neural Network)을 사용합니다. CNN 같은 신경망은 한쪽 방향으로만 연결이 존재하는데, RNN들은 반대방향으로도 연결이 존재할 수 있어서 보다 복잡한 처리를 할 수 있게 되거든요.



아무튼 이 연구진들에게는...

1. 이미지 분류에 사용하기 위한 CNN이 있고,
2. 자연어 처리에 사용하기 위한 RNN 또한 있었습니다.


그래서 이 연구자들이 한 짓이 뭔가 하면,

1의 CNN의 마지막 계층을 떼어내고,
2의 RNN 맨 앞 계층에다가 가져다 붙였습니다.


상상해 보세요. 웬 미친 과학자놈들이 머리통에서 뇌를 꺼내다가 다른 뇌 옆에다가 척하고 놓더니 전선으로 여기저기를 마구 연결하기 시작하는 거에요. 어후...

물론 뭐 논리적으로만 존재하는 가상의 신경망이기에 고통을 느낀다거나 거부반응에 끔살을 당한다거나 하지는 않았습니다만...


그리고는 뭐 자기네가 들고 있는 데이터 세트를 거기다가 다시 학습시키는 거에요.
이 데이터 세트는 어떻게 만들었냐면, 사진을 주면 사람이 그 사진의 내용에 대해서 설명하는 영어 문장을 만들어요. 그렇게 수천장 수만장을 반복했기 때문에... 아무튼 똑똑한 사람들이니 좋은 사진과 설명을 사용했겠지요.


이렇게 만들어진 신경망은 비록 사람을 이기는 정도는 아니었지만 기존에 이미지 캡션에 사용되었던 수많은 방법들을 전부 다 격파하는 데 성공했다는 말씀.

[http://i.imgur.com/VIRixJM.jpg]


근데 비교대상이 나였으면 쟤가 이겼을 것 같은데... 영어가 짧아서. 으음....