- ๏ธHuman-Like Story Generation from Caption Using Seq2Seq Model ( ๐ค machine-like โก๏ธ ๐ง human-like )
- 2018๋ ๋ ์์ฃผ๋ํ๊ต ๋ฏธ๋์ดํ๊ณผ ์กธ์ ํ๋ก์ ํธ ์ต์ฐ์์ ์์
"the fireworks are shooting off in the sky" -> [Seq2Seq model] -> "the fireworks were beautiful"- tensorflow 2.2.0
- keras 2.4.3
- Sequence-to-Sequence (Seq2Seq) ๋ชจ๋ธ์ ์ฃผ๋ก ํ ๋๋ฉ์ธ์ธ(์: ํ๊ตญ์ด ๋ฌธ์ฅ)์์ ๋ค๋ฅธ ๋๋ฉ์ธ(์: ์์ด๋ก ๋ฒ์ญ๋ ๋์ผํ ๋ฌธ์ฅ)์ sequence๋ก sequence๋ฅผ ๋ณํํ๊ธฐ ์ํ ๋ชจ๋ธ์ ๋งํ๋ค.
- "๊ธฐ๊ณ๊ฐ ์์ฑํ ๋ฑ๋ฑํ ๋ฌธ์ฅ์ ์ธ๊ฐ์ด ์ด ๋ฏํ ์ธ์ด๋ก ๋ณํํ๋ฉด ์ด๋จ๊น?"๋ผ๋ ๋จ์ํ ์๊ฐ์์ ์์ํ๊ฒ ๋ ํ๋ก์ ํธ
- ๋ณธ ํ๋ก์ ํธ๋ฅผ ์ํ ๋ฐ์ดํฐ๋ก ๋ง์ดํฌ๋ก์ํํธ ์ฌ์์ ์ ๊ณตํ๋ VIST(Visual Storytelling Dataset)์ ์ฌ์ฉํจ
- VIST๋ ์ฃผ๋ก image captioning task์ ์ฐ์ด๋ ๋ฐ์ดํฐ์ ์ผ๋ก, ํน์ ์ด๋ฒคํธ๋ก ๋ฌถ์ธ ์์ฐจ์ ์ธ ์ด๋ฏธ์ง๋ค์ ๊ฐ๊ฐ ์บก์ ๋ฌธ์ฅ(descriptions for images in isolation, DII)๊ณผ ์์ฐจ์ ์ธ ์คํ ๋ฆฌ ๋ฌธ์ฅ(stories for images in sequence, SIS)์ ์์ผ๋ก ์ ๊ณต
- image captioning task์ ์ฐ์ด๋ ๊ธฐ์ ์ ํ ์์ ์์ ๋งค์ฐ ๋ฐ์ ๋์ด ์๊ธฐ์ ๋ฐ์ดํฐ์ ๋ํ ์ฝ๊ฒ ๊ตฌํ ์ ์์์
- [Code]
- Kim, Y. (2014). Convolutional neural networks for sentence classification.
- CNN in keras with pretrained word2vec weights | Kaggle
- Using pre-trained word embeddings in a Keras model
- Implementing a CNN for Text Classification in TensorFlow โ WildML
- ๊น์ฐ์ [[email protected]]
- ํ์ฌํธ [[email protected]]