Введение в PyTorch и реализация моделей Word2Vec
Ноутбук на Colab можно найти здесь
Обратите внимание, ноутбук обновился в части про Word2Vec.
Задание
Дедлайн: 09:00 GMT+3 15.03.18
- Реализовать Skip-Gram модель.
- Реализовать Negative Sampling для CBoW модели.
- (По желанию) Разобраться со статьёй [Two/Too Simple Adaptations of Word2Vec for Syntax Problems ] (http:https://www.cs.cmu.edu/~lingwang/papers/naacl2015.pdf) и реализовать Structured Skip-gram Model модель.
Дополнительные материалы:
On word embeddings - Part 1, by Sebastian Ruder
On word embeddings - Part 2: Approximating the Softmax, by Sebastian Ruder
cs224n "Lecture 2 | Word Vector Representations: word2vec" (video).
cs224n "Lecture 5: Backpropagation and Project Advice" (video).