Skip to content

Commit

Permalink
change readme 4
Browse files Browse the repository at this point in the history
  • Loading branch information
dikar8 committed Oct 26, 2022
1 parent 2885aca commit 698c5d4
Showing 1 changed file with 9 additions and 1 deletion.
10 changes: 9 additions & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -87,10 +87,18 @@ print(namesim.check_similarity('Saudi Aramco', 'Rosneft'))

## Метод решения и его обоснование

Для решения задачи проведено дообучение (fine-tuning) модели-трансформер с помощью фреймворка sentence-transformes. Трансформеры буквально "захватили" NLP, демонстрируя высокие показатели по сравнению с RNN, LSTM и др. технологиями. Их привлекательность для обработки естественного языка заключается в применении механизма внутреннего внимания, устанавливающего свзязи между отдельными словами. В качестве альтернативы рассматривались tensorflow, torch, spacy, но в итоге выбор был сделан в пользу sentence-transformes. Преимущества ST: высокопроизводительные модели и простота использования.
Для решения задачи определения схожести названий проведено дообучение (fine-tuning) модели-трансформер с помощью фреймворка sentence-transformes. Трансформеры буквально "захватили" NLP, демонстрируя высокие показатели по сравнению с RNN, LSTM и др. технологиями машинного обучения. Их привлекательность для обработки естественного языка заключается в применении механизма внутреннего внимания, устанавливающего свзязи между отдельными словами. В качестве альтернативы рассматривались tensorflow, torch, spacy, но в итоге выбор был сделан в пользу sentence-transformes. Преимущества ST: высокопроизводительные модели, автоматизированная настройка гиперпараметров и простота использования. Помимо этого для поиска имен в тексте (задача NER) используется Spacy.

## Этапы решения задачи

1. Подготовка данных к обучению модели;

2. Обучение моделей и сравнение их показателей;

3. Тестирование модели и выбор лучшей;

4. Создание скрипта;

## Эксперименты

### Эксперимент №1
Expand Down

0 comments on commit 698c5d4

Please sign in to comment.