Предварительно обученные word embeddings | Обработка естественного языка

2024 ж. 22 Мам.

3 797 Рет қаралды

Word2Vec, fastText и Navec на Python: используем предварительно обученные плотные векторные представления слов.
00:00 - Word2Vec в библиотеке Gensim
06:00 - Библиотека fastText
09:53 - Библиотека Navec
Colab ноутбук из видео - colab.research.google.com/dri...
Библиотека Gensim - radimrehurek.com/gensim/index...
Библиотека fastText - fasttext.cc/
Предварительно обученные векторные представления для 157 языков - fasttext.cc/docs/en/crawl-vec...
Библиотека navec - natasha.github.io/navec/
Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина"
вКонтакте - vk.com/avsozykin
telegram - t.me/a_sozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

Пікірлер

Прикольно, это я вовремя пришел, думал эти ролики давно были на канале. Наверняка автор использует ИИ для анализа комментариев )
@googleadmin4749 Жыл бұрын
- Пока не использую. Но тема интересная, надо пробовать 😉
  @AndreySozykin Жыл бұрын
Имею опыт в программировании но нет опыта в машинном обучении, с ходу смотрел плейлист, показалось немного не ясным момент построения разных моделей те что плотные, но наверное потому что не очень внимательно смотрел, планирую все повторить.
@googleadmin4749 Жыл бұрын
- Эта действительно очень сложная тема. В одном видео все подробности не рассказать, только основные идеи.
  @AndreySozykin Жыл бұрын
Спасибо, материал толковый
@googleadmin4749 Жыл бұрын
- Пожалуйста!
  @AndreySozykin Жыл бұрын
В библиотеке "Наташа" нет вектора для "Илиасова" 😀
@user-co7wd3cv4x Жыл бұрын
- Да, к сожалению...
  @AndreySozykin Жыл бұрын
Для чего это добро вообще нужно? В общих чертах
@brayaka1418 Жыл бұрын
- Это подготовка текста к анализу с помощью нейронных сетей. Нейронные сети не могут работать напрямую с текстом, нужно переводить текст в цифровое представление. embedding как раз хорошее цифровое представление, на котором нейронки показывают качественные результаты. Как это делается, мы рассмотрим дальше в курсе.
  @AndreySozykin Жыл бұрын
- Чтобы ChatGPT и подобные лишали людей работы, очевидно же 😀
  @user-co7wd3cv4x Жыл бұрын
- @@user-co7wd3cv4x ааа, ну так еще даже понятнее)))
  @brayaka1418 Жыл бұрын