Плотные векторные представления слов для определение тональности | Обработка естественного языка

2024 ж. 22 Мам.
4 839 Рет қаралды

Определение тональности отзывов на банки с помощью классических алгоритмов машинного обучения. Используем логистическую регрессию и плотные векторные представления слов.
00:00 - Начало
01:21 - Загрузка и предобработка данных
02:09 - Векторизация текста с помощью векторов navec
04:38 - Готовим данные для обучения
06:45 - Обучение модели логистической регрессии
07:24 - Оценка качества обучения модели
08:21 - Применение модели
10:09 - Итоги
Colab-ноутбук из видео - colab.research.google.com/dri...
Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина".
вКонтакте - vk.com/avsozykin
telegram - t.me/a_sozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

Пікірлер
  • Андрей, большое спасибо за видео и примеры. Скажите, будут ли видео, связанные с дообучением существующих популярных моделей под свои задачи, или на своем наборе данных, через API OpenAI или хоть как-то. Очень интересна эта тема, но материала с такой толковой подачей материала, понятного для не инженеров и проч. технических людей крайне мало. Или поделитесь ссылками на толковые материалы по теме, если у Вас есть. Спасибо еще раз, пойду смотреть сети =)

    @user-ke6tz4vt2s@user-ke6tz4vt2s Жыл бұрын
  • Полезное видео, респект автору за труд.

    @math__brainstorm4580@math__brainstorm4580 Жыл бұрын
  • Здравствуйте, а размер вектора это величина регулируемая ?(та , что в нашем случае равна 300)

    @hikoop5090@hikoop5090 Жыл бұрын
  • Класс!

    @dmitrikonnov922@dmitrikonnov922 Жыл бұрын
    • Спасибо!

      @AndreySozykin@AndreySozykin Жыл бұрын
  • Первым делом, хотел бы поблагодарить за уроки! А можете, пожалуйста, для примера взять другую задачу, например, следует ли предложение из предыдущего, или являются ли второе предложение связанным по смыслу с первым, отнесение текста к определённым категориям? Просто, для определения тональности текста, я выбрал слова из отзывов, которые характеризуют тональность текста (отличный, хороший, супер, рад, доволен... и ужасный, отвратительный, обманул, отказал и тд), добавил проверку на "не" и суммирую частоту встречаемости этих слов в отзыве. Пока без модели справляется, понимаю, что это конечно, частный пример и может попасться отзыв без тональных слов вовсе. Но у меня пока срабатывает на 100%.

    @YourAwesomePlace@YourAwesomePlace Жыл бұрын
    • думаю, это сможет сделать Ваш вклад в образование ещё более весомым, так как будут, примеры решения других задач. И появятся новые ключевые слова в названиях видео, которые приведут новую аудиторию:)

      @YourAwesomePlace@YourAwesomePlace Жыл бұрын
  • Подскажите пожалуйста нейронную сеть, которая распознаёт графические фигуры на ценовом графике.

    @phenoma4582@phenoma4582 Жыл бұрын
  • Здравствуйте, а будут видео по питону?

    @ululult7989@ululult7989 Жыл бұрын
    • Имеется в виду видео именно по языку Python в общем? Или какие-то специальные вопросы по машинному обучению и NLP?

      @AndreySozykin@AndreySozykin Жыл бұрын
    • @@AndreySozykin по языку python в общем. Может быть какие-то кейсы с пандас. Или может есть такие видео, я пропустила :)

      @ululult7989@ululult7989 Жыл бұрын
    • @@AndreySozykin за это видео большое спасибо, мы сейчас занимаемся парсингом данных с телеграмма и определением тональности

      @ululult7989@ululult7989 Жыл бұрын
  • Непонятно, но оооочень интересно

    @omm1029@omm1029 Жыл бұрын
    • Да, embedding - сложная тема.

      @AndreySozykin@AndreySozykin Жыл бұрын
KZhead