LMstudio как замена ChatGPT: Saiga Mistral, LLama и другие локальные LLM

2024 ж. 15 Мам.

11 893 Рет қаралды

Новые видео, статьи и полезности в Telegram: t.me/+AvtWabJB1ms5NmE6
Скрипты для подключения к локальному серверу + инструкция по их запуску: boosty.to/morinad/posts/3c3f2...
Наши курсы:
1) Основы Power BI (бесплатный курс): directprorf.ru/basics?...
2) Power BI для рекламных отчётов: directprorf.ru/powerbi?...
3) Из API в Excel и Power BI + коннекторы: directprorf.ru/excel?...
4) Коннекторы для Маркетплейсов: directprorf.ru/marketplaces?u...
5) Продвинутый Power Query: directprorf.ru/pro?...
6) Создание коннекторов в Power Query: directprorf.ru/connectors?utm...
Все коннекторы mez для Power BI и консультации по ним
доступны на Boosty по подписке "ПРО": boosty.to/morinad/posts/eb9b9...
Таймкоды:
0:00 - Что делать если вы не хотите работать с ChatGPT?
0:25 - LM studio - удобный инструмент для тестирования LLM
1:10 - Интерфейс LMstudio
1:35 - Удобный поиск больших языковых моделей
2:41 - Quantization - как выбрать и скачать подходящую версию
4:10 - ChatGPT внутри LMstudio
5:07 - Разворачиваем локальный сервер для своих программ
5:54 - Как програмно обратиться к локальной модели
6:45 - Тестируем Saiga Mistral на примере SQL
7:57 - Сравниваем Saiga с ChatGPT
8:20 - Просим Saiga Mistral и ChatGPT написать 3 слогана
9:50 - История про бизнес-коуча от LLM
10:30 - Проблемы со скоростью в локальных LLM
12:08 - Работа с Llama - проблема с русским языком
12:37 - Таймаут ожидания в функциях обращения к local LLM
13:06 - Функция Power Query для обращения к локальной модели
14:04 - Итоги: мне не понравилась ни одна opensource модель
14:57 - Модели от крупных компаний пока выигрывают у opensource моделей
Другие интересные видео:
Запрос к API GPT3 и ChatGPT: • Запрос к API GPT3 и Ch...
API ChatGPT пишет код сайта: • API ChatGPT создаёт са...
Подключение к API на Python и PQ: • Подключение к API на P...
Телеграм-бот на базе Power BI: • Телеграм-бот на базе P...

Пікірлер

Меня особенно привлекло это видео, поскольку оно посвящено LM Studio, теме, которая меня интересовала в последнее время. Благодаря этому видео я получил ценную информацию о различных аспектах обучения модели машинного обучения, которая помогла мне понять, почему моя модель LLM Mistral-7b-instruct-v0.2.Q8_0.gguf работала неэффективно. Четкие объяснения и практические примеры автора сделали сложные концепции намного более доступными, что позволило мне не только улучшить мой текущий проект, но и расширить свои знания в этой области. Я хотел бы выразить искреннюю признательность за время и усилия, потраченные на создание этого видео, а также за то, что поделились ценной информацией с сообществом. Спасибо!
@cyb3rN1nja172 ай бұрын
- Чатом GPT4 коммент писал? 😅
  @fensmart4372 ай бұрын
- Мне кажется это мистраль)
  @directprobi2 ай бұрын
- @@directprobi Да, это mistral 😁
  @cyb3rN1nja172 ай бұрын
Спасибо за уникальное видео! Похожего не нашел
@denisg99135 ай бұрын
Спасибо за видео! Сразу захотелось проверить на пк) Сразу спрошу, а есть вариант использовать такую схему, но на сервере?
@kriptex_people3 ай бұрын
- У них вроде есть версия под linux, надо пробовать, я не запускал
  @directprobi3 ай бұрын
Не корректно сравнивать 7B открытые модели и ChatGPT 3.5 на 175b. Ясное дело что последний будет выдавать ответы лучше) Но если использовать файнтюнинг - тогда локальная 7b в определённых задачах может показывать даже лучшие результаты. Но в целом видео хорошее, особенно для новичков, спасибо =)
@DarkSlear2 ай бұрын
- Что за файнтюнинг? Это дообучение или что-то другое?
  @Roman-hv3ssАй бұрын
- И еще вопрос - ты уже пробовал файнтюнинг для локалок? Или это было предположение?
  @Roman-hv3ssАй бұрын
А можно их дообучать или использовать RAG?
@eduardmart12372 ай бұрын
- Думаю да, но не пробовал, не знаю позволяет ли это делать LM Studio
  @directprobi2 ай бұрын
Здравствуйте! А подскажите, что у вас за машина в видео? Хочется понять примерно соотношение мощностей/характеристик, чтобы не пробовать много моделей для тестов
@Unnitt4 ай бұрын
- Asus Vivobook, Процессор 11th Gen Intel(R) Core(TM) i7-11370H @ 3.30GHz 3.30 GHz, 16ГБ оперативки, но у меня не работает ускорение GPU, возможно в этом проблема. Вообще в идеале найти вариант где под вас выделяют нужное количество ресурсов, тогда всё это гибко будет работать. Ну либо ускорение всё же задействовать
  @directprobi4 ай бұрын
- @@directprobi Супер, большое спасибо!
  @Unnitt4 ай бұрын
- 4090 видюха нужна. Тогда вышеприведенные примеры на не урезанной модели 7b генерятся десятки секунд. От 20 сек до минуты примерно.
  @user-pv8it1ml9y3 ай бұрын
- Почекал у себя... Ответ про SQL-запрос самая большая модель Q8 (не Q3, как на видео) на проце 13600 сгенерировала за 6+11=17 секунд (нагрузка при этом была около 80%). И кстати, ответ был более правильный, почти как у ChatGPT (только вместо простого SELECT * оно напридумывало туда конкретных полей). На GPU 4070 Ti этот же запрос занял 0.5+1.5=2 секунды. Слоганы сгенерились за CPU: 7+17=24 и GPU: 0.8+2.1=2.9 секунды. А история вышла за 40+92=132 и 0.3+13.1=13.4 соответственно. Правда мне выдало не прo Елену, а про Серёгу и Андрея почему-то. ))) Ещё раз - все вышеприведённые цифры получены на 8ГБ модели. Так что 4090 не обязательна, хватит и 4070. ;) На GPU выходит примерно в 10 раз быстрее.
  @GrAndAG3 ай бұрын
- @@user-pv8it1ml9y Видюха большую роль играет для нейронки? У меня собран ПК на двухпроцессорной матери. Суммарно 54 ядра получается, но низкая герцовка, 2.2 что ли. И 120Гб оперативы, но видюха стоит простенькая. Хочу затестить.
  @Roman-hv3ssАй бұрын
Уважаемый автор, благодарю за видео! Вопрос: а как дообучать модели? Допустим есть куча книг с распознанным текстовым слоем, и я хочу их скормить модели, после чего попробовать провзаимодействовать. Как это делается? Можно ли снять отдельное видео? У вас в примере можно взять дообучение для корректировки результата выдачи, чтобы было как у ChatGPT. Насколько я понимаю, дообучить тот же ChatGPT вряд ли получится... Заранее благодарю.
@serj_822822 күн бұрын
- Эти модели честно говоря не знаю как дообучить) Да и lmstudio - это всего лишь эксперимент был, а вот про chatgpt хотел снять ролик с дообучением, но пока не успел
  @directprobi22 күн бұрын
как стереть все общение с аи? если задаю вопрос и например резко меняю тему в другое русло он все продолжает отвечать ответами на 1ый вопрос.спасибо
@-vileon-32943 ай бұрын
- Мне кажется тут только новый диалог заводить с ним, потому что он помнит что вы обсуждали в прошлом и отвечает также. Но при обращениях через сервер такой проблемы быть не должно
  @directprobi3 ай бұрын
можно же задать GPU offload и тогда нормально обрабатывается
@Phoenix55rus26 күн бұрын
Как насчет ускорения при помощи GPU. У Вас оно вроде выключено.
@kosan_4 ай бұрын
- На этом компьютере к сожалению вообще не работает, напишите, пожалуйста, если у вас получалось ускорить, возможно на другом компьютере будет лучше
  @directprobi4 ай бұрын
- @@directprobi у меня 4Гб видеопамяти, определяется и используется Nvidia CUDA, небольшие модели типа phi-2 (~5Гб) с параметром -1 помещаются и работают моментально. На больших, я как понял, нужно подбирать параметр, по субъективным ощущениям прирост есть.
  @kosan_4 ай бұрын
- @@kosan_ интересно, ну может правда от этого ускорения сильно зависит, попробую на другой машине может получится что-то, но в идеале хотелось бы запускать большие модели, а он их даже скачивать не предлагает
  @directprobi4 ай бұрын
- @@directprobi У меня Q8 модель на 4070 Ti отрабатывает в 10 раз быстрее по сравнению с процом 13600.
  @GrAndAG3 ай бұрын
- Т. е. ты, консультант, совершенно не знаешь, что обработка LLM моделей рассчитана на работу с графическими картами и именно с архитектурой CUDA ядер от NVIDIA ? ))) И процессор здесь вообще "...нервно курит в сторонке"... Замечательно! )) У меня проц восьмилетней давности 4 ядра Core i5 2500...,16Gb Ram..., Но благодаря установленной Asus RTX 3060 12Gb Vram на этом конфиге вполне нормально бегает Stable Diffusion A1111 за секунды "перемалывает" 6Гб генеративные модели "картинок"... Пересмотри своё отношение к собственному "железу" раз уж ты направил "свои стопы" в сторону ИИ да ещё на и локальной машине. Там на офисном ноуте делать НЕЧЕГО!!
  @inforvita2 ай бұрын
Phind модель бы глянуть
@nullkv4 ай бұрын
- Если всё же получится как-то ускорить всё это - обязательно сниму с этой моделью в том числе, не слышал ранее про неё
  @directprobi4 ай бұрын
Chat GPT последний раз когда смотрел инфу в 2023 году данные весом были почти 600 гик. А то огрызки.
@user-ou9rm3hb4f2 ай бұрын
Почему ответ 7гб модели так и не показали
@maxk80164 ай бұрын
- После запуска модели у меня слетела запись экрана из-за большой нагрузки, поэтому результат уже не показал
  @directprobi4 ай бұрын
- @@directprobi могли бы вы свое мнение сказать, самая большая модель в сравнении с gpt 3.5 turbo как вообще?
  @maxk80164 ай бұрын
- @@maxk8016 на моём компе крайне медленно и всё равно с некоторыми ошибками, а больше 7ГБ я не скачивал - не даёт такой возможности
  @directprobi4 ай бұрын
Если у тебя твой ноутбук нихуя не тянет, так нехуй эти агрызки сравнивать с платными моделями, которые работают на серверах за целую кучу десяткав, или 100тен тысяч баксов. Загрузил бы на калаб эти локальные модели и тестировал а не на своем 16гига говне.
@sergeyt73142 ай бұрын
- А есть какое-нибудь видео или материал как запустить LM Studio на Google Colab? Я что-то сходу не нашел
  @directprobi2 ай бұрын
- @@directprobi Не слушай всяких деградонтов. Отличное видео. Не у всех есть возможность юзать платные модели. Пусть на старте будет даже такая версия. Если есть возможность ее дообучить, то вообще кайф.
  @Roman-hv3ssАй бұрын