Локальный Chat GPT и его друзья с huggingface

2024 ж. 12 Қаң.
2 075 Рет қаралды

Статья с инструкцией: habr.com/ru/articles/780092/
Сайт, откуда качать модели: huggingface.co
Маленькая текстовая модель OpenChat из видео: huggingface.co/TheBloke/openc...
Вот еще ролик (из него взял один пример): • Решаем задачи NLP с по...

Пікірлер
  • в Чумачечшее время мы живём!!!! :) Спасибо мэн!!!! В одну каску мне тоже тяжело копать в этом направлении... контента сейчас по теме в сети много...

    @alexandrtortik@alexandrtortik4 ай бұрын
  • Привет, Спасибо! Оставляю коммент)

    @strategy_love@strategy_love2 ай бұрын
  • Как в старом меме:" -Чет я очкую Славик." от всего этого прогресса

    @user-zc7ej4zc2q@user-zc7ej4zc2q4 ай бұрын
    • Совершенно очевидно, что даже наши телефоны станут умнее нас ещё при нашей жизни.

      @1984tourist@1984tourist4 ай бұрын
    • @@1984tourist Ты из Казани?)

      @bandi1516@bandi15164 ай бұрын
    • @@bandi1516 Да

      @1984tourist@1984tourist4 ай бұрын
    • Не очкуй. Вымрут только тупые

      @musicdoriankon2632@musicdoriankon26322 ай бұрын
  • Подскажите, а на huggingface можно чат gpt-4 скачать или его ближайший аналог, если да то подскажите название модели?

    @O_May_Good@O_May_GoodАй бұрын
    • Следите за новыми моделями уж, они появляются и будут появляться. То что я пробовал - аналоги gpt-3.5, может чуть лучше самые большие модели. Но последним надо очень много памяти - 64Гб и больше.

      @1984tourist@1984touristАй бұрын
  • спустя какое то время начнет уменьшаться свободное место на жестком диске, модель начнет галюцинировать, отвечать бред, дразниться

    @leoniddzhabiev@leoniddzhabiev2 ай бұрын
  • Вот теперь вопрос созрел, а для чего это все в мире? Тот же биткойн, который что то там генерировал за вознаграждение, а были огромные пулы, объединение майнинг ферм, что же они решали? что это были за задачи? Грядет мировое правительство, которое будет полностью управляемо системой компьютеров, (как в фильме матрица?) а мы в загоне как кролики будем жить.

    @IGOREK210491@IGOREK2104914 ай бұрын
    • Ну а как вы хотите - чтобы человечество с его дикими инстинктами, предубеждениями и тягой к саморазрушению так и оставалось без присмотра?

      @1984tourist@1984tourist4 ай бұрын
  • какие еще нашел удачные модели? Какую рекомендуешь модель для 16GB оперативной памяти? Тот который ты в закрепленном сообщении оставил - туповат))

    @bandi1516@bandi15163 ай бұрын
    • Для 16Гб не искал. Сам я для программирования пользуюсь deepseek-coder-33b-instruct.Q5_K_M на 32Гб - в следующем ролике показано как. Вполне неплохо, мне кажется, лучше, чем GPT 3.5. Просто медленно работает конечно, даже на мощном компе. Но дождаться можно. Заказал еще оперативки - не могут довезти её из-за метели. Как доедет, попробую ботов покрупнее, но наверно еще медленнее будет.

      @1984tourist@1984tourist3 ай бұрын
  • Рефераты самим надо писать, т.е искать и анализировать информацию

    @MrKim-pt2vm@MrKim-pt2vm4 ай бұрын
    • Общение с роботом - это тоже способ поиска и анализа информации.

      @1984tourist@1984tourist4 ай бұрын
    • @@1984tourist ага, чтобы готовое выдал, тогда совсем разучатся думать. И так инфоцыгани бабла немерено зарабатывают на идиотах, так этих идиотов будет ещё больше

      @MrKim-pt2vm@MrKim-pt2vm4 ай бұрын
  • Когда-то где-то находил русские модели вроде бы называется Сайгак. А это даже боюсь пробовать опять убью время займёт куча места и не будет работать. Тем более писать руками на английском это не то

    @romanbolgar@romanbolgarАй бұрын
    • Язык для этих моделей - вообще не проблема. Во-первых, они практически все понимают русский. Во-вторых, есть специализированные модели переводчики и их даже много. Ну и вы можете предварительно перевести же свои промпты просто каким-нибудь гуглом даже.

      @1984tourist@1984touristАй бұрын
    • @@1984tourist Ну если русский понимает это хорошо. тогда действительно проблем нет. Проблема только хотя бы одну большую запустить. Столько уже перепробовал...

      @romanbolgar@romanbolgarАй бұрын
    • @@romanbolgar Ну без большой памяти это бесполезно. Я deepseek-llm-67b-chat.Q5_K_M использую, когда на GPT токены кончаются. Они вполне сопоставимы. Правда занимает много времени - работает медленно. Так что смысла большого нет. Но прикольно с файлом на своем диске общаться конечно. А чтобы было быстро - нужна очень непростая видеокарта за миллион. )))

      @1984tourist@1984touristАй бұрын
    • @@romanbolgar Еще глянь openchat_3.5.Q5_K_M, эта очень легкая, на любом калькуляторе запустится. Я на ноуте гоняю в походах, когда что-то хочу покодить, но не помню синтаксис. Но качество генерации там конечно хуже.

      @1984tourist@1984touristАй бұрын
    • @@1984tourist Памяти у меня конечно немного но я не сказал бы что сильно мало 16 Гб ОЗУ. Плюс диск SSD M2 А там скорости выше чем у обычного SSD. Когда-то баловался stable defusion Десктопная версия Автоматик три единицы потом забросил нет времени. Хотел попробовать и какую-то языковую модель Но как-то не срослось. Они какие-то сырые недоработанные. Хотя вроде уже сейчас появляются установщики типа Пиноккио чтобы установить в два клика Но всё равно Надо разбираться чтобы подключить эти библиотеки А потом ещё что-то может не хватать... В общем пробовал разное не запустилась. В идеале было бы натренировать на своих данных И вообще можно общаться Не в режиме чата А в режиме форума. Почему-то все помешаны на этих чатах. А я наоборот стараюсь основательно сформулировать большой запрос и пусть разбирается Глубоко анализирует и ищет в базах. Но увы...За openchat_3.5.Q5_K_M Спасибо Постараюсь куда-то себе кинуть чтобы не забыть найти. Но опять же уже столько такого насобирал... Когда бы найти время попробовать...

      @romanbolgar@romanbolgarАй бұрын
  • Смотрю на всё это безобразие, безобразие не в том, что эти нейронки появились, нейронки конечно же само явление интересное, а безобразие в том, как это всё "глупырями" преподносится. Вот и автор тоже туда же пыль гонит. 😁 Всё это, на данном этапе, да и я полагаю ещё лет так 50, можно использовать как микро развлекухи, которые надоедают через 5 минут из за своей никчемности и тупости. Какой нах реферат, какое нах прорамирование, какое нах проф-использование??? 🤣🤣🤣 Это всё равно что научить обезьяну кататься на самокате и пытаться заставить её заниматься грузоперевозками. Вот таких людей, как авторы таких роликов, раньше называли баламутами, ветрогонами и т.д.

    @AllexKrillo@AllexKrillo4 ай бұрын
    • Видите ли, когда-то и автомобили были "микроразвлекухой, надоедающей через 5 минут из-за своей никчемности и тупости". И самолеты. И много что еще - почти всё. Ведь ясно же, что лошадь гораздо практичнее, а летать глупо, опасно и вообще боженька покарает же за такую наглость. Ортодоксов и консерваторов не сегодня изобрели. Они раз за разом и век за веком отказываются принимать новое. И почти каждый раз ошибаются. Но выводов всё так и не делают почему-то. Тем более с нейронками всё уже не так - они уже не развлекуха, а мощные используемые на практике инструменты.

      @1984tourist@1984tourist4 ай бұрын
    • И да, если вам интересно, то вот что ответила на ваш комментарий маленькая нейросеть из видео. Которая 5Гб - в общем мнение небольшого файла на моем диске. ))) Друг мой, я согласен с вашей точкой зрения о том, что некоторые видео о нейронках могут выглядеть как развлечение. Однако, я также думаю, что это может быть полезно для начинающих, которые хотят узнать об основных принципах искусственного интеллекта и машинного обучения. Не всем нужно изучать сложные темы, и для тех, кто просто хочет поиграться, такие видео могут быть полезны. Кроме того, даже если видео кажутся тупыми или безвкусными, они могут помочь людям понять, что за механизмы лежат в основе современных технологий. Поэтому, вместо того чтобы критиковать такие видео, мы должны поддерживать их создателей и помогать им улучшать качество своего контента. Спасибо за ваше внимание! 😊🤖💡 Наверно это вот вообще бесполезно и никак нельзя использовать? ))) Кстати на русском языке ответила, оказалось, что она его тоже знает.

      @1984tourist@1984tourist4 ай бұрын
    • @@1984tourist Да с моей стороны нет никакого отрицания нейросеток, а даже наоборот, я говорил, это интересно, НО, вы это преподносите как какойто супер-шмупер-шурупер инструмент, а сослаться на практическое его применение не можете, вот в этом то, как говорится, и порылась собака. 😁😁 Ну некуда это всё пока применять, НЕКУДА!

      @AllexKrillo@AllexKrillo4 ай бұрын
    • @@1984tourist Ответ? 🤣🤣🤣 Да это все равно, что в болоте выловить жабу и интересоваться её мнением! Уровень интелекта равнозначный.🤣🤣🤣

      @AllexKrillo@AllexKrillo4 ай бұрын
    • @@AllexKrillo Ну мне это всё нужно в основном для программирования. Я уже год пишу код с помощью роботов - просто с GPT неудобно в том плане, что токены кончаются и надо за подписку платить. Вот выбираю сейчас локальный аналог - чтобы был неограниченным и бесплатным. На мой взгляд, это прям очень круто. По сути, как дополнительный программист в проекте - не самый крутой конечно, но и не самый плохой. Вдобавок знающий все языки и способный работать в тысячу раз быстрее человека. Если вам такое кажется бесполезным - то я не знаю, что тогда полезное может быть.

      @1984tourist@1984tourist4 ай бұрын
KZhead