Всегда проверяйте наличие скрытого API при парсинге сайтов
⭐ Курс ООП и Приват канал: www.zproger-school.com/?...
⭐ Телеграм канал: t.me/+ag3TWfFIuKs1NjMx
⭐ Прокси сервис: proxy6.net/en/a/91388
Бывало ли у вас такое, что при парсинге сайтов вы не могли достать тот контент, который отображается на странице? Часто это говорит о том, что данные рендерятся через JS.
Поэтому в таких ситуациях многие предпочитают использовать Selenium, чтобы имитировать поведение пользователя. Но что если я вам скажу, что вы можете найти скрытый API сайта и избежать использования таких инструментов как Селениум?
В этом видео я покажу как искать зацепки на сайтах, и как использовать Insomnia для проверки запросов. Мы научимся находить чистые данные, которые отдает сервер, прежде чем JS проведет над ними свои манипуляции.
📁 Github: github.com/Zproger
📁 Все плейлисты с уроками: bit.ly/39GaY89
📁 Связаться со мной: zproger777@gmail.com
📁 Поддержать канал: github.com/Zproger/donate
Тайм-коды:
0:00 - Почему важно знать этот способ?
1:13 - Ищем способ автоматизации сайта с Insomnia
5:07 - Ищем данные в sitemap.xml и сравниваем контент без JS
5:49 - Как узнать что сайт хранит данные локально?
7:53 - Ищем скрытый API сайта с Insomnia
Конечно, боо! Даёшь парсинг без нагрузки. Спасибо за твой труд
Благодарю!
Здравствуйте. Благодарю. Жду следующее обещанное видео. Вы супер!
Спасибо
Супер 👍 Очень вовремя. Как раз столкнулся с проблемой получения данных с сайта букмекера . На странице данные есть , а в json из нет. Спасибо , буду пробовать.
Привет, сделай видео про кастомизацию Arch, твой Arch очень красиво выглядит
Конечно интересно тема со splash 😊
Месяц назад делал парсинг сайта, HTML которого полностью реализован на JS. Вы мне помогли, оказалось не сложно :)
Рад что смог помочь :))))
С помощью Selenium?
в конце видео где вы показываете скрытый апи сайтов, примерное на 10:30 минуте вы показываете как использовать апи чужого сайта. я хотел спросить, а законно ли это и могут ли за такое как-то заблокировать запросы с определенного сервера (в данном случае моего сервера)? по факту я нашел сайт на котором я нашел пост запросы и там не нужна авторизация могу ли я пользоваться этим апи или это чревато тем, что когда-то они его закроют и мое приложение крашнется, хотя по факту может крашнутся и парсинг страниц, если их допустим парсить через puppeteer.
Котик зачётный. Лайк.
:)))
Очень полезно. Спасибо тебе за контент! Тот момент, когда видео надо смотреть с уменьшением скорости😅
Спасибо за комментарий 😃😃 Это помогает более качественно подбирать контент
Первых два раза на нормальной. А третий уже на пониженной.😀
Конечно, интересно! Автор, жги! :)
Благодарю
очень полезно. понял, что не нужно отказываться от платного курса, что в хтмле может быть вся инфа, что прокси очень нужен непонятно нахера, и что сайт можно парсить с помощью запросов. большое спасибо приду ещё дверь за мной не закрывайте
а я вот не понял к чему это
@@zproger у мня был тот же вопрос на протяжении всего видео. Какой-то адовый сумбур из всего
Ахаха, на работе как раз таки и использовал апи для парсинга вб. Легко, удобно!
Парсинг без нагрузки интересует! Жду с нетерпением!!!
Раскажи пожалуйста как сейчас нужно обходить новые версии cloudflare не используя платные сервисы
Годно!
Спасибо
бро подскажи плиз, есть ли такое кумулятивное видео, в котором есть все основы для парсинга сайта (не программирование, а именно архитектура)
Только хотел с темой разобраться )))
Класс, значит я вовремя))
Какой линукс ты используешь и какое окружение? Можно ли сделать такое де рабочее оформление как у тебя?
arch linux, а что за тема мне лень искать
уважаемый бро , инфа касающаяся поиска скрытого апи актуальна , но чесно говоря я мало что понял , всё как то быстро и сумбурно
Подскажите пожалуйста что за Линукс автор использует ? Очень красивый😊
Arch Linux с оконным менеджером bspwm
сними видос про свой линукс
Хотелось бы увидеть, поставил лайк
Очень интересно! Создавай!
Благодарю
подскажите, пожалуйста, какой юзаете браузер?
что-то никак не могу понять, что за программа используется для отладки запросов и дальнейшей генерации кода... ?
Я уснул на этом видео, когда проснулся, меня выселили с моей квартиры ( а видео классное, кстати )
Видос как всегда кстати
Благодарю
Вот реально, к стати. Вселенная услышала...)))
Какой браузер используешь? Понравился дизайн
Mozilla Firefox в режиме Private
Можно обзор на твою ОС? Как ты сделал такой красивый десктоп?
Будет, но мне нужно время на нее найти, ибо очень много багов вылезло после обновы арча)
@@zproger отлично, с нетерпением жду)
Добрый день. А что делать если сайт монолитный? те работает без апишек?
Здорова. Будет контент или может уже есть. Как регать на запросах социальные сети ? Например инстаграм
Привет, уже было на канале. Правда запросы для разных сайтов отличаются
@@zproger как назывался выпуск ?
будет ли видео про настройку арча и нвима как у тебя ?
Да, но дедлайны неизвестны
Прочитав заголовок сразу понял о чем речь 😎
😎😎😎
😎😎😎
а если api защищено и не дает данные, если делать запросы не через сайт, то как тут быть?
Подскажите, пожалуйста, почему не получается получить post ответ от сайта, выдает ошибку requests.exceptions.SSLError
Паршу 2 сайта для сравнение цен, где лучше сохранять данние для сравнения (json, sqlite) или в чем?
Если для себя можно в скулайт
Я тут на днях сталкивался. Нужно было буржуйский сайт спарсить. Прикол в том, что есть запросы через js. Но ответы в формате HTML. HTML вставляется на страницу с небольшими доработками через js. Неудобно, но за-то не потребовался селениум А второй момент: страницы с сылками парсятся scrapy, но пройти по ссылкам и скачать файл csv не получается. Защита. Но оказалось, что ссылка на скачивание файла - динамическая. И данные можно получить из ссылки первого прохода. Резюмирую. Нет какого-то готового ответа. Каждый сайт который требуется спарсить, требует индивидуального подхода.
я думал, что первый до такого додумался
Как у ватсапа без купленного api можно найти скрытое api? Или там без selenium больше никак?
Ура, кто-то у нас занялся переводом John Rooney 🎉🎉🎉
Это не перевод, мне просто понравилась идея, но сайты и фишки я взял свои, потому что тоже многие просили заснять такое видео 🙃🙃
@@zproger согласен. Это авторский материал, а идею сразу узнал. У Руни даже есть видос с таким же названием
а как называется эта штука где делаете запросы и генерируете Python код?
Говорил в видео, это Insomnia
@@zproger спасибо
А какой браузер использовали в видео?
Настроенный Firefox
Первая половина видоса класс, вторая не оправдала названия видоса, что же тут "скрытого" ? Зашел посмотрел запросы, увидел что возвращают некоторые json и все, конечно проще нормальными данными работать.
CORS -здарова дядя
как называется этот визуализатор звука виджет?
Cava
@@zproger спс
А с озоном вариант так провернуть? ВБ то понятно)
Какой смысл в этом если при запросе эти данные что ты показывал "ищу по айди и тд," находиться не будут так как джс не отработал
Первый случай, это сайт с ssr, всё отрендерилось на сервере и тебе ришел html готовый, второй случай это обычное spa... Скрытый "api" он вообще-то совсем не скрытый)))
Только думал про видео парсинг веб сайта, правда парсить нужно всего лишь ссылки на видео на сайте.
Гуд, думаю лишним точно не будет :))
Какой у тебя оконик ?
bspwm
@@zproger Спасибо
Спасибо, но ничего не понял ))). Попробую пересмотреть
Бывает :D
Как называется программа название которой автор видео не называет?
называл
@@zproger и какое же у неё название?
Материал интересный. Но столько само рекламы отталкивает. В сумме раза 4 зазывал в тг подписки и тд
Не понятно как работать с Insomnia, ничего не показал.
Как это не показал, вы походу перемотали половину видео. Смотрите полностью, там все показано, причем в подробностях.
Бро сними видео как спарсить подписчиков в ютюбе пожалуйста. Сделал это через силениум, но это шляпа
Что нужно сделать при взломе сейфа в первую очередь? Потянуть за ручку - а вдруг он открыт?
:DDD
Запрос к API это не web scraping и не parsing
Парсинг это любой сбор и обработка информации, в конце видео как раз этим и занимаемся, хоть там и простой пример, ибо на канале уже 1000 раз показывал примеры и не хотел повторяться
@@zproger да ты прав, а тот чел комментатор душнила
Это база парса же. Селениумом максимум куки получать
блин где ты был раньше?!
как отдельно от курса купить приват канал?
Приветствую, рад что видео помогло, на данный момент купить отдельно приват нельзя, потому что он переплетается с курсом ООП, и когда я буду добавлять новые курсы, то все участники должны быть на равных правах.
@@zproger честно говоря я по книгам и видео учил python и мало уже чего нового могу найти лично для себя, по этому мне интересен именно приват есть там есть какой-то интересный контент, в плане разбор редких фишек языка и какие-то полезные инструменты
зачем на вб искать скрытый api если он у них есть открытый, разве нет??
ах да, забыл в видео сказать: перед поиском скрытого api, посмотрите нет ли официального)) а то бывает копаешь запросы пол дня, а потом узнаешь что у них оф.апи есть оказывается :D но в целом выбрал этот сайт ибо он для видео подходит хорошо.
В WB все на поверхности. А вот Ozon спарсить, уже не так тривиально.
Возникло желание на публичной кадастровой карте спарсить координаты углов участков. Они как-то подгружаются и накладываются на карты гугла и яндекса. Проблема в том, что в выписке из ЕГРН координаты указываются в МЕТРАХ! Мать их в МЕТРАХ координаты вместо угловых величин! Какие плоскоземельщики это придумали? Агрх!!! upd: Облом. Отрисовка слоя происходит на сервере. Можно конечно обработать картинку и найти углы, но точность будет с пиксель.
:DDD
зашел на видео котейку посмотреть
Postman тоже неплох
Как называется приложение в 0:48?
В видео говорил об этом, это Insomnia.
Название видео вводит в какое-то заблуждение. Я думал, тут будут какие-то сложные техники, или использование специального софта, а тут, по факту, база базы базой погоняемая. К чему тогда это видео, если у тебя уже есть серия курсов по парсингу с нуля? Причем, способ показанный в видео, а именно изучение ответа каждого запроса руками еще более замороченный, чем нужно. Зачем все это, если можно просто скачать любой сниффер (допустим fiddler), отследить все запросы, а потом просто через CTRL + F найти ту инфу, что нам нужна за одну секунду?
Видео про скрытый API, в итоге автор 9 минут рассказывает про всё что угодно кроме скрытого API
Если бы я сразу начал рассказывать о скрытом API, игнорируя подводку, вы бы написали что видео не раскрывает сути, ибо не понятно что за инструменты, куда кликать и заходить.
Господи сделай видео о линуксе и своем конфиге прошу
Так а где скрытое апи то? Во вкладке нетворк? Так оно не скрыто, смотри сколько хочешь😅
Ну так конечно не скрыто, потому что я показал где смотреть))
а зачем прокси?
меня юзер агент, этого недостаточно? могут заблокать ip?
А кто-то парсил иначе такие сайты? Неужели вам на столько не лень тянуть селениум в проект 💀
Смотря что за проект, иногда он настолько маленький, что скорее лень копать эти запросы :D
Спасибо! Искал медь, а нашел золото!
Благодарю за фидбэк
пытаюсь взомать пентагон. день 1
Сорт, що 3 к лайков
ничего не понимаю :)
Совет. Надо медленнее и подробнее. Слишком сжато! Дроби на несколько видео. Оч сложно воспринимать, твой контент не для развлечения, а скорее для обучения - спешка тут не к чему.
Благодарю, правда у меня не особо получается говорить медленно, я когда так говорю, то это выглядит странно и скучно) Можно попробовать расширения для ютуба, которые делают контент медленней на заданный процент. Это позволит подобрать оптимальную скорость.
@@zproger Я не об этом. Добавь "воды". Темп у тя охрененный - приятно слушать, но воспринимать... Слишком много инфы на минуту времени.
Все норм. Если быстро, включи замедление видео или чаще на паузу нажимай. Воды полон ютуб.
@@zproger не слушай его, ты ужал инфу с часового видео в 13 минут, и ещё и так структурировано всё подал. Респект
А мне норм. В жпу развлекуху @@zproger
Бля!!! Нельзя так издеваться!!! Что а программы для генерации запроса и прочее??? Даже браузер не похож на браузер!!! Начни с этого. Эти программы всегдм нужны!!! Даже если есть уже свои проверенные!
Так а что тут объяснять, о программе рассказал достаточно подробно в видео, если не перематывать то вопросов не будет, про браузер вообще нечего говорить ибо это кастом Firefox и он к видео никак не относится, ибо без разницы какой браузер использовать. Ну а вообще, я конечно могу перечислить все софты, но видео адресовано для тех людей, которые умеют парсить, но хотят узнать о новых фишках. В видео также говорил, что если парсить не умеете, то можно посмотреть мои бесплатные плейлисты по парсингу на канале, там все софты показываю с нуля. Код пишу в nvchad, хотя тут тоже без разницы где писать, можно хоть в блокноте от винды :D
@@zproger Умею. Прям щас решаю задачу с парсингом одноф букмейкерской канторы и уже не первая подряд за несколько дней. Разгадал много уже чего и на сайте и особенно в приложении. Приложение парсить очень удобно. Там запросы проще. Хотя, иногда, очень нужен реверс, которые еще не покорился. Прям щас легкий перерыв и задача авторизироваться, получить всп события, выбрать, сделать валидную ставку, получать обновлерие коэффициентов постоянно. И все это запросами. Еще 2 параметра найти как формируются без входа на сайт можно будет весь стак вызовов собрать. Очень сложно. Очень интересно. А видео все посмотрел. Но название программы вообще не понятно как называется. Дикция в некоторых словах скомкана и торопишся все время, а с незнакомыми словами еще хуже получается понимать. Только поэтому вопрос.
Софт для запросов - Insomnia В начале видео - Pycharm и nvim (nvchad) Остальные софты вроде описал в пред.комментарии, надеюсь это поможет :))
@@karandalliikкакую бк парсишь ? Тоже занимаюсь парсингом и созданием ботов для ставок.
вообще ни чего не понятно
Потом я пошёл посрать, а потом пошёл пожрать, потом вышел на улицу, а потом зашёл обратно чтобы посмотреть в окно, но потом решил посмотреть телек. Вот такая подача информации у вас, вам бы в педагогическом поучиться чтобы понимать как формировать ЗУН.
Одна реклама
где вы ее тут увидели?))
Пересмотрите свое видео , кстати wb самый легкий сайт для парсинга ,json отдает без всяких костылей. Покажите лучше на примере Ozon поиск скрытого API
Ну совсем по детски , nuxt старый как динозавр. Тренируйся
:))
Слово паразит во всех видео у автора "потоМмММмм"
:)))
хи-хи.... что за бредовое видео....