№388 - ПАРСИНГ сайтов, 40+ советов для ЗАРАБОТКА на парсинге в России. Делимся опытом.

Вот тебе свезло конечно) надеюсь дальше будет так же) удачи

Минус - нужна обратная связь. Ваша дополнительная прибіль.

Вовремя ты переключался, красавчик) так бы мог до талого играть и все слить) А сейчас окуп славил. Класс)

👍👍👍👍

Очень интересно было послушать, спасибо за прозрачность

Все верно! Удачи и процветания, коллега!

Спасибо тебе за видосы. У меня сейчас тяжеловое время в жизни, но они реально помогают!)

Я полностью доволен этим казиком. Играю здесь уже пару месяцев. Пока все гуд)🍊

Здорово, конечно, слушать про OVER NINE THOUSAND рублей выручки, но что насчёт прибыли? Может, она у вас отрицательная вообще? По своему опыту знаю, что, замалчивая прибыль и заменяя её в презентации выручкой, докладчик стремится манипулировать кадрами низшего звена и кандидатами на равнозначные им должности.

Здравствуйте, подскажите куда пойти учиться чтобы научиться парсить! И освоить эту профессию с нуля!

Вакансии есть к вам на работу? Где посмотреть ? Язык не важен, ну экономия на серверах в зависимости от языка.

Кстати вопрос, конечный продукт проектной работы у вас это исходные коды и документация или подписка на данные?

Судю по комментам тема с выручкой зацепила и сейчас все ринутся парсить все подряд😀

It в россии и том же снг оч слабое именно из-за слабого фундаментального образования. Там на западе студент в 18 лет написал ядро операционной системы , на которой сейчас более 90% мобильных устройств работает. Там подход к программированию совсем другой и к пониманию. На стоковерфлоу задавал один и тот же вопрос по регуляркам в русскоязычном сегменте и англоязычном. В русскоязычном даж вообще не поняли как такое сделать и ждать еще пришлось кучу времени пока кто-то ответ. А на англоязычной версии только написал через минуту описали углубленную теорию по вопросу, а еще через минуту принцип решения. Причем они это еще назвали элементарной задачей. И таких примеров масса. Да и зачем они нужны эти примеры. Нсли мы сейчас сидим не в рутубе, а в ютубе, и пишем с андроида или ios. Это к вопросу все почему не получается сделать из парсинга продукт и уйти от проектной разработки. Даже у меня уже есть нароботки для новой версии парсер-движка, где очень высокая степень автоматизации.

Благодарю за видео.
Выписал для себя 20 пунктов на вооружение.

Я понимаю что вы профессионал в своём деле! Но вы в серьёз считаете что proxy или всякие торы вам помогут быть анонимными? Они конечно же помогают в анонимности людям, которые нахрен никому не нужны. Но грамотному специалисту просто понадобится больше времени чтобы вычислить. Где нужно было бы 10 минут, ему понадобится 30 чтобы выследить всю цепочку. Просто как вы правильно заметили, что вы работаете в рамках правового поля, и выслеживать вас никто не будет. Ну может кроме конкурентов. Вот от них возможно анонимайзеры и защитят, ибо не у всех кулхакеров есть скилы и инструменты для подобной работы. А вот у IT криминалистов они есть)) И они Очень мощные, и Очень мощные сервера

спасибо за информацию и открытость. понравилось. подписался.

парсю более 4 лет, все что угодно, основные клиенты это конкуренты или НР

шикардос, благодарен

А как рассчитать цену за парсинг? Объём то может быть разный. Чтобы зарабатывать, нужно же рачитывать цену за одну строку данных.

Пробовал найти подработку, по пирсингу. Бесполезно. Учень узкий рынок.

А почему именно мобильные прокси, а не серверные? С какими проблемами сталкивались?
Спасибо.

Хорошие у Вас видео, не боитесь говорить так как есть, спасибо! Максим подскажите, а как Вы формируете цену на парсер (или любой другой продукт) для клиента, чтобы это была аренда, а не разовая оплата, с учетом того, что это будет индивидуальная разработка под конкретного клиента и как договариваетесь об этой цене, имеется в виду как обосновываете?

Очень интересные мысли. Сегодня ваш канал в рекомендациях появился и я подзалип на канале. Очень полезно. :)
Периодически тоже заказы на парсинг приходят, сталкивался с частью проблем, озвученных в видео. Но и нового для себя тоже взял. Спасибо за ваш труд по созданию полезного контента. Очень крутой канал. :)

А что если российские сайты наконец поумнеют и будут продавать доступ к своему API? Тогда ваш бизнес просто умрёт.

Было интересно послушать как человеку, который полтора года работал в отделе парсинга)
Некоторые вещи вызывают улыбку, но, в целом, очень здраво

Интересный видос, тоже в компании много парсим и сейчас строим проект сначала для себя, потом возможно выкатим публично связан с парсером организаций. Скажите пользуетсь ли selenium или другим движком для эмуляций действий. Ведь иногда парсить приходится не в лоб html контент, а получая данные после некоторых манипуляций со страницей (например карты) . Еще есть phantomJS, но пока это не использовал. Если не секрет поделитесь хотя бы намеком. Будет полезно

слушаю взахлеб
для статистики: тоже программист, бизнеса нет

А есть сайты которые банят по IP если не скачиваешь картинку?

Парсинг это что то типа паразитического извлечения информации. Непонятно, почему порталы не борятся с парсингом.

Не пойму, почему матчинг товаров не получается? Мне эта задача кажется тривиальной.

Чтобы не нагружать сайт запросами чрезмерно, можно интересующую страничку с информацией получить единожды в формате html на жёсткий диск. А потом уже никуда не отправляя никакие запросы распарсить эту страничку и извлечь интересующее.

Пишу парсеры больше года за 2к рублей, услышал про прибыль в несколько миллионов, поплохело. Пойду заварю дошик, надо все обдумать

а как продавать 2gis, если не парсить 1 в 1? Заказчики же хотят именно ту инфу, что на сайте...

Про парсеры сам думал, была идея saas сделать но по факту это такой геморрой, потому что парсеры постоянно ломаются если парсят более менее серьезный сайт и все это нужно поддерживать. Можно конечно сделать некий менеджер парсеров, но это как раз таки уже не так сложно и думаю такие решения уже существуют. Хотя в целом представляю себе гипотетически некий конструктор парсеров в котором предусмотрены компоненты которые часто используются для написания парсера, но опять же, слабо верится что можно будет добиться эффекта швейцарского ножа. Все равно придется писать кастомный код и накручивать костыли.
Я писал парсер объявлений с Яндекс.Услуг. 3 месяца проработало, а потом сломалось. Хотя парсил с таймаутом по 2 секунды между запросом и 30 минут между обходом всех страниц в выдаче, чтобы не наглеть. В итоге тот еще геморрой был. Периодически меняется api, блочат по ip, усложняют каптчу и так далее. Как будто специально хотят усложнить парсинг. Потом чтобы они меня по ip не банили перевел парсинг запросы на их же лямду. Ежемесячного бесплатного гранта хватало на парсинг))

Что касается it и тем более ИИ, хочу сказать что я понял одну вещь: никогда не говорите никогда, потому что потом будет стыдно и смешно. Про ИИ уже говорили: он никогда там не сравнится с человеком, он никогда не сможет творить и тд...
На любую задачу найдется алгоритм который будет справляться с ней лучше чем человек. Потому что вычислительная мощность процессоров на порядки быстрее чем у мозга. И задержка в передаче сигнала ниже. Человек пока что алгоритмтчески опережает компьютеры в решении некоторых задач, потому что уже натренирован на их решении и архитектурно оптимизирован. Это лишь вопрос "когда", а не "будет ли".

Алоха - на лоха

Почему этика для Вас - это ничто?

Парсить не сложно, сложно клиентов искать.

а вы не пытались спрашивать почему они так реагируют негативно?
это же вроде не продавцы на рынке, которые думают, что цены у них нельзя снимать

Сервисы по подбору автострахования также работают через парсинг? где по номеру авто выходит вся информация по автомобилю

👍🔥💯💥💯🔥👍

А вакансии есть? Я 2 года назад этим занимался

Правильно, что сказали про таймауты между парсинговыми запросами, про перерывы и т.п. Есть сайты, которые сами предоставляют данные, дают аккаунт и они жестко указывают частоту запросов, если вы их нарушите, вас забанят. Конечно, вы можете использовать несколько прокси с несколькими аккаунтами и тянуть параллельно данные. Но я, когда занимаюсь парсингом обычного сайта, придерживаюсь такого же алгоритма, чтобы ненамеренно не заддосить. А данные, в зависимости от области, могут идти на пополнение баз знаний, для ИИ и т.п. Обычно в компании такая задача даётся одному программисту и он, имея наработки в этой теме, может быстро спарсить новый сайт, настроить регулярное обновление данных с этого сайта и т.п.

Вот что мне нравится, так это то, что в этом видео показано, как делать бизнес чисто на айти тематике. Никакого rocket science тут нет и в помине, идея бизнеса лежит на поверхности. Любой программист ещё в юные годы пытался что-то парить. А тут ребята сделали из этого достаточно доходный и стабильный бизнес. И рассказывают все нюансы. Респект за это.

Посмотрев одно его видео, вы уже знаете суть его 99% видео. Чувак с пустого в порожнее в каждом видео переливает. Парсинг, скликивание, нужен продукт, грант от государства на 4 млн и в айти все нет хорошо, как вы думаете. Вот про это он в каждом видео толчет воду в ступе.

Спасибо!

Интересная тема. Думаю вот как к ней грамотно подойти пока в продуктовом смысле и разогнать на физических лиц....

А если в html коде нет информации (сделано на js. - react, vie js) - тоже спарсите?