wget -m --no-parent -c -r -k -p -E --span-hosts=on --domains=домены -nc -l --limit-rate=100k --user=логин --password=пароль --no-check-certificate -e robots=off -e use_proxy=yes -e https_proxy=прокся имя_сайта
Хуле ему еще надо? Блядь, я быстрее вручную все скачаю, чем заставлю это криворуконаписанное говно работать. Опенсорсники - пидоры.
Мамка твоя постит быстро.
нахуя прокси? нахуя авторизация? нахуя ограничение скорости?
Сайт с порнухой.
Прокси - потому что сайт из рашки недоступен. Авторизация - потому что без нее вместо картинок - заглушки. Ограничение скорости - потому что у меня маленький канал и его потребляют три компа.
Ты же понимаешь, что если ты не можешь заставить это работать, то проблема в тебе самом?
Нет, я все сделал по гайдам, написанным теми же дегенератами, что и писали утилиту. И если утилита написана криво и гайды написаны криво, то дело в тех, кто писал утилиту и гайды. А ты битард.
Умник хуев, ты же понимаешь что разрабы не пальцем деланные и картинка защита внутри файла страницы
Покормили дауна
А теперь напиши еще раз, но уже по-русски.
У пикабушников не такой большой член.
Странно, а они говорили, что у них 49.5 см. Но ты бы лучше помог, а не сегал тред. Сегун, блин.
Да с телефона пишу, ебучая клава исправляет что не надо.
Картинки защиты в саму страничку, технически она генерируется во время запроса и изображения как бы вшиваются туда и не является отдельным объектом. Если же это не так - тебе нужно парсить страницу на предмет урлов, комбинируя с грепом используя регулярку
В этот раз я понял еще меньше, анон.
>>229798168
Короче, в пизду. Это был уже третий шанс у wget оправдать себя и в третий раз утилита не справилась. Из чего можно сделать вывод, что опенсорс - говно без задач. Пойду качать сайт вручную, нахуй. В третий раз уже. А всем друзьям буду рассказывать, что опенсорсники - пидоры и ебутся в жопу.
>поставил -m
>не поставил -A
>Ряяя почему мне весь сайт пытается скачать
Ты хоть сайт почитал, мож там страницы на реакте каком нибудь и страницаы на клиентской стороне генерируется, или картинки в blob'ах
>ниасилил
>КУКАРЕКУ!!1 ОПЕНСОРМС НИНУЖЕН!11 БИЗЗАДАЧ кок-пок
А что делает -А?
Так я не разумею в питон.
Какие еще блобы-хуебы. Обычная буру-галерея картинок, как у всех.
Дай угадаю, ты мануал даже не открывал и ограничился говноинструкцией на том самом пикабу.
Питон для гуманитариев написан, алё, его можно за пару дней освоить. Дальше качаешь Selenium и осваиваешь уже его.
> Selenium
Я не хочу качать всякое ноунейм-говно, я хочу качать порно.
>>229799318
В мануале хуита написана. Хоть бы один пример указали. А то стопицот команд и хуй знает, какие из них нужные, а какие не обязательные.
Очередное доказательство, что порно для дебилов ебаных, а кумер хуже пидораса
Для буру и так куча качалок есть и думаю те же готовые наборы параметров для wget, только гугль открой.
Это НЕ_ТО. Я знаю про граббер, но он качает КАРТИНКИ, а мне нужны хтмл-странички с картинками.
Эм, нахуя?
Там может быть описание и комментарии, которые мне тоже нужны. Еще там проставлены теги и могут быть ссылки на другие картинки-страницы, если это комикс.
Какое же ты червь ебаный, сука
Сдохни, ничтожество
>Там может быть описание и комментарии
Комментарии, в 99б99% случаев, подгружаются динамично аяксом, так что хуй ты их скачаешь.
долбаеб) твой вгет просто запрос делает, не учитывая JS.
Тебе нужно эмулировать открытие страницы чтобы картинки по настоящему прогружались в HTML, это можно сделать например паппитеромJS, но как я вижу ты прям конченый долбаеб у таких как ты всегда кто-то виноват.
Что в очередной раз доказывает: автоматика вроде вигета - хуита, ее авторы - петухи, скачивать придется - руками.
>мы сделали программу, которая все умеет!
>точнее, чтобы она все умела, ей нужна другая программа, а этой - другая, а третьей - четвертая
>но чисто теоретически, если весь этот зоопарк установить, то оно возможно и заработает!
>ух мы погромисты ебать. дай денег.
Я считаю, что зарплаты погромистам в 300к/наносек завышены. Их "труд" стоит максимум бутерброд с колбасой "Отечественная Крымнашенская".
Просто ты даунито и используешь НЕ ТУ автоматику. 2 секунды в гугле -> https://github.com/website-scraper/website-scraper-puppeteer
Окей, читаем.
"Plugin for website-scraper which returns html for dynamic websites using puppeteer.
This module is an Open Source Software maintained by one developer in free time. If you want to thank the author of this module you can use Patreon."
Хуйня для работы другой хуйни, ОПЕНСОРС, можно дать денег на Патреоне.
Что и требовалось доказать.
>>229800755
Чтобы обрабатывать js запросы, тебе нужен полноценный браузерный движок же. Тупые юзеры же
жс, жсон, мд. Чё это за говно? Где программа, блядь? Куда я эти скрипты вставлять должен, тебе в анал?
> Хуйня для работы другой хуйни
Почему ты не бугуртишь от того, что ВСЕ программы нуждаются в ОС и не работают на голом железе машинным кодом?
А вот и оправдания пошли. Для работы "хуйнянейм" скачайте "хуйнянейм2", для работы "хуйнянейм2" скачайте "хуйнянейм3". Качай то, качай сё, качай, качай, качай. А порнуху я когда качать буду, а? Пиздец, пердолинги атакуют. Им лишь бы попердолиться. Я всегда считал, что шутки про пердолинг - это именно шутки, а оказалось, что дегенераты реально предпочитают пердолиться.
Потому что нормальную программу ставишь - и она работает, а не ебет мозги. А тут скачай, сконпелируй, поставь хуйню, поставь движок, поставь дрова, поставь библиотеки, поставь линукс, поставь анус в казино.
Ну качай вручную тогда. Твой мануальный труд стоит значительно дешевле
Мне кажется это просто слишком сложно для тебя. Ничего, не всем быть умными. Люди с низким IQ тоже люди. Качай ручками как и подобает олигофрену не способному копировать команды в консоль.
wget написана давно и отлажена миллионами польтзователей, то что ты не умеешь ею пользоваться - твоя проблема
Вот не надо тут мне ля-ля. Я уже пытался пердолиться с этим npm-хуитой, когда пытался, блядь, заставить один редактор работать. Он был предназначен для одной, ОДНОЙ блядь задачи и мне пришлось въебать четыре дня и помощь еще одного анона, чтобы заставить это кустарное поделие работать. А все почему? Потому что его написал криворукий МУДАК.
Окей, тогда ТЫ скачаешь мне хотя бы одну страничку сайта и дашь команду, а я признаю себя быдлом, официально.
да мне похуй, как ты себя назовешь, я ею качал в свое время и качал дофига, мне нечего тебе доказывать
ОП, ты совсем даун по ходу, там же всё написано. Разве что с проксёй не очень понятно что делать.
Тогда напиши сюда команды, какие использовал. Мне это могло бы помочь.
Я ж говорю, ты просто тупой. Гуглом не умеешь пользоваться, npm dependencies не можешь установить. Ты когда ешь у тебя мимо рта жрачка не валится?
>wget -spanchbob
нахуй послан
man wget
Без примеров - не нужное говно. Нахуя мне читать в твоем мане, что делает команда, если я не знаю, нужно ли ее использовать или нет.
Selenium / puppeteer используй, вгет для твоей задачи не подходит
wget download-with-js=true url=http:/www.opsmomisfatbitch.com op-is-faggot=true
Ты дебил или жопой читаешь? Я четыре дня ебался, пытаясь заставить это говно работать. Гугл походу вообще охуел от такой нагрузки, когда я искал ответы на вопросы.
Нахуя селениум, если есть селеноид?
Ну здесь явно дебил не я
Ну так ты долбоёб же и не понимаешь как странички работают и что такое запросы, чи не?
Если бы ты описал задачу подробнее, то возможно кто-нибудь написал бы решение.
Если бы я это понимал, то мне бы не пришлось пользоваться всякой хуитой, вроде wget, я бы просто написал свою утилиту.
Мне кажется, я уже достаточно подробно описал задачу, и пока что получил лишь вскукареки о том, что я дебил, а опенсорсники-пердолинги - лучшие тянучки.
Ну смотри, wget это набор костылей для программиста, который УЖЕ ПОНИМАЕТ МАТЧАСТЬ, но не хочет сам писать это говно с нуля, поэтому он вскрывает библиотебку и надёргивает нужное говно, после чего запускает свой говноскрипт.
С хуя ли ты, ничего не понимающий говноедик решил, что это для вас написано?
Ты не поверишь, поскольку ты дегенерат, но разрабы сайта как раз потратили время, чтобы ты НЕ мог автоматизировать скачивание файлов. А то много вас таких развелось.
Почему тогда существует граббер, если разрабы сайта такие жадные?
>>229802310
Почему же тогда это говно рекомендуют все, кому не лень, всем, кому не лень? Разве не главная фишка погромистов - не палить быдлу говноту?
Знающие аноны, поясните пожалуйста, можно ли вгет-ом скачать все источники из треда двача?
Да пошёл ты на хуй. Не пользуйся, иди на винду. Будто ты нужен кому-то.
>Почему же тогда это говно рекомендуют все, кому не лень, всем, кому не лень? Разве не главная фишка погромистов - не палить быдлу говноту?
Как раз по тому, что дауны не поймут, а свои и так знают. Это такой троллинг же.
Из треда я понял, что скачать картинки с сайта по-твоему крайне тривиальная задача с которой может справиться универсальная программа. С другой стороны ты говоришь, что у тебя не получается это сделать через помойный wget. Логично, почему тебя называют дебилом, ведь задача нихуя не тривиальная. Опиши, что тебе нужно сделать, возможно, уже есть готовое решение и тебе его подскажут.
Define источники
Хоспаде, какие же погромисты постироничные, пиздец. Хуже хохлов.
К слову, вгет можно юзать и на винде через wsl
мимо
>Почему тогда существует граббер, если разрабы сайта такие жадные?
Потому что граберы пишут другие люди. На каждый хитрый болт найдется гайка с левой резьбой.
А вообще, wget прекрасная программа. И прекрасна она в первую очередь тем, что не думает за тебя, а делает ровно то, что иы сказал.
Чисто неосилятор пытается затаунтить двачеров чтобы те ему сделали, кек
Иди нахуй, на то это и опенсорс, что бесплатно и никаких гарантий тебе не дает. Пиши сам свою утилиту, но ты же конч и руки у тебя из жопы, лол.
эта херня не берет js в учет, тебе бразуерный движок нужен, ретардина ты тупорылая
Не превьюхи файлов, а нормальные файлы - пикчи, видео
> Разве не главная фишка погромистов - не палить быдлу говноту?
Как раз таки прогроммисты друг другу всю хуйню и палят, просто не у всех есть время учить тебя как пользоваться тем или иным говном.
Можно
Ладно, раз тут есть дауны, не умеющие читать, поясню еще раз. Нужно скачать ХТМЛ-страницы с сайта. Чтобы там все было - и текст, и картинки. Просто, блядь, ХТМЛ страницы. Это так сложно? Мне надо написать свой линукс на виндовсе через фрибсд, чтобы это сделать?
Охуеть ты настолько тупой? Ты, наверное, гуманитарий, да?
Да нормальные. А хули ты хотел? Плати деньги, животное. Либо сиди сам разбирайся и учи матчасть. Ибо нехуй.
>>229802661
А, ну тут всё просто, делаешь скрипт-детектор ссылки на источник, затем подаёшь новый запрос и уже оттуда качешь.
Либо через сам скрипт сосаки на запрос изнутри страницы, но это нужно думать, а думать влом.
wget -r -k -l 7 -p -E -nc http://site.com/
В общем-то, то, что и у тебя. Что не работает-то?
ХТМЛ как рендерится на странице? На серваке или на-лету? Если второе, то это не "просто".
А где логин/пароль? А где выключение проверки сертификата? А где прокся?
Просто ОП ебантярий, он не знает о динамически генерируемых страничках и пытается всё скачать как статику. Ему пытаются обьяснить что к чему, но он слишком тупой.
Да хуй его знает, я не погромист.
Сам добавишь. Ты же сайт не говоришь, откуда я знаю, что конкретному сайту надо.
ОПу НЕПРИЯТНО что это все сложнее, чем просто захуярить одну команду, он ведь думал, что он умный и все простенько будет.
Тупица, хули с него взять, проблема у него, рейджит он, а виноват опенсурс. Не помогайте ему, нахуй.
То бишь я сначала вгет-ом получаю исходник страницы треда, оттудаю паршу(парсю?) ссылки на файлы, и циклом их затем подумаю в тот же вгет?
Ладно, короче, пойду вручную качать. Все 2 миллиона страниц, блядь. Быстрее, чем спорить с вами.
Сначала ты запрашиваешь чисто html страницу.
Затем прогоняешь через анализ текста по определённым признакам, на выходе у тебя должна быть совокупность ссылок,
которые ты потом загоняешь по очереди в wget и уже оттуда получаешь саму картинку.
ДА, я это и имел в виду. Спасибо, анончик
ОПу неприятно, что сначала кукарекают, мол "у нас все просто", а потом выясняется, что нихуя не просто и вообще не для вас написано. Так бы и говорили сразу, а то приходится это выяснять уже на практике. Как блядь продаваны в магазине бытовой техники. Сначала нахваливаете говнотовар, а потом, когда этот товар сразу после покупки идет по пизде, начинаете маня-оправдываться, что покупатель неправильно что-то делает, что эта вещь вообще не предназначена для использования по назначению и что вообще "не трогал бы - не сломалось".
Пиздец. Сделай за программу всю работу, потом сделай за программу всю работу еще раз. А нахуя тогда нужна программа, если я все делаю сам?
> сначала кукарекают, мол "у нас все просто"
Ты это выдумал.
Для любого первокурсника это просто, дружок, просто ты гуманитарка.
>>229803295
Потому что один раз написав это говно, можно каждый тред сохранять.
>>229803326
Прикольно, тут даже сразу список есть, где всё поделено за тебя.
Лол, я думал на дваче SSR, это говно же на PHP написано. Переписали, что ли?
Потому что это блять http клиент. Для таких задач есть httrack даун.
Кому в 2к20 нужен http? Где его вообще используют?
>> сначала кукарекают, мол "у нас все просто"
Вот ты фантазер!
Нет, смысл треда: "Мам а че молоток не может гвоздь забить?" "Так для этого, сына-сычина, ты должен еще купить пилу, отвертку, плоскогубцы, гаечный ключ, землю, небо, Аллаха, а гвоздь забивать микроскопом. Нет, сразу микроскопом нельзя, нужно сначала купить ВСЁ это, иначе микроскоп работать не будет."
Да иди нахуй сын шлюхи со своими проблемами мать твою ебал черт и сын лысого подпивасника
К такому сведет только ретард-школьник, нихуя не смыслящий в вебе. Просто признайся, ты не понимаешь, что ты делаешь, но рейджишь, что не работает.
Иди нахуй, зеленый
Нет ты
Ебать, дебил, тебе поди headless браузер нужен типа phantomjs'а, а ты тут даже curl не осилил.
Бля, походу стоит ознакомиться со всем функционалом двача. Тебе тоже спасибо, анончик
Просто ты тупой.
/thread