Как выкачать сайт с защитой от дудоса к себе на диск с помощью wget?т.е. там в начале идёт переадресация с подгрузкой, и качает эту ёбаную страницу.
>>201358448Мне нужно с сохранением ссылок, возможностью по ним переходов и предварительной авторизацией на сайт>>201358611Нихуя найти не могу. Команда со следующим набором: wget -r -k -l 1 -p -E -nc +добавление логов и адреса сайта.
>>201357029 (OP)Определённо, придётся писать скрипт, обычным wget ты не обойдешься. Да и хз, есть ли простые и доступные утилиты для линуха по обходу перенавравлялок
>>201360440Хуёво, но буду пытаться. Ещё думал через httrack потраить, но мне кажется и там нихуя, раз через вгет не получается
>>201360251Либо нихуя, либо я неправильно формулирую команду. wget load-cookies=/root/Downloads/cookie.txt -r -k -l 1 -p -E -nc https://*/
>>201362703А, ну wget не пойдет потому что эта хрень на джаваскрипте. Надо что то типа этого https://phantomjs.org/
>>201357029 (OP)Подсугуть ему авторизованые куки, а ещё не быть дегенератом, который делает по стотыщпицот запросов в секунду. /thread
>>201363056Всунь это в хедер cookie: rcksid=sya9KrDv8mOyH4RWy1Iwk1Q9WaP1JGiOoP6jXLbOFMJOh3H1FXTeFcScwygPqErT; BLAZINGFAST-WEB-PROTECT=7e3f6a2936cdd04213294db312170a8b; xf_session=7b02e5839b96062167fe1763273a593
>>201363165Не, не задавал. Но я опустил руки после этапа остановки всей хуйни. В том плане, что хуй с ним с логами. У меня если получиться сайт выкачть без прохождения авторизации -- уже заебись, там дальше разберусь и авторезируюсь. Но нет ваще нихуя.
>>201365189Это единственный способ - надо запустить js страницы защиты. Вот так например юзать фантом https://gist.github.com/giocomai/247d54e097b5083e2451
>>201368675Там просто скачать тот файл и запустить так:phantomjs SaveWebpage.js https://piratebuhta.club page.html
>>201369048>repl-input:1 in glogal codeЯ что-то неправильно делаю, но вроде всё как ты говоришь и как там написано, вроде
var system = require('system');var webPage = require('webpage');var page = webPage.create();var url = system.args[1];page.viewportSize = { width: 1280, height: 720};var requestsArray = [];page.onResourceRequested = function(requestData, networkRequest) { requestsArray.push(requestData.id);};page.onResourceReceived = function(response) { var index = requestsArray.indexOf(response.id); requestsArray.splice(index, 1);};page.open(url, function(status) { var interval = setInterval(function () { if (requestsArray.length === 0) { clearInterval(interval); var content = page.content; console.log(content); page.render('yourLoadedPage.png'); phantom.exit(); } }, 20000);});
>>201370513>>201370388>yourLoadedPage.pngПонял блэМне нужно зеркало сайта которое будет работать в оффлайне со всеми переходами
>>201370633https://anotepad.com/notes/b6xtwnВот скрипт для вывода в формате хтмл, картинка просто для проверки. В оффлайне будет работать только одна страница которую скачаешь. Чтоб скачать весь сразу - там гораздо сложнее такое делать, попробуй HTTrack, может сработает
>>201371133Одну страницу-то можно и через просто браузер скачать, хуйня вопрос. У меня задумка вот в чём: взять платнуюе подписку на подобном этому ресурсе, и вылить всю информацию с сайта разом, со всей хайд инфой и прочим. От одной толку нет. Но всё равно спасибо. А HTTrack буду пробовать, хотя один хуй вряд-ли получится.
