>>9456 (OP)
>написать современный парсер для xml результатов нмапа в mysql
Это всё, что тебя волнует? Просто если у тебя есть возможность написать (отдать на написание) веб-интерфейс, то и проблем с парсером не должно возникнуть. А если нет, то и задумываться о парсере нехуй, сам по себе для реализации твоей идеи он бесполезен.
Ладно, давай к конструктиву — черновик ТЗ будет? Или за тебя нужно ещё и структуру БД разработать и придумать, куда и с какими скриптами натравливать nmap?

>>9460
Давай я через несколько часов тут все напишу. Сильно хочу спать.

Чекни тред через часов 8-10.

>>9460

Нужно написать парсер, который будет запиливать в бд xml нмапа, включая возможные отчеты NSE скриптов. Проблема в том, что на данный момент годных парсеров нет.

Цимес в том, что отчет нмапа генерируется толко при завершении сканирования, а если сканировать 0.0.0.0/0, то парсить такой огромный ответ будет проблематично. Нужно придумать способ сделать реалтайм сканирование и реалтайм парс в бд.

>>9469
>формализуйте за меня задачу, а потом запрогайте
Ясно.

>>9470
Да ты ебанутый, никто не просит кодить за меня. Я просил подсказать как это можно сделать.

Пока есть только ответ с дев-нмапа:

You could parse the XML output file for hosts that have TCP 80 open,
i.e. TCP SYN Scan, then parse this output [as input] into a script
which iterates over the list of hosts [that are up] and sends the
results to separate XML output files which are named by IP Address.

>>9471
>никто не просит кодить за меня
>Ищутся программисты которые смогут написать
Ну ты определись уже.

Если собираешься кодить сам, то какие проблемы вообще?
Разбиваешь 0/0 на подсети как тебе угодно, можешь по /16 или по geoipdb.
Пишешь планировщик, который будет по очереди или в несколько потоков
1. Запускать nmap -p $PORTLIST $SUBNET -oX /path/to/scan/$SUBNET_ID.
2. Парсить /path/to/scan/$SUBNET_ID, записывая в БД хосты и открытые порты на них.
3. Запускать nmap с NSE по этим спискам хостов.
4. Парсить выход и получать, что ты захочешь оттуда получить.
Что именно вызывает у тебя затруднения? Ты не можешь взять модуль для работы с XML на твоём любимом ЯП?

>>9474

Спасибо.

>Если собираешься кодить сам, то какие проблемы вообще?

Я просто не очень хорошо знаю прыщи, чтобы понимать какой инструментарий системы можно использовать для задач.

>>9475
С того и нужно было начинать, что идея есть, а навыков нет. Учи прыщи, что мне ещё тебе сказать?

1 бесплатный аналог шодана всё равно должен платить за трафик, защиту от атак, хостинг и судебные иски конкурентов. Он должен быть децентрализованным.
2 Благодаря dht ты можешь разделить пространство айпи-адресов между нодами
3 можно придумать proof-of-scan, и монеты, за которые ты получаешь право запланировать свой скан, удостверяют скан другие ноды своими подписями.
4 вот тебе и затравка идеи для криптовалюты.

>>9481
Можно, но насколько эффективно, не знаю.
Предлагаю не засирать общий тред, а перекатиться в тематический.
>>9482
>должен быть децентрализованным
Хорошая идея. Однако, либо овнер должен быть одним, чтобы избавиться от фейкорезультатов сканов, либо нужна распределённая система доверия (много подводных камней).
>proof-of-scan, и монеты
Вряд ли это будет полноценная криптовалюта без централизации. Концепция proof-of-work как раз состоит в том, чтобы кто угодно мог проверить результат работы, не затрачивая на это особых ресурсов (по сравнению с ресурсами, затраченными на работу). Кроме того, работа должна иметь свойство проверяемости в любое время, а состояние сети динамическое.

>>9483
Со сканом так же. Кто угодно может постучать на порты по результатам предыдущего скана и провести фингерпринтинг.

>>9482
>Он должен быть децентрализованным
>dht
>proof-of-scan, и монеты
>затравка идеи для криптовалюты
Таких как ты надо ставить к стенке. Всюду готовы наворотить башню из абсолютно не нужных велосипедов, впихнуть свои ёбаные валюты которые нахуй там не нужны, блджад.
>>9456 (OP)
Например, на питоне можно зделоть. Напрямую задействовать nmap через subprocess - написать легкий враппер для него. Для xml есть несколько свободных парсеров, написать пару методов-обёрток под конкретно твой формат данных. На веб морду возмешь джангу, она же и будет БД - там всё в виде объектов. Будет всё заряжено силой ООП.
Если не знаешь питон, берешь и учишь, он простой. Сначала напишешь пару простых скриптов, затем освоишь доступ к стандартным командам прыщей через subprocess, затем поищишь парсеры и поковыряешь добавление/извлечение записей. А потом садишься и делаешь свой этот сканер. Вот и всё.

>>9485
> python
> nmap
> subprocess

Обоссан.

https://pypi.python.org/pypi/python-libnmap

>>9485
>Ставить к стенке
Майор не палится.

>>9486
>Обоссан.
Ты бы хоть читал сорцы своих ссылок. Там точно так же используется subprocess, точно также парсер xml (etree), только еще помимо этого куча мокрописек. Может это и пригодится, но иногда легче сделать 3-4 функции самому, чем тащить на каждый чих свою либу. Но это просто моё мнение, сиди обсирайся дальше. ЕБАЛ ТВОЮ МАМКУ!11 АЗАЗА11)))0

>>9486

О, спасибо за ссылку. Весь интернет перерыл уже в поисках чего-то такого.

>>9484
>Кто угодно может постучать на порты по результатам предыдущего скана и провести фингерпринтинг.
Идиот, читай внимательно: состояние сети динамическое. На пальцах, для дебилов:
1. Я сканирую vasyan.org, получаю открытый 25 и 80 порт.
2. Васян выключает SMTP-сервер.
3. Участник сети сканирует vasyan.org, получает открытый 80 порт и считает мои результаты неверными.
Но это во-вторых, а во-первых
>Концепция proof-of-work как раз состоит в том, чтобы кто угодно мог проверить результат работы, не затрачивая на это особых ресурсов
Ты же предлагаешь затрачивать на проверку точно такие же ресурсы, как и на совершение работы.

Советую тебе либо подтянуть матчасть, либо никогда в жизни не упоминать криптовалюту, чтобы не обсираться.

Мне одному интересно сканить? Может быть есть единомышлениики? Давайте вместе пилить. Я как раз сел изучать питон, чтобы написать всю хуйню, раз никто не хочет помогать.

Алсо есть простенький сервант, если на нем сделать готовую среду, то можно потом будет это все перенести на нормальный сервер.

>>9498
>Давайте вместе пилить
Запилил nmap.

>>9497
1 ограничиться постоянной в течение большого временного интервала составляющей: роутеры, холодильники, камеры, электростации и прочие интересные ресурсы, которые и ищет шодан
2 тут тоже есть разрыв. Для нахождения надо просканить все порты, для проверки - только найденные. Чтобы сканили всё - давать "валюту" пропорционально логарифму от найденных портов, выживших в течение определённого числа блоков, помножив на коэффициент "добросовестности" - вероятность того, что майнер не читерит, определённая с помощью эвристики.

>>9499
Я тоже запилил.

>>9482
>Он должен быть децентрализованным.
>сканирование
Я смотрю, ты ботнет придумал.

>>9502
Децентрализованный, скорее чтобы не загружать основной сервер. Так работает шодан например. У него несколько десятков серверов который шерстят диапазоны.

>>9504
Не надо путать децентрализованный с распределённым. Децентрализованный - это без центра. У ботнета есть хозяин, он центр. У Шодана тоже есть хозяин - организация, его держащая, она - центр. У биткоина хозяина нет. Он децентрализованный.

>>9500
>ограничиться постоянной в течение большого временного интервала составляющей: роутеры
И как же ты ограничишь это в правилах криптовалюты? Повторяю совет: подтяни матчасть или никогда не говори о криптовалюте.
Кстати, на досуге можешь просканить какой-нибудь диапазон динамических адресов на свои «постоянные в течение большого интервала» роутеры, а потом повторить скан через сутки. Результаты тебя удивят.
>Для нахождения надо просканить все порты, для проверки - только найденные
Ты забыл, что возможность выполнить проверку должна иметь каждая полная нода. И, кретин ты тупоголовый, ещё раз повторю — в любое время, хоть через три года, когда твой роутер со всеми его открытыми портами уже будет гнить на свалке, а IPv4-диапазон продан какому-нибудь хостеру.
Просто заткни ебло и не неси хуйню.
>>9505
>У ботнета есть хозяин, он центр
Путаешь централизованность административную с централизованность технической. Да, у ботнета есть хозяин, ботнет административно централизован. Однако, этот ботнет может имеет архитектуру p2p (где нода хозяина на уровне сети точно такая же, как и все остальные) и быть децентрализованным.

>>9507
>Путаешь централизованность административную с централизованность технической. Да, у ботнета есть хозяин, ботнет административно централизован. Однако, этот ботнет может имеет архитектуру p2p (где нода хозяина на уровне сети точно такая же, как и все остальные) и быть децентрализованным.
Децентрализаторофаг что ли? Шодан, как сказал выше анон, распределен. Например 10 серверов для сканирования, 2 сервера под базы данных, 1 под вебморду, 1 под АПИ. Все вместе они реализуют ту хуиту, которую ты называешь ШОДАН.

>>9507
1 майнеры обязаны проверить n предыдущих блоков, просканировав найденные порты, профингерпринтя сервисы и сравнив. Вознаграждение за блок даётся через n блоков, и падает обратно пропорционально монотонно неубывающей функции от времени этих сервисов в онлайне (нормировать на число найденных сервисов). То есть майнер находит всё, но что останется в живых, за то "валюту" и получит.
2 Через 3 года результаты скана устареют, но если в течении n блоков результаты скана держались, то скорее всего скан действительно был. Против sybyl атак такая сеть неустойчива, но если ввести репутацию нодам, то будет устойчива.
3 Децентрализованность техническая называется распределённостью (по-модному такие системы называются "облачными").
Ботнеты именно так и прикрываются - перехватывают функцию административного центра (например, придя к хозяину и добыв его закрытый ключ с помощью паяльника). Я считаю, что такой сервис должен быть децентрализован во всех смыслах, так как будет много желающих его прикрыть.

Да идите нахуй со своей криптовалютой, заебали в каждом треде. Вы не дохуя математики и не дохуя затейники чтобы придумывать очередной велосипед. Вы еще цп-валюту придумайте.

>>9520
>Шодан, как сказал выше анон, распределен
Так я с этим и не спорю. Просто указал, что ты путаешь тёплое с мягким в одном конкретном предложении.
>>9521
>майнеры обязаны проверить n предыдущих блоков, просканировав найденные порты
И совершив каждый такую же работу, как и добывший. См. выше, это не proof of work.
>если ввести репутацию нодам, то будет устойчива
Деление на ноль в одном предложении. Ты ещё центральный сервер введи, который будет подписывать каждый блок.
>Децентрализованность техническая называется распределённостью
>Децентрализованность ~ называется распределённостью
Без комментариев.
Отвечаю тебе только потому, что интересно, сколько ещё бреда ты сможешь выдать.

>>9529
>Криптоанархия
>идите нахуй со своей криптовалютой
Уже убегаю, сейчас.
Почему злишься? До сих пор, в 2015-то году, не осилил концепцию децентрализованных денег? Ну так осиль, полезно для общего развития.

>>9531
Ты считаешь что расчитываться наличкой в киоске менее анонимно, чем криптовалютой, движение которой можно проследить? Как ты собрался ее выводить, скажи пожалуйста.

И речь не о вашей валюте здесь. Идите в криптовалюта тред.

>>9531
При чем тут "неосилил"? Реально уже заебали, иди на отдельную доску про криптовалюту и там обсуждай.

>>9532
>расчитываться наличкой в киоске менее анонимно, чем криптовалютой
Вообще-то, я не имею окончательного мнения по этому вопросу, поэтому выскажу противоположное твоему (подчёркиваю — не моё, а противоположное твоему).
1. Расчёт наличкой предполагает личный контакт, что уже слабо вяжется с понятием анонимности. Расчёт криптовалютой возможен из любой точки мира, где есть свободный интернет.
2. Общедоступность информации о транзакциях и адресах (aka «можно проследить») в общем случае не позволяет идентифицировать автора транзакции или владельца адреса.
>>9536
Там обсужу в контексте той доски, тут обсужу в контексте этой. Какие проблемы-то? Ты ещё опа начни посылать в /pr/ или в /web/.

>>9532
Пардон, один вопрос без ответа оставил.
>Как ты собрался ее выводить, скажи пожалуйста.
Через биржу на карту. Только анонимность здесь ни при чём.
Если ставить вопрос в контексте анонимности, то правильный ответ «я не собраюсь выводить её».

>>9539
>Там обсужу в контексте той доски, тут обсужу в контексте этой. Какие проблемы-то? Ты ещё опа начни посылать в /pr/ или в /web/.
У тебя фаготрия какая-то. На всю доску постишь про одно и то же.

>>9544
Про криптовалюту, ЕМНИП, я пока что постил только в этом треде и только потому, что васян выше предложил глупую идею. Собственно, я бы уже и не постил, наверное, если бы ты не общался со мной о соответствии темы доске.

>>9545
Охуеть, значит вас тут несколько

Вообще, конечно, идея хорошая и правильная. Шодан слишком дорого выходит по нынешнему курсу, а на 5 страницах годноты мало.
>только нмап, никаких массканов или зенмапов
У тебя там рута нету что ли? Нмапом с -р- будет оче долго сканировать всё подряд. Короче, если наберется 2 человека, то присоединюсь.

Сажа приклеилась :с

>>9456 (OP)
А смысл?
Интернет меняется каждый день.
Насканенная ip-камера завтра будет на другом адресе, уязвимый роутер тоже.
Остаются только хостинги да белые ip.

>>9574
>рута нету что ли
Он же написал, интерфейс виртуальный.
https://github.com/robertdavidgraham/masscan/issues/43
https://github.com/zmap/zmap/issues/35

>>9530
Репутация у каждой ноды своя. Каждая нода сама выставляет репутацию другим нодам.

>совершив такую работу, как добывший
1 не такю, а меньше.
2 работа не сложная, это тебе не np-сложная задача, сложность O(N) для поиска, сложность O(n≤N) для проверки. Работа (затрачивание ресурсов) в данном случае не вычислительная, а подставная - скан портов ids тоже детектируют и хранят в логе.

>>9605
>Работа не вычислительная
>пытается засунуть её в криптовалюту
Всё, у меня закончилось терпение спорить с долбоёбом. Можешь считать, что я слился, иди делай такую криптовалюту.

>>9598
А, вот в чем суть. Ну чекнуть все ipv4 можно и с домашней пеки. Список поднятых отправить nmap'у.

>>9624
>massscan zmap
>с домашней пеки
Не забудь приготовиться объяснять домашнему провайдеру, почему у него говнороутер в подъезде каждые 30 секунд перезагружается и почему пришло несколько сотен абуз.

>>9646
Моему провайдеру похуй, это ж Украина.

>>9660
Ему похуй, что ты весь подъезд от сети отрубишь? Думаю, техподдержка с тобой не согласится.

>>9662
>ты весь подъезд от сети отрубишь
Фантазии.

>>9664
Ну если ты будешь на 1000 pps пятьдесят дней один порт /0 сканить, то может и не упадёт.
А zmap с полной утилизацией 100M линка уронит подъездную говнину на раз-два, точно тебе говорю. Ну ты можешь попробовать, потом расскажешь.