Приветствую анонсов, хочу с вами поговорить о некогда нашумевшей, и принесшей не мало веселья, штуки под название findface, и все мы уже знает что то ли ребята оказались продажными и продалис государству, то ли сама эта система и была разработана государством, а в общее пользование попала исключительно для тестирования и обкатки системы, это уже не важно, главное, что сейчас она недоступна. И естественно назревает вопрос, неужели нет аналогов? гугл бы быстро выдал мне что-то похожее, но за непродолжительный скролинг не выдал ничего, неужели нет аналогов и никто не скомуниздил данный алгоритм обернув его в другую обертку?! анон, если ты что-то знаешь по этому вопросу, то поделись с нами
>>189541421 (OP)>сли ты что-то знаешь по этому вопросу, то поделись с намиС кем с вами? С нищими дрочерами-школьниками?Нет уж, спасибо.
>>189541810яндекс картинки находит только боле менее известных людей, простых нихуя, а финд фейс выдавал ссылки на страницы вк человека, даже после того как человек удалил фото со своим лицом из впарашки
>>189541421 (OP)Делаю для блядоруси. Пока вроде все норм. На точность особо н испытывал, но ищет по 7 последним загруженным фоткам + сопоставляет их и тд. Почему рашки нет и украины? Потому что чтобы их спарсить надо дохуя мощности, майнинг ферму на 1080ти минимум
>>189542559Там заглушка пока стоит. У меня на данный момент просканирована беларусь с 0 по 200кк айди, осталось еще 300кк айдишников. Числу к 20-25 доделается думаю
>>189542599Короче чекаются все айдишники, но парсится только беларусь. Железо слабое сликшмо даже для того чтоб украину добавить
>>189542684Если альбом закрыт, то чекается аватарка. Если и аватарка плохая, то ничего не поделаешь. Разве что надеяться, что человек у кого то на фотках встречался
Я где-то читал, что финдфэйс закрыли якобы после того, как либералы начали искать на фф по фото казачья, зелёнщиков и прочей путинской параши и публиковать страницы этого скама.А так тоже интересно, почему никто аналог не разработал.
>>189542843платный поиск для простых смертных. Ну может спонсор какой найдется чтобы рашку все таки добавить в поиск
>>189542811ну вообщето сейчас финд фейс стоит по всему метро на камерах, а в этом году и в камеры на улице будут вводить, тотал контроль так сказать...
>>189541421 (OP)Гос-во сделало им предложение, от которого они не смогли отказаться. Траленк порноакрисс прикрыли, но зато теперь мвд по ебычам находят кого надо. Еще и у сбера появилась функция идентификации по ебальнику.
>>189542507круто, будем ждать, но жаль, что не для рф, или потом планируется добавлять все снг понемногу?
>>189542975Сбер то тут причем. У сбера своя база. А само определение лица нихуя не стоит, полно опенсорс решений не хуже
>>189541421 (OP)Там на хабре недавно один хер рассказывал, как со школы создавал такую штуку. Он потратил около 600к, причем он был полным профаном в машобе, это только на сервера и какой-то примитивный алгоритм для распознавания. Никто не будет делать ничего подобного для бесплатного пользования, либо для подписочного, если стоимость подписки исчисляется не десятками тысяч рублев в месяц.
>>189543004Для снг надо комп на 2 2080ти МИНИМУМ, то есть 300к рублей хотя бы. Я конечно могу на своей дохлой 1060 запустить, которой оперативы 8гб не хватает и она работает на 30%, но тогда снг будет не раньше чем к 2021 году лол
>>189543088Ах да, как вам от ощущения, что какой-то школьник может заработать и спустить на подобную чушь 600к?
>>189543088да за рекламу тоже можно вывести, как по твоему сайты с пиратскими фильмами, анимой и сериалами зарабатывают, там сервера, я уверен, тоже не дешевые
>>189543171Ты долбоеб? Реклама стоит копейки и сервера для хранения стоят копейки? Ты думаешь таких мощностей хватит для поиска по всем фоткам вк в течение 5 секунд? Там ебанаты выше спарсить то не могут меньше чем за 300к, а тут множественная обработка.
>>189543163ровно такие же как и 18-и летний сын депутата покупающий бентли. только этот школьник хоть что-то да пытается сделать, кроме проеба бабла тупо на себя
>>189543239я ничего не утверждал, но я же вижу бесплатные пиратские сайты, которые завалены рекламой и существуют годами, вот и предположил
>>189543254А вот и отрицание.В статье было написано, что все эти 600к он заработал фрилансом. Вообще там речь шла про еще миллион сверху этого, но я даже уточнять не буду.
>>189543237Я так понимаю не надо искать по всем фоткам ВК, надо их просканировать и на основании расположения глаз, носа, бровей и вообще еблета выдать некую хэш сумму в определённых допусках.Далее при поиске фото сканируется и сравнивается его хэш с хешами базы. Я прав?
>>189543708Нет ты не прав. Вообще не стоит использовать слова, которые ты не знаешь или не понимаешь.
>>189543773Я в общих чертах обрисовал. Понятно что это нихуя не хэшсумма. Но смысла сканить весь ВК при каждом запрсе это полная хуета, любому имбецилу понятно
>>189541421 (OP)Я конечно диванный, но могу предположить, что создателям финдфейса посыпались обвинения, что их алгоритм используют мамкины шантажисты - я видел какая вакханалия творилась в перископе пару лет назад. Ну и небось поступило предложение - или вы обутыливаетесь или работаете в интересах органов. Наверное так это было.
Одна и та же телка? Как то так корочеhttps://yadi.sk/a/GFU85GQz3Vm3pN/5af6ad512f324e6725ff679chttps://vk.com/id20391028
>>189544014Веселая математика вместе с аноном.Чтобы найти человека по фото, нужно фото, поданное на вход, сравнить с каждым фото из базы. Если банальный парсинг, который мы можем растянуть во времени требует у криворучек компьютер стоимостью около 300к, то какие мощности потребуются, чтобы, сука, обойти эту же самую базу данных, пускай и скачанную и обработанную, и совершить некое действие?
>>189544235у финдфейса фишка была в быстром поиске. Как они его сделали - хуй знает. Если по их словам у них поиск 1 секунду занимал среди 500 млн фоток, то я не знаю что они там делали. Тут не то же самое, что гугл картинки. Лица они все +- одинаковые и по расстоянию хэмминга нихуя ты не найдешь. Надо эвклидово расстояние по всем точкам что нейросеть выдает, а тут реально нужна бд которая на гпу будет расчеты делать
>>189544413Ты все умные слова выдал, которые знал?Ты бы хоть пошел покурил, как современные алгоритмы работают, хотя какие современные, никто никогда такими методами при обработке изображений не пользовался, потому что сразу ясна их несостоятельность.
>>189544475Лол блять. И что? Ты думаешь ВК им бы отдал половину своих процессоров, лишь бы они фотки за секунду искали?
>>189544508http://api-2d3d-cad.com/search_image/Вот как гугл (предположительно) ищет похожие картинки. С лицами такое не прокатит
>>189544567Ты предлагаешь искать евклидово расстояние между точками ,которые будет в реальном времени выдавать нейросеть?Одна?Ты хоть раз применял нейросети на изображениях? Ты знаешь какие там нужны мощности, если у тебя что-то сложнее палки с веревкой? Ты слышал как работает гугловой поиск по картинкам и почему тут нужны другие алгоритмы?Почему ты называаешь кого-то диваном, не разбираясь в теме? Или две статьи из хабра без единой формулы и строчки кода это по твоему нормальное образование?
>>189544723Ты реально глупый или че?Парсишь нейросетью фотки вк, сохраняешь результат в базу. ВСЁ У ТЕБЯ В БАЗЕ ФОТКИ ВК, БОЛЬШЕ К ВК ТЕБЕ ПОДКЛЮЧАТЬСЯ ВООБЩЕ НЕ НАДОЮзер загружает фотку, ты её обрабатываешь так же как обрабатывал вк (это займет пол секунды максимум), далее уже ищешь в базе в твоей похожие. Но сука даже по готовым результатам поиск очень ресурсоемкий
>>189541421 (OP)Тестировал эту срань во время разработки, имел халявный доступ к альфа-продукту. А друган мой фронт на том проекте пилил. Могу сказать, что этот алгоритм не на коленке написали. Челы, которые писали эту срань для распознавания лиц, выиграли у гугловского алгоритма на каком-то конкурсе с диким отрывом. Еще могу сказать, что эта срань не для правительства создавалась вообще, об этом даже и не думали. Но денег вливали в неё много для раскрутки, как сейчас помню.
>>189541421 (OP)ВК хуй бы дал им доступ ко всем фотографиям не будь они из государства. Если бы рандом хуи начали их скачивать, то у ВК бы трафик скаканул процентов на 15 и красноглазики быстро бы поперебанили все твои прокси.
>>189544808>Парсишь нейросетью фотки вк0_0пиздец>ВСЁ У ТЕБЯ В БАЗЕ ФОТКИ ВК, БОЛЬШЕ К ВК ТЕБЕ ПОДКЛЮЧАТЬСЯ ВООБЩЕ НЕ НАДООтлично, мы разобрались. Непонятно зачем ты это пишешь, потому что я и не думал, что нам нужно второй раз подключаться к вк, иначе в чем смысл парсинга, но все равно, мысль верная - нужно похвалить.>ищешь в базе в твоей похожиеМы с самого начала треда поняли, что это самое сложное, но еще раз спасибо, что закепил результат.В чем смысл поста не очень понял, видимо констатация того, что имеем сейчас.
>>189544843>ВК хуй бы дал им доступ ко всем фотографиям Идиот, ты в курсе что все фото которые ты заливаешь в интернет - находятся там свободном доступе? Они даже гуглом индексируются и находятся там в кеше даже если со страницы они давно удалены или вообще вся страница удалена нахуй.
>>189544827Базу фоток вк и так позволяет выкачать, если альбом открыт. 80% времени именно обработка нейросетью занимает
>>189544962Ты кукарекаешь, что поиск у КРИВОРУЧЕК требует комп за 300к. Для поиска по базе в сотни миллионов фоток.А у тебя, у пряморучки, нужный человек будет на 2 пентиуме находиться за 5 секунд, так ведь?
>>189545086ВК петабайты фотографий. Тебе понадобится миллионов 50 рублей на дисковые хранилища если ты решил скачать все общедоступные фотографии из ВК.
>>189545204Финдфейс последние ~10 загруженных фоток только смотрел. А не все альбомы блять. И да, образ лица занимает пару килобайт всего, фотки в открытом виде нет смысла хранить
>>189545186У тебя какие-то проблемы с глазами видимо. Цитируйю свой пост >>189544235>Если банальный парсинг, который мы можем растянуть во времени требует у криворучек компьютер стоимостью около 300кты слово парсинг от словосочетания поиск по базе отличить не в состоянии?У меня не потребуется комп для парсинга, стоимостью 300к. Это все, что я могу сказать.
>>189545204>ВК петабайты фотографий.Ты понимаешь, что скачивать тебе ничего не нужно? Гугл и яндекс давно все проиндексировали за тебя + куча сторонних баз-агрегаторов.
>>189545291>У меня не потребуется комп для парсинга, стоимостью 300кКонечно, можно и на 2 пне запустить, лет через 10-20 у тебя будет база фоток вк c:
>>189544235Блядь, ты хочешь сказать что дохуя трудно сравнить две ёбаные хэшсуммы? Прям блядь суперкомпьютер нужен для этого
>>189545316Может ты и прав, но все равно по каждой фотографии нужно хранить некоторый объем информации. И это не отменяет того факта что ты создашь эти самые петабайты траффика к серверам ВК/гугла/агрегаторов
>>189545405Нет, это очень легко. Только какое отношение имеет функция, которая сильно изменяется при небольших изменениях фотографии к нашей задаче? Потому что если хэш не обладает этим свойством, то он ос ложности сравнения мало отличается от сравнения исходных фотографий.
>>189545454Пиздец ты тупой. В россии все такие? Я теперь понимаю почему за 2 года никто аналог сайта не сделал лол
>>189541421 (OP)тоже думаю что это государство создало, как в фильмах 80-х показывали как копы ищут по лицу в ноутбукепотому что простой компашке с 10 прогерами не достать денег на такое оборудование, которое бы успевало просмотреть миллионы пользователей за секунду всего лишь чтобы сравнить их с загруженным снимком.Представим что 100 человек одновременно ищут разные фото.Вконтакте полмиллиарда аккаунтов. Значит за несколько секунд к соцсети должно прилететь 50 миллиардов запросом. И не обычных текстовых а с фотографией. Это террабайтный пропускной канал должен быть. Удивительно как сам вконтакт не ложился когда финдфейс работал.
>>189545583Ну например, что FINDFACE НЕ ХРАНИЛ ФОТОГРАФИИ У СЕБЯ ВООБЩЕ БЛЯТЬ, А ВСЕ АВАТАРКИ В РЕЗУЛЬТАТЕ ПОИСКА ОН ПОКАЗЫВАЛ ПРЯМО ПО URL ВКоНТАКТЕА хранил финдфейс у себя только точки, описывающие лицо, это всего пара килобайт на человека. Вся база СНГ умещается в 100-200 гигабайт
>>189545648>А хранил финдфейс у себя только точки, описывающие лицо, это всего пара килобайт на человека. Вся база СНГ умещается в 100-200 гигабайт
>>189545592Еще один дебил. Объясни нахуй им запрос к вк посылать? Они за МЕСЯЦ УСЛОВНО, МОЖЕТ ЗА 2 МЕСЯЦА обработали все фотки вконтакте, и потом уже искали по своей базе. Пиздос
>>189545648>FINDFACE НЕ ХРАНИЛ ФОТОГРАФИИ У СЕБЯ ВООБЩЕ БЛЯТЬТы сделал такой вывод из того факта, что сервис отдавал тебе URL?>хранил финдфейс у себя только точки, описывающие лицоКаким образом они умудрились получить фотографии всех пользователей не потратив миллиард человеко-часов на введение капчи?
>>189545779>Ты сделал такой вывод из того факта, что сервис отдавал тебе URL?Не имеет вообще ни малейшего смысла хранить фотки у себя>Каким образом они умудрились получить фотографии всех пользователей не потратив миллиард человеко-часов на введение капчи?А она и не запрашивается когда ты фотки по api выкачиваешь
>>189545831>А она и не запрашивается когда ты фотки по api выкачиваешьК методам API ВКонтакте (за исключением методов из секций secure и ads) с ключом доступа пользователя или сервисным ключом доступа можно обращаться не чаще 3 раз в секунду. Для ключа доступа сообщества ограничение составляет 20 запросов в секунду. Если логика Вашего приложения подразумевает вызов нескольких методов подряд, имеет смысл обратить внимание на метод execute. Он позволяет совершить до 25 обращений к разным методам в рамках одного запроса.
>>189545337>>189545399когда я с помощью скрипта выкачивал эротические рассказы со стульчика, на тысячу страниц у меня при скорости 128 килобит уходило примерно 2 часа.При скорости 3g модема в 3,5 мегабит на это уйдет примерно 4 минуты.Чтобы выкачать миллион пользователей (только страничку, без фото), понадобится 67 часов.Чтобы выкачать всех пользователей вконтакте, через 3g модем, на это понадобится 33500 часов, или 1400 суток! Это почти 4 года беспрерывного выкачивания.А фото весит больше чем пустая страница. То есть простому анону придется на 10 лет включить компьютер и проплатить интернет, пока весь вконтакт будет у него на харде.
>>189545921Ты можешь за 1 обращение в api сразу 1000 юзеров получить по факту только 300 из-за длинны запроса, а фотки выкачиваются ВООБЩЕ БЕЗ API хоть тысячу в секунду
Ебать вы тупые, ребят. Очевидно ведь, что финдфэйс просто имел доступ к серверам ВК, чтобы в дальнейшем со всяких маней профит срубить.
>>189545985>хоть тысячу в секунду вангую что вконтакт охуеет от такой наглости и забанит айпи как дудосера. Нужно ещё позаботиться чтобы запросы шли с нескольких айпи.
>>189546056>вангую что вконтакт охуеет от такой наглости Але блять, идиот ебанный, это и придуманно для прямого взаимодействия с ВК, ебаклак. Любой бот ВК использует api и выполняет тысячи операций в секунду, даже тот де ДАЙВИНЧИК ежесекундно формирует кучу анкет и постит кучу фотографий рассылая это тысячам людей.
>>189545507Ты совсем в глаза объёбан? Я говорил что с параметров ебла снимается "некий хэш" нет сравнения 2х блядь фото, нахуя надеяться на то что 2 фото окажутся одинаковыми на 100%, нахуй ты так тупишь то сука ебаклак сраный блядь, ууу блядь выбесил мудило>>189545526А вот подбор это самого хэша и должен упростить поиск. Допустим 3 точки: межбровие, край носа и край левого глаза. Это Получаем треугольник, у него почти уникальное соотношение сторон, углов, ну относительно. Потом сканим правую половину ебла, потом строим другие треугольники на ебле, чем больше тем уникальнее результат.С каждого треугольника можно снять "неких хэш" или сумма, взятая на основании его углов и соотношения сторон. И уже по этим хэшам и суммам сравнивать.Естественно нужно обновлять базу и вообще иметь доступ к фото
>>189543129А каким боком тут видюха вообще? Разве подобная хуйня не процессором в основном обрабатывается?
Сосоны, я запускаю поиск по фото вот в т-ии января. Скиньте сюда фотку лица, я вам дам n похожих в ВК.
>>189547072>>189547007>>189546878Короч я пока реквесты сохраню, потом создам тред с результатами. Я на новое железо переехал, сейчас индексы строятся и за разумное время ничего не найду.
>>189547399Только аватарки актуальности 2016 год, но как позволит оборот, прогоню 2019 и фото с альбомов включая группы.
>>189546878(это по аватаркам 2016, некоторые могли их сменить)0 https://vk.com/id5098839231 https://vk.com/id3361757892 https://vk.com/id2510646843 https://vk.com/id1633974664 https://vk.com/id932564035 https://vk.com/id801806396 https://vk.com/id2442392277 https://vk.com/id648307778 https://vk.com/id416454379 https://vk.com/id35290917710 https://vk.com/id20062464911 https://vk.com/id37460515312 https://vk.com/id34823729513 https://vk.com/id4345303514 https://vk.com/id23433774415 https://vk.com/id17972726116 https://vk.com/id29963261817 https://vk.com/id32399982118 https://vk.com/id17558174719 https://vk.com/id20285003620 https://vk.com/id19688739821 https://vk.com/id34332009922 https://vk.com/id38505752723 https://vk.com/id21839824424 https://vk.com/id21047527625 https://vk.com/id5287404226 https://vk.com/id20469347627 https://vk.com/id35154642328 https://vk.com/id33274437729 https://vk.com/id33807157030 https://vk.com/id25192537731 https://vk.com/id11283300332 https://vk.com/id25501612033 https://vk.com/id19587743434 https://vk.com/id5065062535 https://vk.com/id36937610836 https://vk.com/id36591213637 https://vk.com/id23902827938 https://vk.com/id23120021339 https://vk.com/id22147420040 https://vk.com/id18965907541 https://vk.com/id11540078342 https://vk.com/id8937182843 https://vk.com/id24322978144 https://vk.com/id452496745 https://vk.com/id19563131446 https://vk.com/id24189874347 https://vk.com/id18072264348 https://vk.com/id7952478049 https://vk.com/id12152715050 https://vk.com/id32847431751 https://vk.com/id23227967052 https://vk.com/id5268474653 https://vk.com/id3201623454 https://vk.com/id37774560855 https://vk.com/id20889449956 https://vk.com/id17217947457 https://vk.com/id38359928858 https://vk.com/id32730301359 https://vk.com/id21512061560 https://vk.com/id30698257061 https://vk.com/id19276432862 https://vk.com/id10840929563 https://vk.com/id29745584864 https://vk.com/id23897596365 https://vk.com/id17860855366 https://vk.com/id27104351467 https://vk.com/id20154063168 https://vk.com/id3320722569 https://vk.com/id35240748970 https://vk.com/id13964374871 https://vk.com/id37001399272 https://vk.com/id17405603373 https://vk.com/id28865218774 https://vk.com/id2180696475 https://vk.com/id33097690676 https://vk.com/id8048976777 https://vk.com/id35043374578 https://vk.com/id9677501079 https://vk.com/id111193257
>>189547007https://vk.com/id225391556 0.38https://vk.com/id133098941 0.40https://vk.com/id157804471 0.41https://vk.com/id216206226 0.41https://vk.com/id328467414 0.41https://vk.com/id300719776 0.41https://vk.com/id365053663 0.41https://vk.com/id367734774 0.41https://vk.com/id258301925 0.41https://vk.com/id388889192 0.42https://vk.com/id282259479 0.42https://vk.com/id338300559 0.42https://vk.com/id225913246 0.42https://vk.com/id191752775 0.42https://vk.com/id239797310 0.42https://vk.com/id212667258 0.42https://vk.com/id13213699 0.42https://vk.com/id63157018 0.42https://vk.com/id167918769 0.42https://vk.com/id13260874 0.42https://vk.com/id217575496 0.42https://vk.com/id229006178 0.42https://vk.com/id169503060 0.42https://vk.com/id367775832 0.43https://vk.com/id233945479 0.43https://vk.com/id212604111 0.43https://vk.com/id303778241 0.43https://vk.com/id246258446 0.43https://vk.com/id206763432 0.43https://vk.com/id152822787 0.43https://vk.com/id353712109 0.43https://vk.com/id348017322 0.43https://vk.com/id140145386 0.43https://vk.com/id251395121 0.43https://vk.com/id238229814 0.43https://vk.com/id289274380 0.43https://vk.com/id219090388 0.43https://vk.com/id312777633 0.43https://vk.com/id291463773 0.43https://vk.com/id68818766 0.43https://vk.com/id146321006 0.43https://vk.com/id278300271 0.43https://vk.com/id193117573 0.43https://vk.com/id149506405 0.43https://vk.com/id193648445 0.43https://vk.com/id191352658 0.43https://vk.com/id355737070 0.43https://vk.com/id2351831 0.43https://vk.com/id313931674 0.43https://vk.com/id134589014 0.43https://vk.com/id222985234 0.43https://vk.com/id218093283 0.43https://vk.com/id259056323 0.43https://vk.com/id138655721 0.43https://vk.com/id159633955 0.43https://vk.com/id325378161 0.43https://vk.com/id160611970 0.43https://vk.com/id298035002 0.43https://vk.com/id177471838 0.43https://vk.com/id285293754 0.44https://vk.com/id5844709 0.44https://vk.com/id50554873 0.44https://vk.com/id39597851 0.44https://vk.com/id208686123 0.44https://vk.com/id340800807 0.44https://vk.com/id148035435 0.44https://vk.com/id134500195 0.44https://vk.com/id342805314 0.44https://vk.com/id218485781 0.44https://vk.com/id353184669 0.44https://vk.com/id307675261 0.44https://vk.com/id204078902 0.44https://vk.com/id40093329 0.44https://vk.com/id177138919 0.44https://vk.com/id90071668 0.44https://vk.com/id331863691 0.44https://vk.com/id139325076 0.44https://vk.com/id348221447 0.44https://vk.com/id384821443 0.44https://vk.com/id57302658 0.44
>>189542507лол, это не ты писал статью на хабре, что ты пилишь аналог файндфейса и что-то там смог "ускорить" в opencv?
>>189542507>>189548739Чел, оставь телегу, я тем же самым занимаюсь. Можем объединить ресурсы так сказатб
>>189547072https://vk.com/id366127572 0.39https://vk.com/id178714625 0.39https://vk.com/id125782115 0.39https://vk.com/id9610441 0.40https://vk.com/id35849459 0.40https://vk.com/id30488074 0.40https://vk.com/id351140270 0.40https://vk.com/id5531927 0.40https://vk.com/id90353712 0.41https://vk.com/id259986259 0.41https://vk.com/id24493755 0.41https://vk.com/id24789876 0.41https://vk.com/id146966072 0.41https://vk.com/id343443576 0.42https://vk.com/id284196150 0.42https://vk.com/id356820201 0.42https://vk.com/id319185652 0.42https://vk.com/id56392493 0.42https://vk.com/id291963223 0.42https://vk.com/id160888069 0.42https://vk.com/id202073333 0.42https://vk.com/id147967218 0.43https://vk.com/id379493767 0.43https://vk.com/id14509678 0.43https://vk.com/id103948909 0.43https://vk.com/id263815326 0.43https://vk.com/id86534599 0.43https://vk.com/id227477714 0.43https://vk.com/id207964838 0.43https://vk.com/id147339886 0.43https://vk.com/id171159993 0.43https://vk.com/id23774723 0.43https://vk.com/id233619669 0.43https://vk.com/id369203720 0.43https://vk.com/id316223614 0.43https://vk.com/id241098683 0.43https://vk.com/id197241058 0.43https://vk.com/id20797290 0.43https://vk.com/id207092988 0.43https://vk.com/id96666624 0.43https://vk.com/id224630355 0.43https://vk.com/id235263487 0.43https://vk.com/id92806219 0.43https://vk.com/id21066917 0.43https://vk.com/id37817957 0.43https://vk.com/id190310240 0.43https://vk.com/id229448039 0.43https://vk.com/id56915883 0.43https://vk.com/id340999194 0.43https://vk.com/id14256009 0.43https://vk.com/id184719540 0.43https://vk.com/id65524113 0.44https://vk.com/id305267412 0.44https://vk.com/id6735265 0.44https://vk.com/id90924833 0.44https://vk.com/id70135302 0.44https://vk.com/id229547511 0.44https://vk.com/id15732141 0.44https://vk.com/id137069912 0.44https://vk.com/id45164967 0.44https://vk.com/id31885056 0.44https://vk.com/id219630017 0.44https://vk.com/id369968827 0.44https://vk.com/id153415488 0.44https://vk.com/id359189914 0.44https://vk.com/id252033893 0.44https://vk.com/id139712140 0.44https://vk.com/id225119324 0.44https://vk.com/id196348883 0.44https://vk.com/id77526356 0.44https://vk.com/id214983035 0.44https://vk.com/id154793143 0.44https://vk.com/id308917199 0.44https://vk.com/id117371834 0.44https://vk.com/id89772039 0.44https://vk.com/id199079440 0.44https://vk.com/id360245818 0.44https://vk.com/id81818726 0.44https://vk.com/id68701892 0.44https://vk.com/id372679767 0.44
Короче в конце месяца запущу поиск по лицам на http://vk.watch.Как видно из >>189548508 >>189547725 >>189549317, лица детей и шынгысов не очень распознаются, но оригиналы фоток у меня схоронены аж с 2016го, при надобности прогоню их снова с улучшенным классификатором. Постепенно спарсю свежак и фотки из альбомов/групп.>>189549485Опытом обменяться, мне например интересно как ты дрочишь АПИ вконтакта, он же теперь ключи требует и рейт-лимитит запросы. Да, длиб.
>>189547725Бля, братан, ты охуенен!>>189547806нихуя. я прогонял это ебло через яндекс, были похожие но не настолькомне тетка пикрелейтед доставила, вылитая рожа с реквеста
>>189549827мне просто интересно, разве API VK не ограничивает количество запросов к своим серверам? Тогда бы любой желающий мог качать пока весь интернет-канал не забьется, не?
>>189550069не, я серьезно. я этого вафлера видел вживую, он немного не похож на фото в паспорте, но прога подметила какие-то другие черты, и вот эта тетка реально его копия, просто у неё лицо более толстое и прическа другая.
>>189550213Разве что можно попробовать зайти с другой стороны и запилить краулер через какой-нибудь selenide и testcontainers, чтобы у VK не было сомнения, что к нему ходит обычный пользователь через браузер.
>>189550393Там теперь наверное треть юзеров просто закрыты для анонимусов и для поисковиков.>>189549820https://vk.com/id49341685 0.39https://vk.com/id205519751 0.39https://vk.com/id385690214 0.39https://vk.com/id179496187 0.40https://vk.com/id305422927 0.40https://vk.com/id349120487 0.40https://vk.com/id113229090 0.40https://vk.com/id155036212 0.40https://vk.com/id267263678 0.40https://vk.com/id261329153 0.40https://vk.com/id136008405 0.40https://vk.com/id372170618 0.40https://vk.com/id230335706 0.40https://vk.com/id211770667 0.41https://vk.com/id33985726 0.41https://vk.com/id183490207 0.41https://vk.com/id134848891 0.41https://vk.com/id216187375 0.41https://vk.com/id387412409 0.41https://vk.com/id376191616 0.41https://vk.com/id247568412 0.41https://vk.com/id313654327 0.41https://vk.com/id67011928 0.41https://vk.com/id171941000 0.42https://vk.com/id75586273 0.42https://vk.com/id36257316 0.42https://vk.com/id27256109 0.42https://vk.com/id14185437 0.42https://vk.com/id159957786 0.42https://vk.com/id388923024 0.42https://vk.com/id208200603 0.42https://vk.com/id303554311 0.42https://vk.com/id106044992 0.42https://vk.com/id241643385 0.42https://vk.com/id126105784 0.42https://vk.com/id263231010 0.42https://vk.com/id175761462 0.42https://vk.com/id312765514 0.42https://vk.com/id96464264 0.42https://vk.com/id295997312 0.42https://vk.com/id37661282 0.42https://vk.com/id301211275 0.42https://vk.com/id157409822 0.42https://vk.com/id193697197 0.42https://vk.com/id64332392 0.42https://vk.com/id337216777 0.42https://vk.com/id149809301 0.42https://vk.com/id97644016 0.42https://vk.com/id68639075 0.42https://vk.com/id246792340 0.42https://vk.com/id224454385 0.42https://vk.com/id192896608 0.42https://vk.com/id332683599 0.42https://vk.com/id202056422 0.42https://vk.com/id93399167 0.42https://vk.com/id191207728 0.42https://vk.com/id201304804 0.42https://vk.com/id319889961 0.42https://vk.com/id196720135 0.43https://vk.com/id63774938 0.43https://vk.com/id380446552 0.43https://vk.com/id326779655 0.43https://vk.com/id36712619 0.43https://vk.com/id289037628 0.43https://vk.com/id138713727 0.43https://vk.com/id261926263 0.43https://vk.com/id302062045 0.43https://vk.com/id350453546 0.43https://vk.com/id231605659 0.43https://vk.com/id303085599 0.43https://vk.com/id342926787 0.43https://vk.com/id319164512 0.43https://vk.com/id254271047 0.43https://vk.com/id190398200 0.43https://vk.com/id206449627 0.43https://vk.com/id286572967 0.43https://vk.com/id72458890 0.43https://vk.com/id306449119 0.43https://vk.com/id344218498 0.43https://vk.com/id197820919 0.43
>>189549140Вот, правильно. Скооперируйтесь и запилите канал в телеге, я бы с удовольствием почитал о ваших успехах. Или кто-нибудь один какие-то отчёты пишите, очень интересная тема.
>>189550827Всегда же можно логиниться в вк через специально зареганый профиль и ходить через headless браузер, смотреть фотоальбомы.
>>189550889Ну это затратное дело, а там где бабки, там фирменные секреты, особенно в этой теме. Поэтому я бы не стал прям все подробности рассказывать.>>189551001Его быстро заблочат. Проще один раз зайти на этот профиль, создать приложуху с ключом АПИ, и уже дрочить ключ без всяких сессий.>>189548739>>189542507Если интересует сотрудничество/работка, пиши в телегу blkmrkt, или на адрес который на сайте >>189549827.
>>189551625Так у API ограничение на количество обращений в секунду. Ты довольно долго будешь таскать фотки для обработки.
>>189541421 (OP)Чел, который основал FindFace закончил МГУ, тема дипломной работы связана с распознаванием лиц. То, что половина треда обсуждает как скачать картинки с ВК - дело десятое, это все известно. Важен алгоритм. Там серъезная научная составляющая. Плюс они сделали свой поисковый индекс, который меньше чем за секунду ищет среди миллионов фото с очень высокой точностью.Максимум, что сможет рядовой васян, заюзать открытый алгоритм который будет искать долго и плохо. А еще им инвесторы оплачивали сервера.
>>189551833Я не знаю что там по индексу, но когда я юзал фф, у меня поиск 10 мнут шел. Может очередь была. В любом случае можно просто обработку на видеокарту кинуть и поиск будет те же считаные секунды идти
>>189551833Я думал как это реализовать.1) Во первых убираем цветовую составляющую и насыщенность - чем меньше данных тем легче обрабатывать. Остается только яркость, то бишь одна треть веса фотографии.2) Определяем где на фото находится лицо, где у него глаза, нос и т.д. Это, пожалуй самое трудное. Нужно проанализировать как сам человек определяет где лицо а где шкаф, и отталкиваться от этого. Например поиграться с контрастом, чтобы понять с какого момента лицо уже не лицо а нераспознаваемая человеком смесь пятен.3) Когда голова, лицо, и всё причитающееся найдено, вычисляем под каким примерно углом он повернуто, смотри на яркость отблесков света на выпуклостях, и исходя из этого строим примерную объемную модель. То бишь узнаем насколько выпуклы щеки, под каким углом скошен лоб. Записываем эти данные в процентном соотношении.Дальше самое легкое.4) Определяем длину носа, ширину рта, расстояние между глазами и расстояния между всем перечисленным в принципе.5) Возвращаем цвет, чтобы понять какой оттенок кожи и цвет глаз.В результате у нас получается небольшой массив данных в пару килобайт с параметрами лица.6) Просто сравниваем поочередно базу параметров лиц с параметрами загруженного лица, вычисляем по каждому средний процент совпадения (по выпуклостям, по цвету, по расстояниям), и выводим номера аккаунтов с самыми большими процентами первыми.
>>189552196Нет не путаю. Давно есть гпу датабазы для всяких метеоролигечких вычислений и прочей херни. Много времени занимает именно формула подсчета "похожести" лица, а видеокарта в отличии от цпу это как семечки щелкает. В сотни раз быстрее самого топового цпу
>>189552409Алсо - каждый алгоритм долго оттачивать, чтобы в результате получилась работоспособность хотя бы на 70%.Например сначала скачать пару сотен тысяч рандомных фотографий, и прогнать через алгоритм поиска лиц так чтобы он их вырезал из фото и вклеивал в большую картинку-галерею. То бишь человек смотрит на эту картинку и сразу видит где лица а где по ошибке захерачено что-то другое. Так можно за минуту протестить 200-300 снимков.Отмечать участки где ошибочно вместо лиц какая-то херня, и потом пытаться понять почему алгоритм посчитал это за лица, и пофиксить баг.
>>189541421 (OP)>то ли ребята оказались продажными и продалис государству, то ли сама эта система и была разработана государствомДважды нет.Государству эта система не особо нужна по причине наличия полного контроля за тем кто откуда и как выходит в сеть. А вот у чьих-то детишек бомбануло от того что их можно найти и призвать ответить в обход систем контролируемых их папанями.Это из серии запрета на шпионское оборудование.
>>189553019Вообще чет не нахожу, даже в мета-исследованиях никто на них не ссылается. Интересно глянуть чем сам этот чел занимался, до основания компании. В рахе не принято на arXiv выкладывать?
Гуглил кстати про нтечлаб этот. Судя по их описанию они там сами длиб юзали. Я вообще не удивлюсь если так. А потом еще государству за сотни миллионов его продали лол
>>189553240>>189551833Вообще с 2015 много воды утекло в этой теме, мне кажется что челу просто повезло найти инвесторов на закуп/аренду гпу для DL. Даже сейчас точность опенсосных моделей >99%, а у первой их модели она была всего 70% на конкурсе. inb4 черный лебедь>>189553326Подобрали удачный конфиг сетки и прогнали ее на датасете (из того же вк лол), собранном за копейку кровью российских школьников.
>>189542811>либералы начали искать на фф по фото казачьяВот за это ненавижу лебиралов. А ещё за то что они детские сады, школы, больницы закрывают (Делягин говорил вроде)
Да свернули небось из-за нарушения 152-ФЗ о персональных данных. Алгоритм проги имхо априори антиправовой - прога шерстит по фоткам, а это российским законодательством расценивается как обработка персональных данных. Фотки - персональные данные (биометрические). Обработка пдн должна проводится с согласия субъекта пдн (пользователей вк в этом случае) за рядом исключений, в которые работа приложения не вписывается. Скорее всего, поэтому и прикрыли. Ибо согласие-то на обработку как взять? Никак. Это неопределенный круг лиц.
>>189554056Слишком высокий порог вхождения по цене, а так бы я рад. Сначала поиск по вконтакту запущу, если взлетит, то продолжу дальше.>>189554069ФФ работал через оффшорную компанию, им было бы пофиг. Закрылись только потому что инвесторам это не интересно, когда есть жирный рынок B2B.
>>189554069Обработка персональных данных стала доступна не только ФСБ, а любому мимокроку, вот и прикрыли.
>>189553582https://vk.com/id76879169 0.36https://vk.com/id76673760 0.36https://vk.com/id38309964 0.38https://vk.com/id251398831 0.40https://vk.com/id262085766 0.40https://vk.com/id284888467 0.40https://vk.com/id247033096 0.40https://vk.com/id203225348 0.41https://vk.com/id154312266 0.41https://vk.com/id306587226 0.41https://vk.com/id364842335 0.41https://vk.com/id233525649 0.41https://vk.com/id248506342 0.41https://vk.com/id307977734 0.41https://vk.com/id315647810 0.41https://vk.com/id247968006 0.41https://vk.com/id219552756 0.41https://vk.com/id219226039 0.41https://vk.com/id90018892 0.41https://vk.com/id275796854 0.41https://vk.com/id216099617 0.41https://vk.com/id351392088 0.41https://vk.com/id315516231 0.41https://vk.com/id196163075 0.41https://vk.com/id238813831 0.41https://vk.com/id328235807 0.41
>>189554305Хуй знает. У анона база старинная пиздец. Все аккаунты уже в сети давно не были, даже не пишет дату последнего логина
>>189554497У тебя практически иммунитет, но китайцы из Пекина каждый день хуярят публикации, гляди ж законтрибутят чего в опенсос, начнешь и ты определяться.
>>189554056Что то мне подсказывает фейсбук чисто технически не даст тебе фотки скачивать, как вк дает. У пиндосов строго с этим
>>189554605Я бы как нехуй делать все скочял, дайте только денег или кредитов в облаке. Олсо делать это надо пока не прикрыли no-js версию для индусов.
>>189554663Сколько бабла это облако высасывает вообще? На 100млн фотографий например (именно фотографий а не айдишников)
>>189554773Скочять - хуйня, но будешь дебилом хранить это все в облаке. Прогнать их через гпу - 12 мес взносов по ипотеке.
>>189554879Я про прогнать через гпу именно. Сколько у тебя выходило денег? 300 баксов подарочных на сколько хватает?
>>189554916С подарочными баксами ты гпу арендовать не сможешь. Там нужно связываться с гуглом или aws, предоставлять гаранта из банка чтоб дали квоту на гпу.
У финдфэйса похоже был прямой доступ к серверам контакта на которых хранились фотографии, в ином случае приходилось бы посылать запросы на все страницы с и сравнивать загруженную фотографию по каким либо критериям.
Аренда у них стоит 2$ в час. Это 50 в сутки. На рег ру дешевле даже. Взять рег ру, 2500р в сутки, за сутки по моим подсчетам обработается около 15млн фоток. То есть 25к рублей за 150млн фоток и примерно 75к рублей за 350 млн фоток, это будет в среднем по 3 аватарки на каждого пользователя снгПодешевле чем собрать комп на 2х2080ти (но 2 2080ти будут быстрее в полтора раза чем в100 тесла), но если обосрешься, то минус 75к, а на своем железе можно хоть сколько крутить это все
Шаряшие аноны поясните за идею программы: Аналдизировать не сами фотки, а сопровождающие данные на фотках по типу exif файлов.
>>189555480Слишком большие мощности нужны и очень широкий (как твой анус) нужен канал для запросов на сервер через интернет.
>>189555105Последний счет с gce например, чуть овер 1милл руб. Сюда входят аватарки всего вконтакта образца 2016. Нужно было ресурсы на проекты разделять. >>189555409Да, очень выгодно было бы на новых RTX это делать. Сраные криптомайнеры еще шорох с ценами наводят.
>>189555621>Слишком большие мощности нужны и очень широкий (как твой анус) нужен канал для запросов на сервер через интернет.Зачем?
>>189555702Тогда нужно хранить локально данные с контакта, тоже как вариант, но каким образом финдфэйс настолько быстро определял нужную фотку?
>>189555715exif затираются, но мб есть ещё какие данные которые позволят идентифицировать устройство с которого сделана фотка, это бы позволило оптимизировать код.
>>189555893>но каким образом финдфэйс настолько быстро определял нужную фоткуhttps://www.omnisci.com/learn/resources/gpu-database/https://www.kinetica.com/gpu-database/и другие варианты
>>189555650А почему такие вычисления делаются на игровых видюхах, а не на специлизированных, типа Tesla?
>>189555352Дрочую. Но там не нужен постоянный доступ, достаточно разово прогнать все фотки через алгоритм, заебашить дескрипторы ебасосов и загнать как именованные числовые массивы в бд, периодически обновлять базу. Кстати база данных дескрипторов всего кудахта будет весить максимум пару сотен гигабайт. Другое дело что у алгоритма поиска евклидова расстояния слишком высокая погрешность (например детские лица для него все похожи друг на друга) и нужно будет пилить всякие костыли. А вот парсить соцсети это конечно пиздец, не знаю кто этим заниматься будет и главное нахуя.
>>189555982Специализированные особо не отличаются от игровых, кроме лицензии и гарантии. Дело в том что Нвидиа запрещает использование GTX/RTX в датацентрах, и накручивают цену на свои Теслы. У V100/P100 довольно дофига памяти, меня в принципе устраивает. Если заниматься этим постоянно, то имеет смысл крысой купить кучу RTX, и гонять их on-premises. >>189555951Это хуйня ебаная абсолютно не поможет и пока не практична. У тебя даже часть gin этого датасета не поместится в память видяхи. Это для всяких протеиновых вычислений разрабатывается.>>189556182Поэтому я все фотки сначала скочял, чтоб позже можно было правильно выдрать детей и азиатов.
>>189556466>Это хуйня ебаная абсолютно не поможет и пока не практична. У тебя даже часть gin этого датасета не поместится в память видяхи. Это для всяких протеиновых вычислений разрабатывается.А зачем ей в память видяхи помещаться? Частями прогонится. Если ты из 400млн фоток сделаешь выборку по полу, возрасту (в дипазоне 15 лет даже) и стране, то объем уже упадет до 70 млн примерно, а это около 50 гб данных, за 5 раз видюха схавает, всё в ссд упрется
>>189556583Ты путаешь faceted search, для которого это самый раз (Algolia как раз этим уже пользуется в продакшне), с knn search для многомерных данных.
>>189556707Вкратце, knn проблема уже несколько лет как давно решена и реализована во всех крупных двигах
Вот еще если кому интересно, обещают на днях релизнуть сорц крутой публикации по генерации реалистичных лиц.https://docs.google.com/document/d/1SDbnM1nxLZNuwD8fQkIigUve_SlihgoCmvjN3e388Us/edit
>>189556905https://vk.com/id236803558 0.37https://vk.com/id338736422 0.38https://vk.com/id114235881 0.39https://vk.com/id116001208 0.39https://vk.com/id373661378 0.39https://vk.com/id361374373 0.40https://vk.com/id224467150 0.40https://vk.com/id159506075 0.40https://vk.com/id357280116 0.40https://vk.com/id193179240 0.40https://vk.com/id136431078 0.40https://vk.com/id340957825 0.40https://vk.com/id350636406 0.40https://vk.com/id375873938 0.40https://vk.com/id172362256 0.40https://vk.com/id238590002 0.40https://vk.com/id380045250 0.40https://vk.com/id189231529 0.41https://vk.com/id311555849 0.41https://vk.com/id288421684 0.41https://vk.com/id144327261 0.41https://vk.com/id194844729 0.41https://vk.com/id362847421 0.41https://vk.com/id260932026 0.41https://vk.com/id182857463 0.41https://vk.com/id322454372 0.41https://vk.com/id100931777 0.41https://vk.com/id310228027 0.41https://vk.com/id159473287 0.41https://vk.com/id309877390 0.41https://vk.com/id180907713 0.41https://vk.com/id189904602 0.41https://vk.com/id199571391 0.41https://vk.com/id202539312 0.41https://vk.com/id348908321 0.41https://vk.com/id14132658 0.41
>>189557899>>189557579Вообще когда запущу, с интерфейсом будет намного проще. Опытным путем выяснил, что если человек был просканен, то лицо всегда будет в первых 200 фотках. Отбирать визуально намного удобнее по фото, плюс когда еще видны имя и город.
По-моему у ребят из findface был доступ к БД фоток. Если есть БД, то по-моему нет ничего сложного в реализации похожей программы. Алгоритмы обработки лиц есть в открытом доступе, а массив из обработанных фоток исчисляется сотнями гигабайт. Может у них и был какой-то хитрый алгоритм сравнения, который сокращал время поиска, но не думаю что это принципиальный момент. В любом случае, выкачивать базу фоток с ограничением 3 запроса в секунду (или сколько там могут позволить? 20?) это задача не на один год. Можно распараллелить конечно на разные прокси, но всё равно геморно.
>>189559658>выкачивать базу фоток с ограничением 3 запроса в секунду (или сколько там могут позволить? 20?Сколько угодно. На фотки нет ограничения
>>189545985> по факту только 300 из-за длинны запросаХех, нет. Надо делать метод POST, а не гет и параметры в data (в теле, а не в урле) передавать
