2 месяца назад OpenAI выпустила нейронку DALL-E которая может генерировать изображения по текстовому описанию без обучения (на этот счет они немного напиздели), а пару недель назад выложила код в открытый доступ.
в оп-посте нет примеров так как я только что дописал код и ебал ждать 4 часа
Сап двощ, на связи аутист интересующийся нейросетями а ещё я иногда создаю мгновенно тонущие треды про апскейл маняме вайфой, да.
И я ебанулся, на тыртубах пара видео где тыкают пресгенерированные демки с офф сайта, два видео от самих открытых интеллектуальных и пара лекций которые один в один повторяют текст с архивикса. Гугл тоже практически не дал того как запускать её, о ней как будто после тех новостей с января забыли. В общем в обсуждении в офф репе гитхаба один чел выложил ссылку на google colab со своим кодом и я без его разрешения ясен хуй переделал его в дващеедитион со стонами каждую интерацию это не шутка, переводом и фиксами. Неработающие и устаревшие библиотеки тоже пофикшены. Немного о google colab - если вкратце, то это серверник с теслой на борту, который гугл позволяет абсолютно бесплатно использовать в сессии но не более 12 часов подряд. Да они наложили ограничения, количество перезапусков среды ограничено, на диск квота, если окно браузера неакативно сессия может закрыться, но в целом этого хватит.
Что это даст двощерам? можно генерировать цп по текстовому описанию Можно генерировать любую хуйню что взбредет тебе в голову. Гандам который бьется с карлсоном на сардельках? Пикачу играющий на пиано? Аниме тян которая скачет на токийской башне? Синдзи делающий мужской поступок? Here we start. Сразу предупреждение, НИ В КОЕМ БЛЯТЬ СЛУЧАЕ НЕ СМОТРЕТЬ В ТРЕТИЙ СНИЗУ ПИК ВО ВРЕМЯ ГЕНЕРАЦИИ, ЛЮБОЙ НЕДОДЕЛАННЫЙ ПИК ОТТУДА ЗАПОЩЕННЫЙ ИТТ НЕ ЯВЛЯЕТСЯ ПРУФОМ ОБОСРАМСА, ТВЕРДО И ЧЕТКО [b]ПОВТОРЯЮ, ВСЕМ КТО НЕ ХОЧЕТ ВИДЕТЬ ГУРЯТИНУ, КОПРОМОЧУ И ГОЛОВЫ СВИНЕЙ ВМЕСТО СОСКА - ЖДАТЬ МИНИМУМ ЧАС ПОСЛЕ СТАРТА[/b] Вас предупредили.
В колабе есть гайд но один гайд хорошо а два лучше.
0. Выключаешь звук, нажимаешь Файл - сохранить копию на диск. 1. Переходишь по ссылке в ОП-посте. 2. Логинишься в гуглоакк. Да все мы знаем что они сливают твои данные и всем насрать. На ведрах можно печатать одноразовые гуглоакки без привязки к номеру. 3. Не читая ставишь свою фразу в ячейку с кодом. 4. Жмешь кнопку среда выполнения и кликаешь выполнить все. 5. Ждешь +-4 часа и возвращаешься. 6.??? 7. Профит!
Весь код можете спокойно изменять, мне насрать. Будет даже хорошо если сюда не выложат интерпретации других репрзиториев или другие версии кодов.
А теперь немного слов от себя. - Во первых да. В начале вместо няшечки писечки будет кучка говна а затем кучка гурятины. Однако алгоритм тренируется на ебамашине и делает лучше и лучше. - Во вторых контент уровня нсвф+ лучше не генерировать. На него уйдет значительно больше времени, он будет более всрат на первых интерациях и если ты, анон, запилишь нейронкой цп, лавочку могут прикрыть. - В третьих, ячейки можно запускать сколько угодно раз, но перезапускать среду выполнения можно лишь раз 10-20, я точно не помню, после этого гугол скажет - жди день сучка. - В четвертых чтобы сменить фразу по которой он будет генерировать нужно приостановить ячейку, затем изменить фразу в первой ячейке, и снова запустить третью снизу ячейку. - и последнее, в пятых, все палки в опенаи, илона маска и того кто писал оригинальный код, я просто проходил мимо.
Так же есть версия запустить локально, скорость будет значительно меньше, но сессия будет неограничена и весь прогресс не будет пропадать после остановки есть ньюансы, но в целом это так. Возможно напишу мини гайд, хотя все кто захочет запустить это локально сейчас либо майнят битки либо сами знают как это сделать.
И на всякий случай. Почему я не выпиздовал в /хв и другие разделы (я не ебу какие ещё есть)? Потому что я хочу срать в свободном разделе. А ещё тематика мертва.
Какова цель треда? Сделать так много швайнокарасевых пиков как только можно. Больше людей - больше креативности и больше гуглоакков, тем больше одновременно генерирующихся лулзов.
Там нет вишмастера? Это блять виртуальная машина в облаке. Единственное что я мог бы сделать - запросить твой ключ от диска для получения которого нужно поебаться и подключиться к диску гугла чтобы это выложить куда нибудь или стереть. Разумеется, я этого не делал.
А сделаешь цп с лолькой? Товарищ майор, о чем вы? Мы обсуждаем корявый алгоритм пендосов который делает картинку по слову. Как вам не стыдно вклинивать пошлость в наш на самом деле нихуя не наш но и хуй с ним коллективный научный труд?
Почему получается такая ебота? Потому что опенаи немного напиздели и нужна тренировка локальной модели. Жди и будет тебе пик. Ещё заметил что чем длиннее и точнее фраза тем больше времени нужно, и тем больше отдельных деталей будет парить на переферии пика.
Ты долбаеб? Ты понимаешь какая хуйня в коде, он выполняется через жопу, он стонет и он полное говно? Да. Перепили его сделав лучше, моя задача принести и немного побампать тред, но я не более чем анон.
Зачем такой большой оп-пост? меня немного занесло, извиняюсь.
Алсо третий пик - результат часа по фразе "анон сидит на стуле и пишет код на компе". Да, выглядит как говно но все слова можно увидеть: очертания анона - в школьной форме, нейронка знает все про тебя, клавиатуру, монитор и наконец очертания кода - да они не на том месте, но всем насрать.
>>242757660 (OP) >Алсо третий пик - результат часа по фразе "анон сидит на стуле и пишет код на компе". Да, выглядит как говно но все слова можно увидеть: очертания анона - в школьной форме Скорее похоже на картинку - как выглядят окружающие вещи при инсульте.
>>242758225 Если честно 4 часа - приблизительное время. Ясен хуй разрабы напиздели и несколько часов крутили нейронку на суперкомпе чтобы он выдал пики с их сайта. Хотя то что будет через 4 часа точно будет лучше чем то что она генерирует в начале.
/usr/local/lib/python3.7/dist-packages/torch/nn/functional.py:3455: UserWarning: Default upsampling behavior when mode=bilinear is changed to align_corners=False since 0.4.0. Please specify align_corners=True if the old behavior is desired. See the documentation of nn.Upsample for details. "See the documentation of nn.Upsample for details.".format(mode)
##########################################################, время начала WARNING:root:Lossy conversion from float32 to uint8. Range [0, 1]. Convert image to uint8 prior to saving to suppress this warning. [0, tensor([-1.9609], device='cuda:0', dtype=torch.float16, grad_fn=<MulBackward0>)] (loss) 0 Сейчас 7 часов, 50 минут, 17 секунд или секунды, 220353 членов в твоей заднице, мастер.
--------------------------------------------------------------------------- MessageError Traceback (most recent call last) <ipython-input-10-e8cb80fde70f> in <module>() 298 if itt % 5 == 0: 299 clear_output(wait=True) --> 300 train(itt) 301 itt+=1 302 else:
3 frames /usr/local/lib/python3.7/dist-packages/google/colab/_message.py in read_reply_from_input(message_id, timeout_sec) 104 reply.get('colab_msg_id') == message_id): 105 if 'error' in reply: --> 106 raise MessageError(reply['error']) 107 return reply.get('data', None) 108
MessageError: NotAllowedError: The request is not allowed by the user agent or the platform in the current context, possibly because the user denied permission.
Короче, я нажал все что можно, ждём пока эта ебатория превратится во что-то вменяемое? Оп, а ты точно не хакер? Вдруг что-то у меня в телефоне сломается...
>>242759286 Попробуй скопировать это на свой диск через файл - создать копию на диске. Ну или отключи очистку, я не ебу как она работает и в теории она должна чистить каждое пятое но на практике чистит каждое.
>>242759346 Сломается только если запустить без очистки, да и то через 12 часов когда в этой вкладке будет около дохуялиона пиков. И сломается только вкладка. Ну и я слишком туп для того чтобы что то специально ломать.
А, хотя на счет примеров пизжу, вот они https://openai.com/blog/dall-e/ Но как я и говорил и хую ясно что их генерировали овердохуя и на суперкомпе азур майков.
Ну, хз, ОП. Ждать 4 часа и быть бесплатной макакой тестировщиком для Маска - всё это для того, чтобы получить цветную вариацию теста Роршаха. Кстати, до того как прочитал описание твоей картинке показалось, что на пикче разговорный стрим с Твича. Впечатление сложилось не от фигуры человека, которая еле угадыаается, а скорее от оранжевой полоски для донатов вверху экрана и окон чата по бокам изображения. И как я понял, нейросеть делает не сюжетные картинки, а уоллажи из изображений.
>>242759869 В оп-посте гайд, эта хуйня крайне сырая но если делать самому и локально то получится раз в 12 сложнее. Чего только стоит ручная настройка среды с кудой, питоном и торчем.
>>242757660 (OP) Поясни на пальцах, как оно ваще работает. Она генерит обычными сетями изображения каждого из распознанных во фразе существительных, и потом тупо перебирает каждую комбинацию из остальных слов с этим изображением на сравнение с гуглежом по этой фразе? Или у нее какая-то логика еще есть?
>>242759944 Ну модель которую ты тренишь уничтожается после закрытия машины. И по началу первая нейронка генерит отдельно слова в рандомных местах чтобы вторая сказала "окей, вижу стараешься но переделывай" и она переделывает чтобы получить большую оценку от второй. То есть рано или поздно будет что то вроде того что в офф примерах >>242760031
>>242759727 Да есть, но более двух он не даст. И советую открыть в другом браузере ведь неактивную вкладку он может застопорить.
>>242760066 Я понимаю около половины кода для запуска, я крайне туп.
>>242760038 Ладно распишу: Нейронка далл-е генерит пик для второй, я не помню ее название. Вторая которая может описывать картинки оценивает сгенерированную картинку с фразой и дает оценку. Первая доделывает первую чтобы она выдала лучшую оценку и так по кругу. Думаю очевидно что для минимальной оценки нужны все объекты, для максимальной полное соответствие всей фразы, и первая перебором идет к ней медленно но верно.
>>242760245 Ты так и не пояснил. Если ей дать фразу "быстрый хохол прыгает через французскую булку", она будет пытаться анализировать, что хохол быстрый, или что он прыгает, или тупо будет рисовать хохла и булку пока вторая не одобрит?
>>242760380 Тут все зависит от мощностей и времени, у них еба машина и дохуя времени, в колабе во много раз более слабая машина и 12 часов максимум. Алсо колаб дает использовать тпу гугла который в разы быстрее гпу для нейронок, но с факелом столько еботни что я не осилил запуск на нем. Если тут есть проггер-куны, можете допилить.
>>242760497 Будет рисовать хохла и батон пока вторая не скажет что хохол быстрый а булка французская. Ну и вторая будет подталкивать первую в нужном направлении приговаривая что этот хохол слишком медленный.
>>242760540 Ну, в официальных примерах ясно, что они использовали ёба компьютер, зачем-то отвлекая его от майнинга битков, просчёта мировых котировок и попыток обыграть человека в шахматы.
Ещё заметил что там используется билинейный фильтр на каждом пике, то есть со временем он будет накладываться, но если его отключить то все полетит к хуям Если кто нибудь понимает как и на что его заменить дайте советов (или сразу кусок кода).
>>242761006 Эта делала из уже готовых пикч собак и уток. Вроде была другая, стайл ган если не ошибаюсь и ещё какая то, но там пиздец был намного большим.
>>242758172 Короче профитов нет и ты хочешь чтоб анон бесплатно учил твою хуйню? Такой номер на этом сайте не пройдет, пацан. Знаешь кто я? Ты знаешь, родной? Так аот, я - Абу. Главный прораб этого сайта. Слышал о таком? А теперь плати анонам по 100 рублей на телефон за запуск твоей хуйни. Или пойдешь искать веб-макак в другом месте. Начнем с меня. Фиксируй цифры 89046410666 Спасибо, Абу. Как оформишь вкид - разблокирую доступ.
>>242761163 Или нахуй Абу. То что ты дообучал никуда не идет и уничтожается после выхода. Ну и хуйня не моя а я не я >>242757660 (OP) > - и последнее, в пятых, все палки в опенаи, илона маска и того кто писал оригинальный код, я просто проходил мимо.
>>242761554 Нет и я не ебу как это сделать. Мой уровень это редактировать чужие скрипты и фиксить баги. Если можешь прикрепи, только там может вылезти куда аут оф мемори при остановке и перезапуске.
>>242761760 В первую очередь нейронка генератор делает все объекты в разнобой чтобы получить баллы от второй, скоро пизда на лбу закроется. >>242760245
>>242761910 Не знаю. Пикчу часто с такой надписью публикуют. Может это инсталляция современного копро-художника. Я не проверял. Если интересует тема, то есть видео от TED. Женщина от первого лица рассказывает после десяти лет восстановления https://youtu.be/UyyjU8fzEYU
>>242761686 Пока нейронка явно пытается понять - рисовать ей фотку выдры, фурри рисунок или ебучий фурсьют, глаз и часть головы которого мы видим (пару итераций назад было прям четко понятно)
>>242762161 Я бы не отказался от нормальной рисующей нейросетки, пусть и криво. Закидываешь описание, получаешь сотню говнокартинок и выбираешь одну попизже, потом ее дорисовываешь и продаешь фурридрочерам.
>>242762259 Если знаешь вышмат и питоний то написать свою нейронку раз плюнуть. А на нейронки урлвня гпт3 и далл-е нужно не столько писать код (хотя в одиночку ты хуй продумаешь все и сделаешь чтобы оно работало) но и обучать.
Ну и я предупреждал в оп-посте, но предупрежу снова, нфсв+ лучше не задавать. Будет крипота и нужно будет балансировать между скажи достаточно информации и не скажи слишком много чтобы это не заняло дохуялион лет.
>>242762402 А если написать нейронку, которая должна облачка с фразами у манги находить? Это возможно или обучение намного дольше происходит, чем я представляю? Просто сидит в голове эта идея уже месяца 2.
>>242762161 Через n десятков лет, после тяжёлой смены на фронтедостроительном заводе, будешь садиться перед монитором с тазиком био-корма из кибер-пятёрочки, и голосовым вводом запрашивать себе развлекалово на вечер. Например жаркие дебаты Соловьёва и Вдудя на тему личных гаремов с двенадцатилетними мальчиками. Или олимпийские игры по поеданию говна. И конечно же секс канал на военно-патриотическую тематику - ФУРРИ24. Медиашуты и кинофабрики больше не нужны. Всё заменит равнодушная нейросеть.
>>242762402 >Если знаешь вышмат и питоний то написать свою нейронку раз плюнуть. Макака, ты не нейронку пишешь, а играешься в конструктор, который был написан умными людьми. Ничтожество свои помойные скрипты считает написанием нейронки, бля
>>242762603 Такая уже есть, ну и для обучения нужен будет датасет с облачками и закрашенными облачками, можно придумать как нибудь иначе но суть думаю понял >>242762668
. На счет обучения хз но думаю около месяца на видеокарте уровня 1080.
>>242762675 >секс канал на военно-патриотическую тематику - ФУРРИ24 Сцук, проиграл Но вообще - то же оняме и хентай нейросетке по идее не так ужи сложно будет генерить. Тон и тембр голосов дохуя одинаковый, цвета плоские, рисовка относительно схожая, тренировачная база огромная.
Я естественно не про крутые одиночные известные тайтлы, а про все то количество рядового, даже не переводимого аниме-проходняка, что постоянно выходит.
>>242762868 Ну так-то заебись, сохранил в закладки, спасибо. Правда я говорил о сетке генерящей фурика полностью, чтобы выбрать динамичную позу, но даже так можно что-то изобразить.
>>242762858 Третья это которая? та в которой пишется фраза или следующая за ней? кажется нейросеть пытается сказать что пукин и коклы как-то связаны, а еще, судя по мериканскому флагу над пятачком, там замешан госдэп
>>242757660 (OP) Чёт ты хуйню какую-то принес. По ссылке они генерируют простые изображения: https://openai.com/blog/dall-e/ Буквально 1-2 предмета (стул в виде авакадо, стена, пол). У вас же куча деталей. Не удивительно, что оно будет часами работать с такой детализацией.
>>242762267 Бля, я свернул вкладку, но не закрывал. Оно отрубило подключение и при попытке переконнектиться, пошло заново. Ты хочешь сказать, что эту пежню надо в открытой вкладке держать все 8 часов, не гася экран?!
>>242763809 Там в датасете мебель онли и ничего другого она не нагенерит. А тренировать на своем - долго, и нужен свой датасет с 3дэ модельками и подписями.
>>242764103 Сервер-то их. Но кто-то же должен делать запросы на рисование больших чёрных членов, а потом выражаться своё:"ряяя! Не похоже! Недостаточно чёрные!" в качестве оценки результата. Почти как "найдите все изображения гидрантов"
>>242764103 Оп, поясни нешарящему. То есть нейросетка лежит с открытыми исходниками, а код изменяется по мере обучения на серваке, и на выходе получаются измененный "обученный" код программы, который также в опенсорс?
>>242764401 Во первых эта нейронка идет в паре с другой которая как раз таки и оценивает, а во вторых что по твоему мешает гуглу самому делать запросы? И к слову, нейронка не гугла а илона маска.
>>242764441 Если бы. На деле код не меняется, обычно нейронки обучаясь записывают свои выселения в файл, обычно с расширением .pkl. А у этой я сам понял лишь половину.
>>242764458 Нейронка считает что вторая дает слишком низкую оценку ге из за того что нагенерировано говно а из за фона. В теории после выбеливания у нее не будет такой отмазки и она будет сконцентрирована на качестве.
>>242764642 Почитай мат. часть не еби нам мозги, очевидно же что она будет менее эффективнее. Вся суть в количестве итераций и влияние нейросеток друг на друга.
Алсо этот блокнот можно скачать как файл и установив для питона jupyter notebook запускать локально без ограничений по времени. Но это медленно и на 100% нагрузит видеокарту как майнинг.
>>242765148 смарити я написал кооод, уиии, ну пасмариииити я умею польоваться апи. свинорылый хрюкаинец, убери себя с моей борды, а галку можешь не трогать
>>242765244 >Танцульки тред Так это же охуенно! Танцульки времен квая и лайки, когда 12летние девочки танцевали эх... В нынешнем тиктоке совсем другой контент, все на бонбижируху дрочат
>>242765263 >>242765244 Блять, я нихуя не понимаю о чем ты срешь. Разработчик не я, я просто переписал, пофиксил и упростил код одного чела который написал код который запускает код написанный компанией Илона Маска. К двощю эта нейронка не имеет никакого отношения.
>>242765451 Успокойтесь, молодой человек, мы просто два разных анона, перешучивающихся между собой. Тред не обязательно должен крутиться вокруг одного тебя и твоей темы. Оправдания излишни.
>>242765887 >Вынести нейронку от OpenAI в оранжевые массы. Так она же кал какой-то генерит, как и все прочие нейронки, смысл сидеть ждать 4 часа, чтобы рандомный кал получить, смысл тред создавать, чтобы это пропиарить. Я не понимаю.
>>242766309 Какое то время тыкал но даже стащив 90% кода у меня слишком слабая видеокарта и особо ничего не получилось хотя на самом деле я не смог заставить питон принять китайскиий язык, а те кто смогли не смогли написать остальной код.
Треду уже больше четырёх часов, а в результатах только одна залупа. Это был самый хитрый помайнить на моей видюхе, показывая картинки с мазнёй без сисек.
ОП, пока ты тут - посоветуй с чего начать изучения нейросетей ньюфагу? Что-то тут сильно программированием попахивает, а я абсолютный ноль в этом деле. Но, крайне интересно! Заранее желаю Добра тебе и всем в этом ИТТ треде.
>>242768150 Начни со статей на хабаре и базового питона. Программирования конечно много но в целом первое время можно брать чужие нейронки и тыкать их код, со временем поймешь как решить ошибки и немного структуру питона.
>>242762161 А вот и пидораха с практическим применением подъехала. Наверняка такие же крутились вокруг всяких Евклидов и Пироговов и так же говорили "а в чем польза вашей заумной математики???0? Складывать умеем да и хуй с остальным))))"
>>242769831 Какой? Могу прикрутить прогресс бар но он лишь будет говорить что большое число из того что написано выполнено, осталось дохуя. Информации он особо не даст.
>>242770036 Все сбросится. Возможно. Можно обновить в другой вкладке, скопировать изменения в ячейку, остановить ячейку и запустить. Тогда продолжится.
>>242770729 Да это понятно, просто странные форматы изображения какие-то. Кстати, я так понял в кеш идут все семплы, как достать? Ссылки рандомизированные чет. >>242770757 Орошо, принял.
Так у меня охуенная идея. А если все сначала забелить а потом пусть доделывает на белом фоне. Судя по всему 0.3 скорости обучения для старта слишком много к слову, а 0.15 при умножении на 0.99995 скоро станет миоипиздрическим и отличий между интерациями не будет.
>>242771258 Сейчас я вместо увеличения lr его уменьшаю. Большой lr - крайне низкое качество, высокая креативность и крашы. Низкий - качество увеличивается, разница малая. Изначально код увеличивал его.
А можно в вывод захреначить и оценку от дискриминатора?
И нельзя ли запихать дату начала генерации в переменную date_start, а потом вычитать её из ныняшней? Т.о. будет информация о том сколько идёт генерация.
>>242757660 (OP) В статье по DALL-E кроме рисования с нуля есть модификация вводной картинки. Сделай лучше это, чтобы можно было боевых свиней слегка править, а не сидеть смотреть на полную хуйню часами.
>>242771927 Я там нихера не понял, а код который это запустит для меня слишком долго писать. Тем более сомневаюсь что он будет работать так как буду писать его я.
#Если выдает ошибку CUDA out of memory то вместо перезапуска запускаешь эту ячейку и пишешь PID из вывода #Это сломает среду но гугл вроде не против !sudo fuser -v /dev/nvidia* !sudo kill -9 444 куда пишешь пид из вывода??
>>242757660 (OP) Это очень интересно конечно, но это не тоже самое, что выдает Алиса яндексовая по запросу "нарисуй всякое говно"? Но там, судя по всему, выдает, как ты говоришь, "первую итерацию" картинки, потому что там полная размазня, напоминающая запрос только цветами и иногда силуэтами.
Оп, сделай так, чтобы оно дольше, пусть даже намного дольше генерило, но при этом чтобы качественнее работало. А то толку, оно за 5-10 сэмплов 90% сути картинки отрисовывает, а потом просто редачит это, больше ничего не делает.
Что то в голос с треда, и они еще что то рассказывают про нейросетки, вся суть, нейросеть ищет пикчи по запросу в гугле и сливает воедино без логики и смысла. Похоже на удаленное администрирование под баклофеном.
>>242773913 Я бы мог сделать это за пару недель кое как, но гугл колаб для этих целей не подойдет. Придется арендовать впску с видеокартой за свои кровные и изучать жаву, так что я этим заниматься не буду.
>>242774407 Вполне возможно что где то проеб. Хотя в теории все должно работать. Попробуй найти в коде что то типо g['lr'] >= 0.9 с помощью контрл ф и замени 0.9 на число побольше.
Так, вся проблема в lr, нужно подобрать скорость изменения и максимальное количество которое не дает белезну. Сейчас по идее все должно работать и изменяться, кто может - редактируйте в цикле с "g['lr'] =" значения в большую сторону и отпишите на каких белизна, так можно будет быстрее пофиксить.