Очередной тред про хипстерские технологии, которые не работают.Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаВ чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examplesГде набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/Где работать? https://www.indeed.com/q-deep-learning-jobs.htmlГде узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихсяГде посмотреть последние статьи? http://www.arxiv-sanity.com/Где ещё можно поговорить про анализ данных? http://ods.ai/Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.Список дедовских книг для серьёзных людей:Trevor Hastie et al. "The Elements of Statistical Learning"Vladimir N. Vapnik "The Nature of Statistical Learning Theory"Christopher M. Bishop "Pattern Recognition and Machine Learning"Взять можно тут: http://libgen.io/Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.Предыдущий:https://2ch.hk/pr/res/1473408.htmlАрхивач:http://arhivach.ng/thread/412868/Остальные в предыдущих тредахТам же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Я далек от этой темы, но слышал, что в нейросетях используют производные для нахождения минимума ошибки. И приводятся графики процента ошибки от веса нейрона. Но это же не математический график. Как можно получить формулу этого графика чтобы взять производную
>>1492677>Но это же не математический график. Почему? Нейронки - дифференцируемые функции по любой переменной. Производные находятся по правилам матана.Зайди на http://www.matrixcalculus.org/ и забей туда norm2(y - tanh(W2tanh(W1x))) - это двуслойный (или сколько там) перцептрон с функцией активации tanh и евклидовой нормой как функцией ошибки. В дифференцирование сверток, к сожалению, этот сайт не может, так же как и в другие функции активации. Но в это делается точно так же внутри tensorflow (ну, почти, потому что вместо текстового представления формул там вычислительный граф, к которому удобнее применять правила дифференцирования)
>>1492664 (OP)Нашёл вакансию вида "Аналитик данных".Правильно ли я понимаю, что после работы на такой должности проще будет перекатиться в Data Science?Работа вроде не пыльная и даже интересная: нужно будет использовать гугл аналитикс, power bi и тп для анализа посещаемости и конверсии сайтов. На интервью сказали, что иногда можно будет на питоне писать какую-то логику для анализа.мимо-веб-мастер
>>1492859Ещё один вкатывальщик. Выкатывайся обратно, ты не сделаешь ничего такого, что уже сейчас не сделает automl. Просто твои потенциальные работодатели про него ещё не слышали.
>>1492872лол, если эта хуйня решает рыночек, то тогда и буду её изучать - мне-то без разницы во что вкатываться (и да, даже такая "простая" вещь требует подготовки, рандомный васян с улицы не сможет её заюзать)
>>1492880>>1492882это шиз местный, забей, а почемусразу не в дс на вакансии джуна? требования вроде невысокие?
>>1492880>мне-то без разницы во что вкатыватьсяТебе без разницы, а мозг с возрастом теряет способность к вкатыванию.
>>1492664 (OP)Подскажите проверенный МЛ фреймворк для JS. Чтобы были разные модели, relu, glorot и прочая поебень
>>1493108Не знаю, я только вкатываюсь. Вот например что нашёл, кто-нибудь уже пользовался? http://caza.la/synaptic/ Или это хуйня ебаная?
>>1492859ну, что скажете, стои ли? или лучше вместо такой работы время посвятить курсам с курсеры по машобу?мимо-веб-макака
>>1493113>http://caza.la/synaptic/Отписываюсь по результатам аудита этой хуеты. Есть 4 архитектуры на выбор (Perceptron, long short-term memory, Liquid State Machines, Hopfield), довольно удобное API. Может это говно и можно как-то присобачить для продвинутой классификации, но я пока не сильно в этом разбираюсь
Пытаюсь вкатиться в торговлю на финансовых/крипторынках, а для этого в машоб (типа хобби получается). Короче в принципе получаю результаты, приемлимые для торговли (например можно предсказать на основе последних ~150 минут 10-100 раз в день (при достаточно низком uncertainity сетки) направление движения на следующие 20 минут с вероятностью ~66 процентов (количественные предсказания изменения цены, а не только направление, пока не отладил). В общем я не ебу пока что, что с этими "сигналами" делать, пытался ебнуть RL-агента, но он жестко фейлит (дебильное поведение без коммисии в симуляции торговли, андерфит с комиссией). Ну это все не важно, хотел спросить, есть ли у кого-то реальный опыт торговли, что вообще нужно то кроме того чтоб получить собственно сигнал на рост или падение, как предсказать возврат с вклада, риск и тд, короче что прочитать на эту тему (желательно не книгу)
>>1492859Есть кто ответит на этот вопрос, стоит ли вкатываться через эту должность или это будет зря?мимо-манки-кодер
>>1493394Аналитик данных разве как-то связан с МЛ? Мне казалось эти люди фильтруют данные питоном и на основе них делают выводы. Не бейте, лучше расскажите где я не прав
>>1493435Это начальное звено в сфере data science. Кто-то же должен данные собирать и фильтровать для МЛ.
>>1493450> Кто-то же должен данные собирать и фильтровать для МЛ.Для начала, это должен быть специалист в предметной области, к которой относится датасет. А не вкатывающаяся мартышка. Много ты соберёшь и отфильтруешь чего-либо для нужд молекулярной биологии например? Ты даже толком не знаешь, есть ли физический смысл у такой фильтрации или это приведет к бесполезности полученных данных. Можно ли масштабировать такие данные и если да, то как и почему. И так далее. Для всего этого нахуй не нужон специально обученный инфоцыганами зумер.
>>1493394А туда куда ты вкатываешься будет отдел с датасаенсом? Если да, можешь хоть уборщицей вкатываться, горизонтальные движения когда ты уже устроился в разы проще.
>>1493179>convnet-jsЧекнул, выглядит куда лучше этой >>1493132. Нет привязки к какой-либо архитектуре, сетка создаётся из кирпичиков и более завязана на математическую терминологию. Примеры там покруче, есть даже какая-то классификация того, что изображено на картинке. Можно сказать, что convnet для более продвинутых, а synaptic для новичков
>>1493859Добавлю, что convnet уже из коробки можно натренировать на поиск ебучих светофоров в гуглокапче
>>1493845> фичур инженеринг.Фичур инженегр закукарекал, лол. Что ты, зумер, там наинженеришь лучше методов автоматической экстракции фич, либо лучше специалиста в предметной области? Конкретный пример - heart rate variability, найди там фичи лучше стандартных.
>>1492664 (OP)Здрасть, есть вопросГде можно на среднем уровне (без неебически сложной математики) понять какие сейчас есть нейронные сети, как и где их использовать, как они вообще работают. Мне бы такой faq для человека, который мало с темой знаком
>>1493983Спасибо за хороший ответ, счастья вам здоровья и хорошего дня :)сука, дайте хороший и полный faq по нейроночкам
>>1492664 (OP)Эй, петуханы, тамПутин подписал стратегию развития искусственного интеллекта в России с основными понятиями и задачамиhttps://vc.ru/future/87611-putin-podpisal-strategiyu-razvitiya-iskusstvennogo-intellekta-v-rossii-s-osnovnymi-ponyatiyami-i-zadachamiПилите свои петпроекты, скоро будут раздавать гранты.
>>1493548как раз-таки да, я спец. по фронт-енду и в вакансии чётко указано, что нужно будет собирать данные со счётчиков, уметь их настраивать по-разному на разные эвенты и тдмимо-заебал-фронтенд
>>1492664 (OP)Я хуею с этих смузихлебов, В.В. Путин выделят деньги, есть Сколково с грантами, бери и пили йобы, нет же, распозаняют котиков и анимупездоглазов, тьфу на вас.
кстати, помониторил вакансии и немножко в ахуе:наши работодатели требуют математическую вышку (что по-идее логично)их работодатели - computer scienceЧто за прикол?
>>1494288это в дата-саенс компании и дата-саенс отделы банков, их отнюдь не мало и тема набирает обороты
>>1494306Cейчас на такие профессии 100% обязательна вышка? Если я перекачусь из другого направления без вышки - у меня есть шансы?
>>1494350>у меня есть шансы?Конечно, не обязательно учить 5 лет математику чтобы говорить Свободная касса
>>1494393>С этим в воскресный вечер к соловьевуВсегда его смотрю, ловко он там либерашек и хохлов хуесосит
>>1494149> Путин подписал стратегию развития искусственного интеллекта в РоссииБихдата, диплернинх, эджяйл? Какой смысл, если все авторы и алгоритмы пиндосские? В Блинолопатии максимум этим кто-то пользоваться умеет, даже каких-то своих идей строго 0. Этот тред как вариант. Пусть хоть кто-то назовет пример использования машобчика вне того, что уже сделано. Я как минимум 2 идеи озвучивал, чего не делал никто и никогда. >>1494403> Всегда его смотрю, ловко он там либерашек и хохлов хуесоситВсегда подозревал, что местные отбросы - аудитория вечернего мудозвона. Как раз ваш уровень.
>>1494447>Пусть хоть кто-то назовет пример использования машобчика вне того, что уже сделаноА что сделано, напомни?>>1494447>Как раз ваш уровень.Ты хохол или хохол? Соловьев доставляет, в отличии от твоей любимой Малышевой.
>>1494460> А что сделано, напомни?Что ты тут забыл, ватник, если не можешь назвать ни одного применения машоба? > Ты хохол или хохол?Ещё и хохлозависимый. Поди и в боженьку веруешь?
>>1494463>Поди и в боженьку веруешь?Верую>>не можешь назвать ни одного применения машоба?Не могу, а ты можешь?
>>1493971Это все-таки не "средний уровень", а просто фит/предикт , но на большом количестве примеров, с объяснением на пальцах и с актуальными методами
>>1494467Ты либо правда долбаеб, либо пытаешься троллить тупостью. В обоих случаях тебе лучше идти дальше смотреть мудозвона, что ты в этом треде потерял, тут одни хохлы.
>>1495427А что за жанр игры? В каком-нибудь serious sam тактика "бежать на главного героя" у врагов неплохо смотрится.
Ебать вы тут дегроды, хоспаде. В чем смысл закукарекивать любой мой тезис, чтобы потом самим утверждать ровно то же самое? Как называется эта болезнь?>>1495380> Математическая статистика на максималках. Разновидности EM, то есть. Но я никогда об этом не упоминал, а тут никогда не кукарекали против, разумеется. >>1495424> на if-else'ахНе нечеткая логика, нет, это другое.
>>1495424>на if-else'ахКстати возник теоретический вопрос. Допустим, есть у меня кусок кода с очень сложной логикой, с тысячей условий. Например, вычисляем потенциального покупателя новой фичи в подробной базе абонентов. Могу ли я выкинуть этот кусок, и вместо него натренировать и запилить сетку?
>>1495607>Например, вычисляем потенциального покупателя новой фичи в подробной базе абонентова разве это делается на иф элсе? это же для кнн задача
>>1495622Тебе зачем это надо если даже лень гуглить? Хочешь автоматическую модерацию? Поставь запрет на спамслова тогда. Машоб тебе тут не поможет вообще никак.
>>1495622>Гуглить это проблематичнода, куны не нужны лолk-nearest neighbors, несложный алгоритм который часто применятся для предсказания рынка
>>1495623>Хочешь автоматическую модерацию?С чего ты взял? Я просто наконец нашёл практическое применение ml для себя. Порашный бот и на регексах неплохо окукливает хохлолябурах в манямирке, там логика простейшая
>Using KNN and SVM Based One-Class Classifier for Detecting Online Radicalization on Twitterhttps://link.springer.com/chapter/10.1007%2F978-3-319-14977-6_47научная статья епта
https://www.reddit.com/r/MachineLearning/comments/dh2xfs/d_siraj_has_a_new_paper_the_neural_qubit_its/Индусы просто копипастят чужие статьи, заменяют "we" на "I", а потом собирают бабло за курсы с людей, желающих вкатиться в ML. А вы все ещё не зарабатываете на нейронках. Какие у вас оправдания?
Почему даже гуглу требуется миллионы макак, которые должны разгадывать капчу? Неужели так сложно сделать нормальное распознавание?
>>1495643Я и говорю. Тема упорно скатывается в инфоцыганство и тусовочку для зумеров без мозгов. Закон Мерфи во всей красе, "создай что-то, во что сможет каждый дебил, и только дебилы будут этим пользоваться". Раньше машобом занимались академики, теперь в массе своей всякий зумер-скам. Нужны качественно новые решения, которые отсеют всю эту паразитирующую на годной теме соевую перхоть, например дальнейшее развитие сервисов типа automl.
К стати в этом чатике кто-то сильно хотел, что бы нейронки из картинок в latex переводили. Уже есть готовые решения:https://github.com/untrix/im2latexhttps://github.com/guillaumegenthial/im2latex
>>1495968Как так получается, что у этих кринжеделов точность распознавания 89%? Латех это фиксированный набор абсолютно однозначных символов. Даже на рукописных буквах в каком-нибудь мнисте точность далеко за 90% последние лет 20. Вот это все, на что способны ваши нейроночки, для удовлетворительной скорости работы с которыми нужен кластер дороже моей хаты?
>>1496117Только в смысле, что составной терм может быть сколь угодно сложным и многоэтажным. Элементы все абсолютно однозначны. Да и методы построения сложной формулы тоже, одной формуле соответствует одно выражение на латехе.
Я говорил, что ваш соевый пистон - говно из жопы? Говорил. Смотрите, https://www.opennet.ru/opennews/art.shtml?num=51667> Аспирант гавайского университета обнаружил проблему в Python-скрипте, используемом для вычислений химического сдвига, определяющего химическое строение изучаемого вещества при спектральном анализе сигналов методом ядерного-магнитного резонанса. В ходе верификации результатов исследований одного из своих профессоров аспирант заметил, что при выполнении скрипта в разных операционных системах над одним и тем же набором данных на выходе получался разный результат.> Например, при запуске в macOS 10.14 и Ubuntu 16.04 для протестированного набора данных скрипт выдавал некорректное значение 172.4 вместо 173.2. Скрипт включает около 1000 строк кода и используется химиками с 2014 года. Изучение кода показало, что вывод неверного значения обусловлен отличиями при сортировке файлов в разных операционных системах. Авторы скрипта полагали, что функция "glob()" всегда возвращает файлы, отcортированные по имени, в то время как в документации на glob указано, что порядок вывода не гарантируется. Исправление свелось к добавлению list_of_files.sort() после вызова glob().> Обнаруженная проблема поставила под сомнение корректность более 100 публикаций по химии, выводы в которых были сделаны на основе вычисленного скриптом химического сдвига.
>>1496187Недостаток в том, что эту хуйню тащат куда только можно, вплоть до точных расчетов. Какая-то индусская мартышка написала на пистоне скрипт, и теперь нужно проверять результаты сотен исследований. Другая мартышка с кукареком на пустой башке из барбишопа завтра напишет на пистоне скрипт для управления реактором, и все, пизда. Для таких задач вообще-то нужно не только языки, но и даже компиляторы только верифицированные использовать. А не игрушечную хуйню для школьников. Вот ты уверен, что нейроночки на пистоне правильно работают? Химики эти тоже были уверены.
>>1496189Это обратная сторона медали доступности технологий, теперь не нужно быть экспертом, чтоб написать скрипт. Темп выше выше - ошибок больше так всегда и во всем же.И если абстрагироваться от питона и химии, в технических вузах,например, используют плюсы для лаб и исследований, думаешь все физики с кафедр поголовно могут в кодинг? Уверен, что там те же самые ошибки в расчетах и отсутствие глубокого понимания синтаксиса, что , впрочем, не предосудительно для не профессионалов
>>1496180Ебать новости, в научных исследованиях бывают ошибки. Недавно выяснили, что диаметр протона измерили неправильно и, измерив правильно, закрыли кучу гипотез, а тут 100 сраных статей.>>1496189>Для таких задач вообще-то нужно не только языки, но и даже компиляторы только верифицированные использоватьОпять шизик мечтает о какой-то йобе, избавляющей от ошибок в коде. Ты бы программировать научился для начала, прежде чем пиздеть о каких-то верифицированных комплияторах.
>>1496399Нет, один химик (профессор) скачал индусский скрипт с гитхаба и применил, как до него это сделали более сотни других химиков, начиная с 2014 года. А другой химик (аспирант), проверявший результаты первого заметил, что скрипт даёт разные результаты на глинуксе и маке. Виноваты не химики, а быдлокодер скрипта, ну и сам пистон, неподходящий для таких задач.
>>1496180>Авторы скрипта полагали, что функция "glob()" всегда возвращает файлы, отcортированные по имени, в то время как в документации на glob указано, что порядок вывода не гарантируется. Исправление свелось к добавлению list_of_files.sort() после вызова glob().Ебать, макакены не смогли в документацию, а виноват язык
>>1496410> и сам пистон, неподходящий для таких задачНеподходящий для использывания макаками? Ну может быть.
>>1496410>Виноваты не химики, а быдлокодер скриптаИмя этого индуса Patrick H. Willoughby и он является ученым-химиком, имевшим на момент написания phd.>>1496430Как будто в фортране неотсортированный список файлов директории стал бы отсортированным
>>1496410>Виноваты не химикиЛол, а кто бля? Вговнемоченые в очередной раз показали истинное состояние т.н. науки.
RTX-карты действительно дают огромный прирост в скорости обучения? Кто тестил?https://towardsdatascience.com/rtx-2060-vs-gtx-1080ti-in-deep-learning-gpu-benchmarks-cheapest-rtx-vs-most-expensive-gtx-card-cd47cd9931d2
>>1496773>огромный приростОгромный прирост в скорости при распозновании ничего, покупайте для ничего, лучшиее скоростные карты111
посоветуйте пожалуйста где можно подробно почитать о том как работает autograd в pytorch и собственно вместе с ним и вычислительные графы.
>>1496996другой анонбампану вопросом:Куда воевать для выяснения математического бэкенда в нейросетевых фреймворках?
Какой бюджет под машину закладывать, 150-200к хватит? Или 300к+ нужно?Использовать буду для когла и своих петпроектов.
Нужен датасет, чтобы там было дохуя сущностей и связей между ними, на размер похуй.Нет такого на примете?
>>1498210Константин Вячеславович Воронцов, заведующий лабораторией машинного интеллекта МФТИ, доктор физико-математических наук и Сергей Игоревич Николенко, сотрудник лаборатории математической логики Санкт-Петербургского отделения Математического института РАН, лаборатории интернет-исследований Высшей школы экономики, преподаватель Академического университета РАН.Эталонные говноеды-смузихлебы.
>>1498306Главное видюха, комп можно брать средненький, все равно он утилизироваться на 100% не будет. Нетоповый амуде рыжень в районе 50к (за все, включая корпус) и вставить в него топовый жифорс в районе 60к.Если есть лишние деньги, лучше купить две машины.
>>1498353>все равно он утилизироваться на 100% не будетА кокже шина? Ну типа скорость обмена с диском, памятью и видяхой?мимо
>>1498383У тебя всё крутится на видяхе, а процессор параллельно готовит данные.То есть единственная задача, чтобы генерация данных для следующего прохода на лету процессором была быстрее, чем один проход видюхи. Поэтому утилизировать процессор сложно - сетки толстые.
>>1498391> параллельно готовит данныеСам чтоли? Кокой молодец, он же их должен считывать с винта, а там может быть узкое место
>>1498393Кокой грубиян, хотя впрочем чего ожидать у нейродибила у которого все данный сразу в пиздюху помещаются.
>>1498431> Можешь сначала научишься читать то, что написано?Ты написал, что пиздюха это самое важное, а проц нет, но другой важнейший параметр скорость обмена данных - поддержку контроллеров и пропускную способности шины ты не упомянул.
>>1498434Пока я только упомянул, что бюджета 50К за ПК без видюхи достаточно. Отсутствие SSD в машине это совсем бюджетный вариант уже лет 5 как.Ты захочешь SSD просто потому что ты разработчик, нахуя вообще про это упоминать. Как и то, что в таком бюджете и материнка и память будут обладать приемлемой скоростью.>важнейшийЭто нихуя не так. Подозреваю что ты бездумно пересказываешь какую-то хуйню для геймеров.У меня, например, батч размером 12582912 байт обрабатывается от 50 до 500 мс, в зависимости от сложности сетки. 20-240 мегабайт в секунду - ну так себе цифры, для самых медленной сетки даже HDD справится. Главное - грамотный асинхронный пайплайн без блокировок, чтобы каждый участник процесса занимался своим делом. Но фреймворки в это могут. Современные сетки большие и толстые, и узким местом является видюха.Даже гугловские TPU, работающие как 10 1080Ti, все равно в производительность подвоза данных не упираются.Но это все только сеток касается, естественно, не бустинга.
>>1498467Это порядок цифр у нейронок.Посмотри на картинку. Googlenet работает с картинками 224х224х3, которые хранятся в байтах. В самом крутом случае 4000 картинок в секунду - это 602112000 байт в секунду.Но1. Это древний и легкий googlenet2. Это только форвард пасс. С бэкпропом будет сильно медленнее.Вот и выходит, что если ты не увлекаешься кластерами из GPU, то можешь вставить хорушую видюху в бабушкин ноутбук и это будет работать.
>>1498493>4000 картинок в секундуХета какая то, с такой скорость даже видеодекодеры не работают, а у них задача попроще. >хорушую видюху в бабушкин ноутбукУ меня ноутбук затыкается при серьезных дисковых операциях, например при загрузке торрентов, параллельно сложно что делать, оправдывайся.
>>1498493>В самом крутом случае 4000 картинок в секунду - это 602112000 байт в секунду.Пиздабол, 224х2х3х4000=5.376.000, тебе 5 м/c только на простое чтение твоей залупы
>>1498522>602112000 байтой бля, ты прав, 224х224х3х4000 = 602112000, но это 602 мб/с, только на считывание
У меня почему-то обученная сеть начинает тормозить, когда оператива забивается ее продуктами жизнедеятельности. Видеопамять полностью забита с самого начала. После 100 циклов сеть начинает выдавать результат через 3 минуты, хотя в самом начале на это уходит 5 секунд.
>>1498524С картинками никакой проблемы нет, так как они обычно сжаты JPEG. Проблемы начинаются, когда нужно считывать тензоры рандомными батчами.
>>1498642Ну тут в общем ясно, что эти нейроночки настолько просто наебать, что ни для каких серьёзных приложений вне тепличных условий они не годятся, максимум на каггле оверфитить очередной датасет или фильтры-смехуечки в инстаграме.
>>1499294>статья за 2015 годоперативно работаешь, ведь никто же не придумал с того момента, как эту проблему решать>настолько просто наебатьбудешь с такой хуйней на ебале по городу ходить чтобы камеры не обнаруживали?
>>1499412> будешь с такой хуйней на ебале по городу ходить чтобы камеры не обнаруживали?Зачем? Иск подам о защите конституционного права на частную жизнь, во все инстанции до ЕСПЧ включительно. Китаю уже вьебали потешных за кибергулаг и все эти распознавания, блинолопатия на очереди.
>>1499412>ведь никто же не придумал с того момента, как эту проблему решатьНет, к сожалению не придумал, ведь проблема в самой геометрии трейнинг сета, а не в какой-то детали алгоритма, которую легко пофиксить. На сегодняшний день все известные защиты от адверсариальных атак очень просто обходятся. Или пример защиты, гарантированно работающей на сегодняшний день в студию. Хуитки вроде аугментирования трейниг сета адверсариальными примерами или дистилляцией на софт лейблах может даже не пытаться тащить, обоссу.>будешь с такой хуйней на ебале по городу ходить чтобы камеры не обнаруживали?Нет, скорее с такой вот.
>>1499294>ни для каких серьёзных приложений вне тепличных условийНу никто не утверждает, что нейроночки решают все задачи. Там где много шума в данных и данных мало, нужны другие методы.
>>1499645>Ну никто не утверждает, что нейроночки решают все задачи.Давай перечисляй какие задачи неронки решают?
>>1499645Ну вот Тесла и подобные проекты пытаются использовать распознавание образов для ориентирования. И если у какого-нибудь Waymo есть дополнительный лидар для этого, то гениальный Илон Маск решил, что лидар не нужен и можно обойтись только камерами. Сейчас Тесла конечно только Level 2 автономность но в перспективе её хотят сделать полностью автономной. Сел бы в автономную машину, для которой пикрелейтед не стоп, а знак ограничения скорости? И это не просто какой-то теоретический вопрос, вот в реальных условиях Теслу заставил в противоположную полосу заехать, лол https://www.vox.com/future-perfect/2019/4/8/18297410/ai-tesla-self-driving-cars-adversarial-machine-learningКороче, надо для безответственно продвигающих в критических приложениях бесполезные и опасные нейроночки товарищей уже вводить уголовные наказания. Думал, что скачаешь какую-нибудь VGG, подкрутишь параметры и всё готово? А вот уж нет, присаживайтесь-ка, сударь, на двоечку.
>>1499664>для безответственно продвигающих в критических приложениях бесполезные и опасные нейроночкиНикто их там не продвигают, там рулят Экспертные Системы, поскольку можно локализовать ошибку и найти косячника, а нейронки только для смузихлебов и матанопетушни.
Если так развивается авто-мл почему при том же AWS индивиды на kaggle не фармят с помощью него миллиарды????
>>1499709Потому что это тупо брутфорс гиперпараметров и без мощностей уровня гугла там нечего ловить.
>>1499711Это не брутфорс гиперпараметров.>>1499709Подобные вещи только сейчас начали развивать, хотя сама идея и даже готовые реализации стыковать алгоритмы мл так чтобы один настраивал гиперпараметры другого, были ещё в 90е, если не раньше.
>>1499412>оперативно работаешь, ведь никто же не придумал с того момента, как эту проблему решатьОн эту хуйню повторяет как раз с 2015. Просто пасты настолько протухли, что и получается вот это вот.
>>1499637> Скажи лучше, что ты либираха, Я налогоплательщик. И лично содержу этих иждивенцев.> вас убогих отдельным судом перемогают.В пынеходии такое дело не выиграть, иски во всякие басманные судилища это чистая формальность. Просто без этого, сразу в ЕСПЧ, не получится.
>>1499790Но всё-таки что-то новое шиз узнаёт: вот услышал наконец о автомл что-то, носится теперь с ним как с величайшим открытием.
>>1499790>>1499843Каково это, воевать с выдуманным противником, видя его не только под кроватью, но и в авторе каждого поста, с которым не согласен? Про решения типа аутомл я ещё лет 6 назад читал, и это были источники в том числе из 90х. Просто тогда это было вычислительно нерентабельно плюс не было толп зумеров вкатывальщиков, а сейчас похоже ситуация созрела.
>>1499870> я читал слышали Я ЧИТАААЛТы постоянно повторяешь как много ты читал, однако незнание базовой элементарщины вроде кнн как-то заставляет сомневаться. То есть либо у тебя дар читать жопой, либо читаешь ты спид-инфо какое-нибудь.
>>1499967> незнание базовой элементарщины вроде кннПиську будешь, чучело? У тебя соевых мозгов не хватило даже на то чтобы понять, о чем вообще речь шла, и кто и что недопонял. Я и говорю, очень удобно придумать хуйню, приписать оппоненту, чтобы потом торжественно опровергнуть.
>>1499648Ну системы технического зрения стали возможны в ближайшей перспективе именно благодаря им, например шумов в изображениях однотипных деталей очень мало, отсюда легко выйти на visual control для роботов на заводиках.
Как же заебал местный шизик, который только и делает, что серит своими охуительными историями.Какой-то аналог анти-сети шиза из /spc, только анти-нейро-шиз.
Привет двачик, есть голограммы (именно фурье-прообразы пик 1), которые местами повреждены артефактами камеры и засветами в виде космических лучей (это вся хуйня для научных целей). В общем обычными алгоритмами они крайне плохо убираются. Помимо этого есть желание определять центр снимка (центр радиуса кругов).Хотелось узнать, насколько первая проблема (артефакты) поддаются починке в таком ключе? Откопал библиотеку Noise2Noise от nvidia. У них там даже похожий пример был с МРТ сканером, но там они использовали гауссов шум, а тут хуй знает какое будет зашумление. Насчёт поиска центра у меня вообще есть сомнения по поводу машинного обучения. Оно вроде такие вещи, как какие-то четкие коордианаты или четкие границы кругов вообще плохо находит. Думаю покопать в сторону openCV, там вроде есть что-то типа поиска очертаний заданных геометрических фигур. Был бы рад, если бы кто-нибудь мог дать оценку решению задач. Спасибо.мимо-студент первых курсов физик
Пытался смержить два ссаных датафрейма, чтобы построить модель.ПАМЯТИ НЕ ХВАТИЛОПытался перегнать для начала в numpy массив, а потом построить датафреймОПЯТЬ ПАМЯТИ НЕ ХВАТИЛОХули делать-то? Дробить на куски и так работать?Инб4 купи памяти
Кэптн Обвиус спешит на помощь шизику. Шизик, запомни: кнн - классификация (ты видишь что 5 твоих ближайших соседей лежат в дурке, значит ты тоже в дурке), а каминс - кластеризация (ты двигаешь точку, пока не окажется, что ты и твои соседи из дурки находитесь от неё на одинаковых расстояниях). И больше не путай.
>>1500393>Но всё таки - при большом количестве данных их дробят? А дальше что?Если тренируешь нейронку и тебе не нужны все данные сразу, то можешь использовать генератор. Он будет считывать с диска каждый батч.
>>1492664 (OP) Посоны, а нейроночк после обучения можно как то запеч, шобы она меньше тактов ЦоПэ кушала.Ну например надрессировать нейронку на управление квадрокптером, через удалённое упраление на ПеКа с видяхой под openCL, а потом сделать короткий бинарник который должен будет крутится на ARM огрызке на самом квадрокоптере.
>>1500524Можно обучить маленькую нейронку с помощью дистиляции знаний и затем ее квантизировать и считать не в fp32/fp16, а в int8. Но вряд ли квадкоптеру хватит вычислительной мощности даже после этих действий.
>>1500132Попробуй сворочивать с нормальным фильтром для удаления полос, затем примени какой-нибудь блоб детектор для поиска центра.
Я вчера на Гидре купил амф и за долгое время оставил отзыв. И на утро у меня в личке 8 предложений о скидке. Драг-дилеры тоже ботов разводят там? Очевидно что просто боты отреагировали на активность
>>1500544То что я скинул это просто пример, чтобы показать как они примерно выглядят. Вообще я плохо сформулировал вопрос. На этих голограммах эти "космические лучи" точки 2х2 пикселя примерно. Голограммы эти сами выглядят очень разрозненно и эти пиксели вообще хуй знает где могут оказаться. Потом эти пиксели выражаются в итоговой (обработанной картинке) в виде характерных волн. Я хотел спросить, что было бы эффективнее обрабатывать через нейросеть. Будет ли она работать корректно с голограммами? Ведь там нет каких-то целостных объектов/предметов или это не играет роли? Просто проблема ещё в том, что размер снимков 4 мегапикселя. Если локализировать точки засветок лучами можно (ну хотя бы просто по значению пикселя и окрестность вокруг 250х250), то обрабатывать 4мегапиксельные картинки через нейросеть, я так понимаю, выпадет в ограничения по железу.
>>1501097>Я хотел спросить, что было бы эффективнее обрабатывать через нейросетьНет. Нейросеть здесь однозначно найдет пингвина.
>>1500544> Попробуй сворочивать с нормальным фильтром для удаления полос,Ага, при том, что эти полосы и есть сама голограмма. Гениально. Я про это чуть выше говорил, решать что можно сделать с данными, а чего делать вообще недопустимо, должен эксперт в предметной области, а не зумер вкатывальщик. Но тогда возникает вопрос, нахуя вообще такие вкатывальщики, а от такого поворота кое у кого начинаются анальные скорби.
>>1501189А я то причём. Мне сказали: «Посмотри че там можно сделать, а то нам некогда. А ты молодой, игривый. Авось что и получится.», а я на голом энтузиазме. Читаю статейки в интернете, а из опыта только примеры из tensorflow.
>>1501097У тебя есть плавно меняющаяся голограмма с битыми пикселями в виде резких скачков интенсивности. В качестве датасета нужно брать пары картинок с идеальным изображением и с искусственно нанесенным битым пикселем (или сколько там 4х4), сетка - unet. Сетка научится их замазывать. Noise2noise тебе не нужен.Можно обойтись и без нейронки. Свернуть с прямоугольником 2х2, таким образом получишь кросскорреляцию с образом твоего объекта. Затем пороговой обработкой получишь места где есть этот объект. Затем переинтерполировать битые места по существующим данным.
>>1501262Да вместо transpose conv слоёв в unet надо использовать upscale+conv слои. Иначе конкретно в твоём случае артефакты будут неприятными
>>1501513Сейчас как вообще происходит. Есть фреймворки, в которых тренируются модели для облачных кластерах на линуксе - tf, torch и т. п. Потом эту модель можно экспортнуть в универсальный формат типа ONNX и выполнять ее уже на таргет платформах, с помощью соответствующих библиотек для таргет платформ.Таких библиотек дефицит. DirectML закрывает деплой для винды, что, конечно же, хорошо. Захочешь деплойнуть нейросетку в свой йоба-шутер, можешь взять DirectML. Звучит скучно, потому что это так и есть, обсуждать тут нечего. Просто либа, закрывающая какую-то потребность.
>>1501530>можно экспортнуть в универсальный формат типа ONNX и выполнять ее уже на таргет платформах, с помощью соответствующих библиотек для таргет платформ.Если нужно будет добавить штуку, то что делать?
>>1501553Если ты про какой-нибудь слой модели, то добавляешь в tf, дообучаешь, экспортируешь.Код с DirectML даже перекомпилировать не придется.
>>1501530Отлично, тогда заберу DirectML себе в качестве любимой технологии. Остальные пусть используют что-то другое.
>>1501561Новые данные обычно обучаются с нуля, но если не хочешь с нуля - обучай не с нуля, потом экспортируй.
>>1501569>Новые данные обычно обучаются с нуляНетъ, все обучилось и появились новые данные которые нужно добавить, чито делать?
>loss: 0.0904 - acc: 0.9794 - val_loss: 0.0948 - val_acc: 0.9756>думаешь где обосрался при препроцессинге датасета, ведь слишком хорошо получается
>>1502645Учебники - те же, что и 20 лет назад:http://www.r-5.org/files/books/computers/algo-list/statistics/probability/Charles_M_Grinstead_J_Laurie_Snell-Introduction_to_Probability-EN.pdfhttp://www.r-5.org/files/books/computers/algo-list/statistics/probability/Charles_M_Grinstead_J_Laurie_Snell-Introduction_to_Probability-EN-answers.pdfhttp://www.r-5.org/files/books/computers/algo-list/statistics/probability/Sheldon_M_Ross-Introduction_to_Probability_and_Statistics-EN.pdfhttp://www.r-5.org/files/books/computers/algo-list/statistics/probability/Sheldon_M_Ross-Introduction_to_Probability_and_Statistics-EN-answers.pdfКурс алгоритмов - тот же, что и 15 лет назад:http://www.r-5.org/files/books/computers/algo-list/statistics/data-mining/Sarah_Boslaugh_Paul_Watters-Statistics_in_a_Nutshell-EN.pdfТрудно что-то новое придумать. Ну и кстати, Дэвид Гамильтон вроде неплох. Тоже там, эти разные...
>>1502694Совковые учебники не илитно. Что там может устареть-то, вероятность она и в Африке, и 100 лет назад вероятность.
>>1502695>вероятность она и в Африке, и 100 лет назад вероятностьА разве вся эта теория вероятности не говно?мимо
>>1502699> А разве вся эта теория вероятности не говно?Нет, конечно. Это просто ты шизло с непонятно чем в наплечной параше.
>>1502712>Нет, конечно.Заебись, то есть если я сейчас поставлю видосик как ебут в жопу матанопетушню, то там будет новый сюжет?
>>1502721>Голову лечи, я серьезно.Полечил, теперь отвечай, если я поставлю заново фильм, то там будет новый сюжет?
>>1502727Плохо лечил, мань. Ты ж даже не понимаешь, что такое вероятность вообще. Зумера вообще скатились пиздец, вам там в школах сейчас вообще хоть что-то объясняют? Или для тебя все кроме зумер-кринж репера ивана дерьмина это слишком сложно? Запад иди роняй, клоунесса.
>>1502733>что такое вероятность вообщеСлучайностей не существует, значит твоя вероятность живет только в твоем мозгу засранном математикой.
>>1502752> Какова вероятность того, что ты петух?0%, мань.>>1502756Причем тут вероятность к тому, что ты высрал? Там вон выше упоминали учебник Вентцель, почитай. Или из-за клипового мышления ничего сложнее постов из инстаграмчика не заходит, бабушкин ниспровергатель математики?
>>1502769>ВентцельЖопеншмульцера. Ты так и не ответил, есть ли случайность в нашем мире или нет.>0%, маньНе ври
>>1502775Случайное событие это такое событие, про которое нельзя заранее с уверенностью сказать произойдет оно или нет. Как ты думаешь, в мире есть такие события или нет?
>>1502775> Ты так и не ответил, есть ли случайность в нашем мире или нет.За ваш мир я ничего не знаю, у меня шизы нет. В реальном мире есть неопределенности и они фундаментальны и присутствуют везде, начиная с уровня квантовых процессов. Одной из таких неопределенность является вероятность. А ты никак и в демона Лапласа веруешь? Из розен мейден поди узнал?
>>1502780>Как ты думаешь, в мире есть такие события или нет?Думаю нет, просто ты не владеешь всей информацией и событие для тебя кажется случайным.>>1502786> А ты никак и в демона Лапласа веруешь? Из розен мейден поди узнал?В это говно даже не каждый матанопетух верит.>квантовых процессовТеоретическое физматговно не имеющее с реальностью ничего общего.
>>1502825> Теоретическое физматговно не имеющее с реальностью ничего общего.Ну тебе-то лучше знать про реальность, да, чучело зумера?
>>1502825>Думаю нет, просто ты не владеешь всей информацией и событие для тебя кажется случайным. И теперь нужно взять каменный топор и пойти голым охотиться на медведя, раз никто не владеет всей информацией, а работать нужно?
>>1502828> а работать нужноА, ну да, пилить бюджет/гранты запудрив мозги манятеорией. >>1502827>про реальностьПосредством какой среды распространяются эл. магнитные волны в вакууме? Отвечай.
>>1502851>А, ну да, пилить бюджет/гранты запудрив мозги манятеориейЯ работаю на рынке в маленькой фирме и мои программы улучшают жизнь конкретных людей - видеомонтажеров, шум из записей которых я удаляю методами теории вероятностей. А вот ты являешься бесполезным шизиком, который пудрит всем мозги какой-то кефирной маняхуйней.
>>1502825> Думаю нет, просто ты не владеешь всей информацией и событие для тебя кажется случайным.Возьмём самый простой пример с броском монеты или игральной кости. Какая информация тебе нужна, чтобы достоверно предсказать событие "выпадение орла" (или "выпадение четырех очков")?
>>1502851> Посредством какой среды распространяются эл. магнитные волны в вакууме? Отвечай.Ещё и в эфир верующий. Поди и в плоскую Землю тоже?
>>1502856Ну тут ещё ладно, можно подсчитать вес монеты, усилие при ударе по ней, сопротивление воздуха итд. А вот если есть какое-то количество атомов изотопа с известным периодом полураспада, и нужно предсказать, когда распадётся конкретный атом, сейчас или через 10к лет, то хуй там плавал, а не предсказание.
>>1502877Не, не... Это не ответ.Вес монеты, силу сопротивления воздуха, силу удара, что ещё? "Итд" не канает. Предсказывай орла, ну. Видишь, не нужно придумывать сложные примеры с изотопами. Давай с простой монетой разберемся. Выясниться, что даже с обычной монетой есть много сложностей.
>>1502910Не будет с монетой сложностей. В принципе, достаточно датчика усилия (или как это можно назвать) на пальцы, которыми монета подкидывается. Даже вес монеты не нужен, в качестве переменной для датасета достаточно номинала. И все, собираем датасет подбрасыванием монеты, выход - орел/решка. Дальше простая регрессия.
>>1502919>>1502910Все просто, создаем установку которая будет подкидвать монету с заданными параметрами, все это дело помещаем в среду где внешние влияния исключены по миниму и оба, монета всегда будет лететь по одной и той же траектрии. Где случайность? Нету. >>1502853>шум из записей которых я удаляю методами теории вероятностейВероятно шум, вероятно нет? Лол
>>1502930>>1502919Это всё очень умозрительно. Создать "установку с одной и той же силой подбрасывающей монетку при постоянных внешних условиях" в реальной жизни невозможно. У тебя тысяча погрешностей во всех частях системы, которые в итоге и дадут тебе постоянно различные броски монеты. Реальный бросок монеты - это реальный бросок монеты в реальной жизни, его невозможно предсказать как раз из-за огромного числа внешних факторов. Даже перечислив все эти факторы ты не сможешь обеспечить постоянство их значений во времени. Отсюда и рождается случайность.
>>1502955>Реальный бросок монеты - это реальный бросок монеты в реальной жизни, его невозможно предсказать как раз из-за огромного числа внешних факторов. Даже перечислив все эти факторы ты не сможешь обеспечить постоянство их значений во времени. Отсюда и рождается случайность.Все верно, но это не случайность, если ты будешь соблюдать все факторы, то все будет повторятся.
>>1502982Тогда о чем разговор? У нас здесь ML-тред, все, что имеет отношение к обсуждаемой теме - это байты внутри компьютера. Если шум, создаваемый электронным газом в проводнике, можно предсказать, зная положение всех электронов в какой-то момент времени, мне от этого ни жарко, ни холодно. Для меня эта инормация неизвестна и никогда не будет известна. Ты конечно можешь сказать клиентам, мол, ща все просто, мы создадим установку, а студию звукозаписи поместим вакуум, но это слегка нерабочий вариант. Поэтому заткнись, скука, и жри тервер. А эту философию про классический детерминизм попробуй студенткам филфака впаривать.
>>1502959Да, в мире, где ты сможешь обеспечить постоянство всех внешних факторов влияющих времени случайности не будет. Но это не про наш мир.И то что ты можешь такое себе мысленно представить ничего не меняет.
>>1502985>Поэтому заткнись, скука, и жри терверНе, не буду, это говно противоречит здравому смыслу.>>1502986>Но это не про наш мир.Как раз про наш, про реальный мир.
>>1502976> Значит, что теорвер к реальности не имеет никакого отношения.Дебилок ты. Если существуют нестохастические процессы, как это отменяет существование стохастических? Пример я приводил, с изотопом.
def answer_one(): data = np.column_stack((cancer.data, cancer.target)) index = pd.RangeIndex(start=0, stop=569, step=1); columns = np.append(cancer.feature_names, 'target'); df = pd.DataFrame(data=data, index=index, columns=columns) print("Data Column Size: " + str(np.size(data) / 569)) print("Features Column Size: " + str(np.size(columns))) return df answer_one()Как вернуть 15 колонок из 30?
Хоть вапникошиз и шиз, но в том что популярность мля у зумеров вещь раздражающая я согласен.Смотрите, сколько кроме него разнообразных неграмотных шизов понабежало в тред.
>>1503159первые 15 колонок из 30 для pd.DataFrame:df = pd.DataFrame(... ... ...)df.iloc[:, :15]Если хочешь названия первых 15 колонок:df.columns[:15]
Доброго времени суток, нюфаня ИТТ. Можете объяснить от чего зависит кол-во весов в логистической регрессии, какие у неё гиперпараметры и за что они отвечают ? А также, где можно в доступном (для еблана с хуйовым матаном) виде почитать про принцип максимализации правдоподобия ?
>>1503448Про правдоподобие - Лагутин наглядная математическая статистикаПро лог регрессию https://see.stanford.edu/materials/aimlcs229/cs229-notes1.pdf
>>1503457Анончик, ну пойми ты меня. Меня аж трясёт от дифференцирования матриц. Есть, что-то полегчче ?
>>1503448Логистическая регрессия это то же что линейная с другим датасетом. (Вместо x и y у тебя x и logit(y)) . Линейная аппроксимирует датасет гиперплоскостью. Что может быть проще? Какие гиперпараметры, ты о чем
>>1503546То же самое. Ты не можешь построить таким образом логистическую модель из-за вылезшей бесконечности, но когда модель уже построена, она функционирует именно так: имея logit(p)=Wx, у тебя есть линейная модель y=Wx, где y=logit(p).
>>1503448Может, тебе StatQuest поможетhttps://www.youtube.com/watch?v=yIYKR4sgzI8https://www.youtube.com/watch?v=BfKanl1aSG0
>>1503520Ты какой-то ебнутый. Он всё правильно написал. Вместо евклидового пространства у тебя основаное на логистической кривой. Гиперпараметры - количество фич, это всё.
>>1503484>Линейная аппроксимирует датасет гиперплоскостью.Линейная регрессия существует только как линейная связь между двумя классами.
Можно ли написать такую нейронку, которая будет осознавать наличие у себя гомосексуального субъективного опыта и считать, например, это зашкварным?
>>1504137Тот опыт, который испытал субъект. Анон изучает монады - это его субъективный опыт, который он осознает. Может ли быть подобное осознание у нейронной сети, или это просто тупой механизм, отображающий векторы в векторы?
>>1504143>Анон изучает монады - это его субъективный опыт, который он осознает.Вполне возможно, что анон пиздит, а в его мозге сидит команда из инопланетян, которые открывают его рот.Субъективный опыт недоказуем. У тебя в голове есть такой силлогизм1. Я испытываю субъективный опыт2. Другие люди устроены как яСледовательно, другие испытывают субъективный опыт.Но оба этих утверждения недоказуемы. Твой субъективный опыт - иллюзия нейросети в мозге. А другими людьми вообще инопланетяне могут управлять и врать тебе о своем опыте.Поэтому если вопрос в том, может ли нейронка испытывать иллюзию самосознания - достаточно сложная может, кто запретит. Но будешь ли ты в это верить - вряд ли. Она ведь не будет похожа на человека.
>>1504567https://www.youtube.com/watch?v=Mz3Mu9e0qRQ> complicated hilbert spaceО, антиматаношизик, похоже, индуса консультировал.
decoder_model = Model([decoder_inputs] + decoder_states_inputs, decoder_outputs] + decoder_states)Почему одни элементы в квадратных скобках, а другие нет?
>>1504747Вся суть зумеров вкатывальщиков. Один не знает, что такое сигма, другой не знает зачем в пистоне квадратные скобки, хотя пытается пользоваться именно пистоном. Тайдмены, реально...
Есть задача классифицировать движущийся объект на видео, имея на руках очень ограниченную вычислительную мощность, позволяющую запускать мобайлнет (ширины 0.5) раз в секунду, а классифицируемых объектов может быть до 15-30.Пока есть идея тренировать оче маленькую сетку и классифицировать на каждом кадре, а историю классификаций (а точнее внутренних представлений перед слоем логитов) аггрегировать attention'ом.Есть какие-то статьи посвященные классификации серий изображений? Как такая задача вообще правильно называется на английском? На paperswithcode не нашел такой рубрики, может плохо искал.
>>1506289Твоё "лучше" будет меняться в зависимости от выбранной метрики. Поэтому я и спрашиваю конкретно для ROC AUC.
Прочитал почему питон оказался в бигдате и нейронках. Он легко срастается с крестами, паразитируя таким образом на его высокой производительности.
>>1507043>с крестами, паразитируя таким образом на его высокой производительности.Добавляя свою низкую?
>>1507043> Прочитал почему питон оказался в бигдате и нейронках.Сойбои и всякая индусня больше ни во что не может.
>>1505074шиз местный, детектится по картинкам зумеров, хуюмеров, наличие в тексте слов: тайд, вкатывалищики, automl и тд
>>1507247я думаю что в логистической регрессии гиперплоскость проводится произвольным образом, просто главное чтоб она разделяла два класса, это в svm'ах гиперплоскость проводится оптимальным образом(на опорные вектора, точки)
Есть простенькая двухцветная картинка с чёткими контурами. Буква, цифра, иероглиф. Рукописная или печатная. Нужно сделать преобразование. Нарисовать поверх неё максимально похожую картинку состоящую всего из нескольких прямых линий. Чем меньше, тем лучше. Что-то типа как на пикриле. Только там есть оттенки серого, а у меня только чёрные и белые пиксели. Как такое сделать?
>>1507455Была лет 5 назад реализация такой шляпы - growing neural gas. Делала ровно то, что ты хочешь- заполнение 2д изображения точками и ребрами между ними, причем в отдельном тексте выводила даже координаты точек и пар точек, связанных ребрами, типа неориентированных графов. Вот к этому пейперу https://www.sciencedirect.com/science/article/pii/S0925231213009259 материалы, причем были даже бинарники под шиндовс, реально работающие с картинками.
>>1507899Не понял. Мне объяснить надо будет как это сделал. Что за магия в svg я не понимаю>>1507720Сложно. Это оптимизация другого алгоритма, которая работает с тысячами нод. Мне и десяти хватит для цифр и полсотни для всего остального. Но я ещё погуглю. Спасибо
Анон, вопрос.Насколько трудно будет найти работу в машоб?Имеет ли смысл сначала вкатываться в другие отрасли?Меня не особо волнует именно зарплата, тк готов быть стажером за опыт и строчку в резюме, но я хз как проанализировать рынок ДС для вката. Сам бы хотел работать над чем=то полезным.Я пробовал веб, но там меня только бэкенд привлекает, тк дизайню я как мудак.Перефразирую вопрос: стоит ли вкатываться в программирование через машоб или искать другие ниши?
А с вами снова рубрика "ежедневный зумер вкатывальщик" >>1508078 Тут центр занятости чтоле? Может быть, с таким вопросом лучше по специализированным ресурсам поискать? Есть два стула, на одном кнн точеный, на другом кминс дроченый. Куда сам сядешь, куда мать посадишь?
Всем приветСкажите, пожалуйста, может уже обсуждалсь, но я не видел-есть ли какие-то способы набраться проектного опыта с помощью фриланса? Увы, не могу дропнуть неткущую работу, не связанную с тематикой треда. ПОнимаю, что это не пыха какая-то, но знакомый урвал на фрилансе какой-то проект по анализу для вкшечки, еще один работает по фрилансу для консалта. Их спрашивать не хочу, т.к. ебал их в рот.
>>1496410Питон прекрасно подходит как раз для подобных задач, если реализовывать все адекватно с покрытием тестами и прочими свистелками-перделками для проверки стабильности кода. А человек, который юзает левый скрипт из тырнетиков, сам несёт ответственность за корректность результатов должен осознавать, что никто не сможет гарантировать ему корректность результатов.
И с вами снова рубрика ежедневный зумер вкатывальщик! >>1508641 И в оп-хуй посте все разжевано, и в треде каждый десятый пост про это, и в Гугле все нужное на каждом углу. Нет, не хочу. Хочу писать одинаковый пост про вкатывание. Я иногда думаю, что это все один и тот же зумер пишет. Ну не может быть все настолько одинаково.
Сап, анон. Нужна сетка, которая решает сложней чем обычная, но проще чем гугл капчу. Есть вариации готовых сеток. Возможно ли дообучить ее за 4 дня для решения?
>>1502733Вообще-то он прав. И даже энштейн ещё десятилетия назад это признавал, и честно говорил что у него банально нету идей как представить это всё лучше.В реальности не существует никаких вероятностей. Всё детерминировано физически и химически, если что-то невозможно это невозможно. Обезьяна не напишет войну и мир сколько бы она не тыкала на кнопки. Бесконечность вселенной вовсе не означает бесконечное множество цивилизаций, и прочее.
>>1509285> Всё детерминировано физически и химическиЧто там у тебя детерминировано? Неточность в разных вариантах это фундаментальное свойство всего начиная с квантов. Уроки делай иди, детерминист бабушкин.
>>1509301Нету никаких неточностей, есть лишь неточность представления на уровне человеческой системы. Ты повторяешь безмозгло постулаты и даже не понимаешь о чём речь.
>>1509303Я тебя услышал. Конечно же, любой зумер с клиповым мышлением знает лучше чем все физики и математики вместе взятые, как я мог забыть.
>>1509303Если бы было детерминировано, то ты бы был слепой и проваливался сквозь землю. Ты че такой тугой?
>>1509337Им не придается такая энергия на трансформацию. Некоторые трансформируются если есть достаточно энергии.
Будет ли какой-то выигрыш в производительности, если я скомпилирую фреймворк сам, а не установлю готовый?
>>1509384Если ты задаешь такие вопросы, и тем более на дваче, тебе не стоит задумываться о производительности в этом ключе.Будет, если дефолтная сборка не задействует векторные возможности типа fma/avx. Обычная сборка с march native мало даст.
>>1509392Тензорфлоу задействует, поэтому мне приходится наоборот перекомпилировать с march native для своего некрожелеза.
>>1509403Ты кусок говна, который решает внутренние проблемы компании при помощи нейронок. Ты никогда не осилишь годные вещи типа применения нейронок в биологии и биоинформатике, потому что ты тупая пизда, задрочившая керас.
Тут есть кто-нибудь из магистратур по сбжу или кто-нибудь, кто сможет ответить на вопросы по образованию/академической карьере в области?
>>1508936Хнык, а я бы мог им нейроночку сделать, чтобы цены оптимизировать. Вместе мы бы до нитки ободрали нищих иванов. Можно было бы открыть там же кредитное агентство, чтобы загонять их в беспросветные долги. А потом эти долги можно было бы отрабатывать, работая непосредственно в самой пятерочке! Так мы бы загнали в рабство всю сраную рашку, даже пынька ваш как батрак бы вкалывал, носился бы мухой товары по полкам раскладывать в кремлевском отделении пятерочки. Вот как я бы мог, весь мордор бы поработил нейроночкой. А ты мне... продавцом. Эх.
>>1509415Нейронки гуглу столько денег сохранили, а ты выебываешься из-за того что наши аналоговнеты пытаются подражать.
>>1509633> наши аналоговнеты пытаются подражать.Блинопынеходия и машоб вещи несовместимые. Вот были два советских специалиста по машобу - Вапник и Червоненкис. Угадай, кто из них сьебал из рашки и уже на западе стал основателем самого перспективного направления машоба и жив-здоров, а кто остался в Блинолопатии и помер страшной смертью, замерзнув на улице во время сердечного приступа, потому что всем похуй. Свои специалисты в Рашке не нужны, а зумеры вкатывальщики только хуи сосать умеют, вот и вся правда жизни.
>>1509653>Свои специалисты в Рашке не нужныНахуй нам эта матанопетушня, пусть уебуют. И ты тоже не нужен. Кококо, нейропетушка обидели.
>>1509674>вамЖителям России, если всех датасаинтистов заберут рептилоиды, то внезапно, ничего для человечества не изменится.
>>1509737Я тебе больше скажу, если Блинолопатия вот прямо сейчас провалится под землю, для человечества ничего не изменится.
>>1509772>для человечества ничего не изменитсяТики выиграли? Я конечно понимаю, что матанопетушня по большей части ксенопатриоты и русофобы, типичные клиенты хабра, но что тогда ты здесь забыл? Я не плохо зарабатываю в России и вижу для себя переспективы, но я не дататасаентист и не матанопетух.
такс ,ребятки, у нас есть реальная воможность озвучить пасту "третьего дня по совету проверенных камрадов" нужно только натренировать нейроночку. Да потребуется порядка 300 часов датасетов с субтитрами от РАЗНЫХ людей гигов на 500. Но, зато появится возможность клонировать любой русский голос. Я считаю надо как то организоваться и запилить аналог deepfakehttps://www.youtube.com/watch?v=-O_hYhToKoAhttps://github.com/CorentinJ/Real-Time-Voice-Cloning
>>1509878>нужно только натренировать нейроночкуВ НЛП она соснет как обычно>клонировать любой русский голос.Это еще что такое? Русский язык разным голосом? Так это не получится, скринь. Флексии и плавающие ударения дают пасасать любому Фапнику.
>>1509888Возможно, проще нанять пародиста, есть у меня идеификс такой как озвучить эту пасту, какой то анон даже озвучивал уже, но получилось так себе.
Ебаный закомплексованный карлик, уже на гидравлических пынеходах ходит и накачивается ботоксом, чтобы не выглядеть убогим недоноском. Ебучий Окурок
>>1509878> Да потребуется порядка 300 часов датасетов с субтитрами от РАЗНЫХ людей Зачем от разных? Гораздо лучше будет, если эту пасту нейроночка зачитает голосом самого мусорка.
>>1510799вот у тебя есть черные и белые точкислучайным образом сэмплируешь несколько черных точек и строишь цифру, как-то соединяя отрезками эти точки. Оцениваешь качество с помощью iou или L0-norm.повторяешь N раз, оставляешь лучший вариант.
>>1510113Если керас старый, добавь кастомную метрику (model.metrics_tensors += [tenzor]. В более новых версиях это почему-то выпилили. или тебе жадное выполнение нужно?
>>1510799Пороговая обработка, затем выделение контура, затем выделение строк и выделение там построчных цепочек пикселей, затем нахождение центра тяжести такой цепочки и объединение центров цепочек в граф, затем упрощение графа с помощью удаления нод, которые имеют связь с двумя нодами и при этом эти связи параллельны. Для mnist сойдёт, для твоей ебы не знаю.Можно натренить нейронку для маппинга цифр в маску перед первой стадией, как нейронкой векторизовать не знаю.
>>1509323>>1509316Мда, ума на уровне хлебушка, только кривляния имбециальные и попугайские повторения. Вообще-то закон сохранения энергии как раз и является возможным и всегда выполняется, именно потому что всё детерминировано, а у людей просто не хватает данных и воображения вот они придумывают потешные костыли уровня кота шрёдингера для описания всей этой системы. Ты даже не в курсе что многие базовые понятия вроде времени или пространства не существуют в реальном мире, это просто абстрактные костыли иначе мозг банально не может описать бесконечные непрерывные процессы взаимодействия всего со всем, без подобной искусственной дискретизации, разбивания на начало и конец, на отдельные являния, строго ранжирование по понятной приматам линеечке. А потом дурачьё которое даже минимальное пониманием не обладает и верит будто чисто человеческие линеечке на что-то там в мире реально влияют, буквально на уровне верунов.
>>1511037Аутист, не выебывайся своими знаниями. Ты даже тян сводить на ВР-аттракцион неможешь, чмо.мимо Алиса
Ну знаешь ты эту свою научную поеботу и знай ее. Ты аутист без эмоционального интеллекта, а меня сегодня в очередной раз выпороли!
>>1511037Хуя ты гений, телевизор поди смотришь? К чему ты все это высрал, тайдмен? Умные люди все это не только понимали уже тысячи лет назад, но и придумали как использовать в практической деятельности, благодаря чему ты сейчас в интернете с компьютера пишешь всякую хуйню, а не в пещере на хую у вождя соседней деревни кукарекаешь. Абстрактное мышление и науки это деятельность человека, понять смысла которой ты не способен, потому что зумер с клиповым "мышлением", ещё и ЛГБТ быдлан.
>>1511150Абстрактные науки никак не противоречат детерминированности мира (см., например, интерпретацию Эверетта)
>>1511150>ты сейчас в интернете с компьютера пишешьО, сразу видно школьника, у которого прогресс это кудахтер на принципах ткацкого станка. Когда человечество научится на изи вылетать за прелелы верхних слоев атмосферы и не жечь динозавров в ДВС с 30% КПД, тогда приходи.
>>1509303>>1509316>>1509324>>1509323>>1511037>>1511150>>1511281Вся эта наука-хуюка, физика-хуизика — это всё для ватников совковых, питушков грошовых, недобитой вшивой интеллигенции. Это только они в своих засраных НИИ пердолятся, потому что нет у них ни дома, ни семьи, ни бабы, ни работы нормальной. Вот и хвастаются друг перед другом своими никому не нужными знаниями, да ещё тем, консолькой пердолятся в срачельничек. А нам, нормальным людям, и так неплохо. Работа приличная, платят много, дома красивая девушка ждёт, можно на досуге в игры поиграть — что ещё нужно? На хуй нам эти ваши нейтрино с бозонами и коллайдерами всрались?Ну-ну, глупенькие питушки, не плачьте, лучше бегите в свои сраные НИИ пердолиться консольками и компилировать свои сраные програмки для анализа столкновений протонов. Да подгузники поменять не забудьте, а то в ваших пердоликовых лабораториях и в туалет-то не выйти, ибо он в аварийном состоянии, а уборщица спокойно прогуливает работу и при этом получает больше, чем вы.Зато вы можете друг перед другом хвастаться тем, как много вы знаете законов Ньютона, от этого и боль в пердаке от многолетнего пердолинга и питания дошираками легче становится, правда? Только вот к нормальным людям со своими физиками не лезьте. Мы, нормальные люди, таких как вы задотов ещё в школе в унитазе топили, и сейчас на вас только плевать будем. Потому что вы гниль, говно и паразиты, вы с вашими бесполезными "исследованиями" и сраными формулами и теориями только зря место занимаете, вы хуже бомжей, потому что бомжи хоть в интернете не срут своим блядским квантмехом.
>>1511167>>1511281 Знаешь, как отличить годный подход / метод итд от кукареканья всякой малолетней чепухи вроде тебя? Очень просто - по их практической ценности или хотя бы применимости. У твоего кукареканья она нулевая, с чем ты и сам спорить не будешь.
>>1511315Причём здесь нии если вся информация давно в открытом доступе. Или ты из эпохи бумажных писем капчуешь?
Нужно ли изучать optimal control чтобы нормально разбираться в обучении с подкреплением? Или достаточно побольше слоёв в нейронке застакать и всё само не заработает?
На своей шкуре понял какое aws educate говно, чтоб поучаствовать в весьма посредственной сореве их инстансов не хватает, какие есть адекватные облака для мл-а и чтоб бесплатно(за студ. карту как на авсе) есть?
>>1510895Выглядит как недоработанный генетический алгоритм>>1510908Начиная с выделения строк перестал понимать. Можно ссылку на статью где так делали? Или подробней описать шаги? Или переписать термины на английском, а то не эти не гуглятся. А так совет очень похож на правильный. Кажется это то что надо
>>1492664 (OP)ПОЛЧИЩА СКОТОУБЛЮДОЧНЫХ ПОЦРЕОТОВПотомственные зомби, продукт отрицательного отбора. Нищие ноулайферы, озлобленные, тупые, с отсутствием каких-либо перспектив в жизни. Обитают на Двач/Пораше, с вечно красными глазами, жирные, не занимаются спортом, плохая гигиена, нездоровый внешний вид, плохое питание в силу бедности. Ментальные рабы, которые не могут ничего сделать без сапога государства в известном месте, полностью заслужили всё что с ними происходит в Этой Стране. Живут на подачки от государства, сами не способны к творческой деятельности и саморазвитию. Чаще всего подрабатывают 15-рублёвыми шлюхами. Их портяночный патриотизм обычно заключается в постинге картинок со свиньями на фоне флага Украины, визги капсом, слюнявое восхваление Путина, которого они считают своим богом. Яростно ненавидят даже саму возможность обсуждения свободного общества. Некоторые поют гимны СССР, дескать вот тогда была жизнь, забывая что в СССР была скотская нищета, хотя и равномерно распределённая. Впрочем их статус сегодня не слишком изменился, поэтому им просто печёт от зависти, что большинство живут лучше чем они. Дико бомбят от дизайнеров, айтишников, юристов, экономистов, считая их врагами народа. Аналогично ненавидят США и ЕС, и корневая причина здесь тоже зависть.Чтобы компенсировать свою неполноценность, они сублимируют в мифическое величие России и одновременно пытаются внушить своим неуклюжими постами, что в Европе чуть ли не поголовно все гомики, Запад морально слаб и разваливается, надо только поднажать. Гомиков, кстати русские поцреоты вспоминают постоянно и при любом случае. Забавно, что при этом поцреоты не выезжали из своего Мухосранска и мира не видели. Подчиняясь стадному чувству и геополитическим маркерам эти вырожденцы умудряются одобрять КНДР, Китай, Иран и другие ущербные страны. Много лет грозятся уничтожить Америку, но сами не способны даже сделать попытку улучшить свою никчёмную жизнь, например хотя бы отремонтировать свою конуру. Про таких Артемий Лебедев писал: "оставайтесь в жопе".Выражая свой патриотический угар в характерной скотской манере, они сами того не осознавая, надёжно дискредитируют российские патриотические инициативы. Само их существование убедительно подтверждает, что патриотизм в современной России - удел тупого агрессивного быдла. (Автор этого поста был забанен. Помянем.)
>>1511581Большое спасибо, не сказать что панацея, но ресурсы компа не жрет(можно время на треню какой нить модели потратить на теорию к примеру), вообще спасибо анон, действительно спасибо!
>>1511594>Можно ссылку на статью где так делалиПфф, статью>Начиная с выделения строк перестал понимать.Допустим твое изображение выглядит так.000011000110000000001100000011111110000000111111000011110000000000000111Ты должен вычислить где идут непрерывные единицы подряд. Ближайший алгоритм который я знаю называется RLE, но RLE кодирует идущие подряд нули и единицы, а здесь нужно просто, мол, первая цепочка в строке с такого-то по такой пиксель, вторая с такого-то по такой.Эти единицы подряд назовем цепочкой единиц. В первой строке их 3, во второй 2, в третей 2.Затем нужно у каждой такой цепочки найти соседей в соседних строках и составить граф. Например у первой цепочки во второй строке 2 соседа сверху и 1 сосед снизу. У второй цепочки во второй строке 1 сосед сверху и 1 сосед снизу.Затем у каждой такой цепочки нужно найти центр. Если оставить только центры, ты получишь такую хуйню:000010000100000000001000000000010000000000000100000000100000000000000010В которой центры нужно соединить так же, как в составленном тобой графе, т.е. только с соседями.После этого можно начать выпрямлять граф, удаляя лишние ноды. Тут можно напридумывать много эвристик. Например, очевидно, что вторая нода во второй строке не нужна, потому что она соединяет два почти коллинеарных ребра.
>>1511337у твоей тоже нулевая, так как вопрос детерминирован/недетерминирован мир - это отвлечённый философский вопрос, не имеющий никакого практического выхлопа.
>>1511778>не имеющий никакого практическогоКонечно, был такой пидор, звали его Максвел и решил он както раз в своем уравнении сократить эфир, вначале расчетов он был, а потом он не стал. Ты из таких же практиков?
>>15121442080 чуть лучше, потому что 1080Ti не может нормально в FP16, и на FP16 он работает на уровне 2060. В FP32 2080 сравним с тиайнутым 1080 (но 2080Ti дрючит 1080Ti естественно).Но ты с ценами ознакомься. 1080Ti сейчас на авито стоит 25-35К, а 2080 50К. А для разработки две карты лучше чем одна двойной производительности. Потому что одна ебашит, на другой ты работаешь.Так что выбор пацанов - мать с двумя дырами под GPU и два 1080Ti.А выбор нищебродов - 2060 и тренинг на FP16.
>>1511037Была там кучка пидарасов, свидетели секты «Теории скрытых параметров», но после неравенств Белла их всех нахуй послали вместе с лошками детерменистами.Вообще интересное наблюдение, что на бордах дохуя детерменисто-шизиков всегда ошивалось. Хз в чем популярность этого говна мамонта у битордиков, наверное, каким-то образом даёт возможность оправдать собственную нелепость, беспомощность и нихуянеделание. Типа как у инцелов, подборордок не вырос, всё пиздец, прийдётся всю жизнь дрочить, ничего уже не изменить, не фартануло, эх.
>>1512237Я вообще не понимаю, почему о детерминизме и индетерминизме спорят в терминах физики. Это метафизические концепции и они находятся вне юрисдикции любой из эмпирических дисциплин по определению, включая физику.
>>1511766Ты сейчас описал выделение строк после пороговой обработки. А в изначальной инструкции перед этим ещё и edge detection предлагал делать. Если искать так линии на контуре цифры, то это просто сделает контур более сглаженным, а не нарисует линии поверх цифр.
>>1512239В матлабе есть функция regionprops, которая выделяет регионы - то есть связные области пикселей, и находит для них разные фичи, типа площади, баундинг бокса, центра тяжести и кучи всего еще. Это удобно, потому что после пороговой обработки тебе нужно будет как минимум выкинуть однопиксельный мусор и прочее говно, выбрав только тот регион, в котором больше всего пикселей, или еще тут. В opencv если тебе нужна подобная функциональность, нужно пилить велосипед на findContours/drawContours, по типу https://stackoverflow.com/questions/12732379/matching-regionpropx-area-of-matlab-in-opencvЯ писал с телефона и мне было лень расписывать все (на самом деле даже первый пост должен был подтолкнуть тебя в правильном направлении), поэтому написал как написал. Но это не про edge detection, это про выделение регионов.
>>1512238А я вообще не понимаю, что вы забыли в ML-треде.Изначально пришел шизик-кефирщик с батхертом на теорвер. Хотя теорвер работает даже в полностью детерминированном мире, потому что он не про детерминизм, а про неполноту информации. На что ему было указано парой анонов. Но так как шизик тупой, он перешел в плоскость принципиально непроверяемой метафизики. Там-то он король.И в тред насыпало других шизиков из протекшей какой-то другой доски, толи философской, то ли религиозной.
>>1512250Ну так то похуй, работает тервер в полностью детерминированном мире или нет. С помощью него люди решают вполне прикладные задачи, те же самые нейроночки без тервера не могли бы делать. Альтернативы терверу в этих прикладных задачах не было и нет, мб когда-нибудь появится.Кагбэ математика и наука мб это и наеб гоев на даллары, но с помощью них летают самолеты и ездят машины. Пока что машины, которая ездила бы благодаря счету древних русов, не изобрели.
>>1512276>но с помощью них летают самолеты и ездят машиныЗдесь поподробней пжлста>>1512250>Хотя теорвер работаетПруфы или пиздун
>>1512328>можешь его не учить.Я его и не учу>>1512326Ну вот, как пруфцов принести, так сразу обиделся. Помница вот такие вот хитрецы-маняматики хотели на теорвере в покере разбогатеть, объебали их регуляры как щенков.
>>1512331На мой единственный пруф ты ответил "Вероятно шум, вероятно нет". Потому что это твой уровень - где-то между вирусом и одноклеточным животным. Ты слишком тупой даже чтобы троллить.
>>1512346С хуя ли единственный. Мне УПРОЩАТЬ ПРИМЕРЫ чтобы они в твой мозг влезли? Не буду. Развивайся сам, к пенсии дорастешь, может, быть.
>>1512237> в чем популярность этого говна мамонта у битордиковЭто снимает с них ответственность за собственную никчемность.
>>1512331> Я его и не учуНет конечно. Для этого мозги нужны, а у всяких малолетних тайдменов типа тебя их нет.
Что за странный синтаксис, который я выделил? В цикле каким-то непонятным мне образом появляются и формируются train set и test set. И это работает. Как?
Есть какой-то гайд по активациям для CNN? Есть ли вообще заметная разница в бест пректисах выбора функции активации между CNN и другими подходами? Соре за тупые вопросы, в унике заставили нырнуть в это, нормальной теоретической подготовки не имею и получить пока нет времени
>>1513157>>1513686tl-dr: проблема в "dying RELUs", всё работает примерно одинаково, хотя чуваки из гугла утверждают, что их функция дохуя крутая и всех переигрывает
>>1513686> Prajit Ramachandran, Barret Zoph, Quoc V. Le> как распознать соевое СЖВ чтиво: в авторах обязательно индус Свами Срунавас и китаец Сунь Хуй Чай
ПЕРЕКАТ:https://2ch.hk/pr/res/1515078.htmlhttps://2ch.hk/pr/res/1515078.htmlhttps://2ch.hk/pr/res/1515078.htmlhttps://2ch.hk/pr/res/1515078.htmlhttps://2ch.hk/pr/res/1515078.html
