Очередной тред про хипстерские технологии, которые не работают.Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаВ чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examplesГде набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/Где работать? https://www.indeed.com/q-deep-learning-jobs.htmlГде узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихсяГде посмотреть последние статьи? http://www.arxiv-sanity.com/Где ещё можно поговорить про анализ данных? http://ods.ai/Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.Список дедовских книг для серьёзных людей:Trevor Hastie et al. "The Elements of Statistical Learning"Vladimir N. Vapnik "The Nature of Statistical Learning Theory"Christopher M. Bishop "Pattern Recognition and Machine Learning"Взять можно тут: http://libgen.io/Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.Предыдущий:https://2ch.hk/pr/res/1515078.htmlАрхивач:http://arhivach.ng/thread/412868/Остальные в предыдущих тредахТам же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Сап, нейробото Решил я сделать простую программку на питоне, которая детектит лицо и возвращает изображение с выделенным прямоугольником лица.делаю при помощи https://github.com/opencv/opencv/tree/master/data/haarcascadesтак вот, это говно фейлит на, казалось бы, очень простых фото (пикрелейтед)на последнем пике нашло только 1 "лицо"Как это вообще настраивать, чтобы хотя бы на рандом фотке из поиска это работало?Код этого дела:faceCascade = cv2.CascadeClassifier(cv2.data.haarcascades + "haarcascade_frontalface_default.xml") faces = faceCascade.detectMultiScale( gray, scaleFactor=1.3, minNeighbors=3, minSize=(30, 30) ) Возможно как-то параметры подкрутить и прочее хзРазочаровался что-то, казалось бы, задачу уже хуй знает сколько лет изучают и обучили на тоннах материала, а оно фейлит на первых фотках из гугла
>>1544007Кстати еще было бы круто, если кто что может посоветовать почитать, чтобы реализовать non-linear region для контура лицаа то из коробки эта штука возвращает мне только прямоугольник, а хотелось бы многоугольник более точный
>>1543969 (OP)Анон, а как решать задачи на Kaggle?Ну вот допустим, что Титаник и ещё пара базовых задач сделана, что дальше?Участвовать в соревнованиях и закономерно обосраться из-за незнания кучи архитектур нейронных сетей? Смотреть уже решённые задачи? Всё вместе?
>>1544348Найди какую-нибудь методичку по линалу любого вузика, там более чем достаточно материала чтобы понять машобчик.
>>1544453Что не так-то? Перемножение итд векторов и матриц, ну тензоров ещё - максимум что нужно себе представлять из линала чтобы понять нотацию. Даже какой-нибудь поворот матриц не нужен. Тут один клован писал что гамалогии нужны, на предложение привести пример слился, это не ты был?
>>1544006>задачу уже хуй знает сколько лет изучают>каскады хааракак там в двухтысячном? Найди предобученную нейронку. Попробуй чекнуть dlib, мб это подойдет http://dlib.net/cnn_face_detector.py.html ?
>>1544068>>1544096То есть вместо того, чтобы самому разбираться и применять методики, вы предлагаете готовые решения?Это толстота такая?
>>1544845> То есть вместо того, чтобы самому разбираться и применять методики, вы предлагаете готовые решения?А ты сможешь сделать лучше, чем automl?
>>1544348Критерий нормального учебника - там должно быть SVD. В совковых учебниках этого как правило нет.
>>1544519>Что не так-тоТвоя совершенно уебанская поверхностность. Буквально вчера читал пейпер о прунинге, в котором из нейронки удаляли из линейно зависимые фильтры. Соответственно без знания всего линала на уровне ВУЗа, ты даже это предложение не поймешь, не то, что смысл подобных действий. А если знаешь, то можно пейпер даже не читать, идея-то уже описана.Поворот так тем более нужен, потому что если ты не знаешь, что конкретно делает W*x в нейронке (линейное преобразование пространства, а поворот - частный случай, как и сверта), то шансов нормально работать у тебя минимум.А так, если вместо пейперов читать только двачи, а зарплату получать мамкиным борщом - конечно нихуя не нужно.
Антоны, я видимо совсем дегенерат тупой, направьте на путь истинный.Сеточка на тензорфлоу валилась и жаловалась на недостаток памяти, когда я на маленьком датасете указывал количество батчей 32.Позже, я поставил 8 и все было норм, она даже обучилась.Собственно, я довёл датасет до 10к пикч и оставив количество батчей таким же думал, что чем больше их укажу, тем больше памяти она будет жрать.Когда я указывал 6 батчей на новом датасете, то нейронка выжирала всю память и не обучалась.Поставил 32 батча и сейчас все норм и loss идёт примерно так, как он и должен быть.Где про все это можно почитать?
>>1544948Если есть жалобы на память, запусти nvidia-smi и убедись, что где-то не висит недобитый инстанс какого-нибудь питона, потому что так бывает - вроде все прибил, а на видюхе все еще память занята. В этой ситуации killall python поможет
>>1544944> читал пейпер о прунинге, в котором из нейронки удаляли из линейно зависимые фильтры.В крайнем случае непонятное можно непосредственно догуглить по ходу чтения, целиком вузовские курсы в себя пихать не обязательно.
>>1545013> Хочу, я же учу математикуКому ты пиздишь, зумер без мозгов? Твой предел возможностей в математике - счёт древних шизов. Ноль, целковый, чекушка и как там дальше.
>>1544985Это что-то уровня "английский знать необязательно, ведь словарь есть". Догугливать ты можешь только если у тебя хоть какой-то фундамент есть, и когда ты понимаешь хотя бы 90% пейпера.У меня инженерное образование и были хорошие курсы матана и линала, а вот с теорвером у меня провал, и я это каждый день чувствую, потому что, даже освоив базу, нужно несколько лет для интуитивного понимания.>целиком вузовские курсы в себя пихать не обязательно. Обязательно. И чем раньше ты это сделаешь, тем лучше. Тот же курс линала вполне реально осилить за месяц.
>>1545420Петух, плиз. Теория вероятностей и матстат это завершенные области математики, в которых нет ничего нового. Этот раздел нужен только говноедам-прикладникам, которые размазывают несвежую статистику по своим ебальникам.
>>1545420Твой матстат это тоже не математика. Сиди возле параши в /pr. Ах, тебя уже обоссали на вторую культуры.. какая жалость.. .
>>1544948Звучит так будто ты хранишь датасет в памяти или пытаешься запихнуть в нейронку картинки больше чем 512x512
>>1544906Теоретически, да. К тому же в любом случае надо хотя бы как-то представлять как реiаются проблемы. Работодатель-то тебя будет брать, а не automl, и работодателю нужны твои компетенции.>>1544848Насколько я понял, просто применяешь его к датасету, он сам там всё делает. Поправь, если не так.>>1544968Поподробнее плёс. Вот я что-то знаю, чего-то не знаю. Как овладевать тем, что не знаю и как это применять? На сосаче особо не помогут.
>>1545654> просто применяешь его к датасету, он сам там всё делаетА как же фичи инжинирить? Гиперпараметры настраивать?
>>1545743>корень квадратный из суммы квадратов катетов.Только математики смогли натянуть геометрию на... на что вы там ее натянули, на ИИ?
>>1545756Какая разница, кто кого натянул? Если применимо - почему бы не использовать? Тем более, у математиков есть аппарат, с помощью которого можно не изобретать колеса.
>>1544703Уже чекнул https://github.com/ageitgey/face_recognitionоно вроде на длиб основано тоже>как там в двухтысячном?соре, у меня проблемы с мотивациейстараюсь мл потрогать через практические и полезные для меня подзадачи в моих проектах
Ребзя, я правильно понимаю? Есть два способа вкатиться в машоб:1. Прочитать книгу Яна Гудфэллоу.2. Вмазаться Питоном и накачать библиотек.
Антоны, как определить, когда сетка переобучается?10к итераций назад она выдавала хоть и хуевые, но более нормальные результаты, чем сейчас, это все, переобучилась?
>>1546733> Сплошные индусы и китайцы.Так лицо современного СЖВ-кринж-дайверсити айти.- небелое сойбойское еблишко- петушиная борода из барбишопа- петушиный кукарек на голове- петушиная клетчатая рубашка, как вариант - петушиная футболка с петушиным принтом (пакман, какой-нибудь петушиный айти юморок)- петушиные лосины с подворотами, кедики, наушники, партаки- петушиные очки
>>1546562Короче, сетка выдает хуевые результаты на тестовом сете.Попробую ей еще 10к данных пригнать и посмотреть, увеличится ли точность.
>>1547249Хотя, можно будет попробовать и на другой сетке, хоть там код под Питон придётся перепиливать.Кому-нибудь ещё известны хорошие модели под OCR?Я таки не понимаю, чому нынешняя модель не обучается, может из-за того, что в датасете есть разброс данных, где у одного класса 6к примеров, а у нескольких других меньше сотни.Таки попробую у каждого класса под 60% дотянуть, а то точность в 33% - это совсем отстой.
Нужно найти косинусную близость двух русских предложений. Что лучше использовать в качестве эмбеддингов предложений?
>>1548051>косинусную близость двух русских предложенийЧерез пифагороштанишное распределение попробуй, ну еще можно получить катет и гипотенузу предложения, а от туда косинус наизичах найдешь
Сап аноны. Есть те кто успешно вкатился или уже долго работают в этой теме? Сам я закончил айти специальность по направлению программная инженерия, есть небольшой опыт программирования на С#. Надоело писать на нем, хотел бы обучиться чему-то новому и прибыльному, выбор пал именно на машинное обучение. Но есть загвоздки, во-первых в процессе обучения ничего не рассказывали на эту тему, во вторых не очень сильная математическая подготовка. На разных формулах очень часто встречал такое мнение, что без профильного мат. образования делать в этой профессии нечего. Знающие аноны, посоветуйте плиз, стоит ли начинать развиваться в этом напралении?
>>1548328>Знающие аноны, посоветуйте плиз, стоит ли начинать развиваться в этом напралении?Поскольку это говно складно работает только в больном мозгу маняматиков, то да, матан тебе нужно подтянуть.
Аноны, хочу начать играть в keggle, получить практический опыт. Не совсем понимаю как лучше начать, смотрю как другие ребята решали данную проблему, совсем не могу понять. Может кто подсказать гайд либо видео где ПОДРОБНО разбирается ходя бы один пример (гуглил уже, есть годная статья на хабре где написано как начать, но нет разбора ниодного разбора). Также в шапке нашёл ссылку http://mltrainings.ru/ но там тоже нет разобранных заданий. Если нет материалов по детальному разбору, посоветуйте пожалуйста что лучше изучить (если есть возможность поделитесь ссылками)
>>1548654Ты вообще ничего не понимаешь в машинке? Если что-то понимаешь попробуй надергать идеи из кернелов и подрезать мастера.
>>1548677В том-то и дело, мало что понимаю. Я немного изучил, думал на практике разбирая задания быстрее научусь, но что-то так не катит. Не мог бы посоветовать минимум, изучив который можно приступить к этим играм(из того что представлено в шапке не хватает)? И опять же, если есть видео или гайды с полным разбором, поделитесь пожалуйста
Насколько адекватным является обновление весов нейронки только в случае уменьшения лосса на тестовой выборке?
Здаров пачаны, есть ли библиотека нейронок для Петухона в которой реализована нумерация связей между нейронами и возможность задать вес этой связи обратившись к ней по её номеру. Пробовал FANN2, но это говно перестали развивать да и нужной мне нумерации связей нема. Ваши предложения? Также оч нужен генетический алгоритм обучения.
>>1549094Адекватно чему. Всё ведь зависит от задачи и требуемой точности. Если точность 100% то веса будут обновляться вплоть до полной сходимости. Но в таком случае высока вероятность переобученности.
>>1549164Выигрыш будет, т.к. обратное распространение ошибки в моём случае не подходит. В датасете на входе не одно значение а последовательность. Т.е. пока вся последовательность не пройдёт через перцептрон результат на выходе не нужно сравнивать с требуемым в датасете.
Как по русски называется то, о чем речь в статье с викиhttps://en.wikipedia.org/wiki/Data_assimilation
>>1549185> В датасете на входе не одно значение а последовательность. Т.е. пока вся последовательность не пройдёт через перцептрон результат на выходе не нужно сравнивать с требуемым в датасете.А ты не думал, что тебе нужен не перцептрон? Ну или как вариант, сам датасет переделать так что его можно будет перцептрону скормить. Все эти варианты в разы проще чем мутить то что ты собрался.
Анголы, обучаюсь в магистратуре по специальности информационная безопасность, параллельно с этим изучаю нейронки. Хотел бы написать диссертацию, в которой бы переплетались и ИБ и нейронки, но что-то не могу придумать такую тему. Может у кого-то есть интересные идеи?
>>1549685Имеешь ввиду сделать нейронки которая определяет полиморфный вирус по тем вирусам, которые на него похожи?
>>1549694Сделать нейронку, которая из обфусцированного отполиморфленного кода выделает оригинальный алгоритм, который был обфусцирован
Поясните за BERT. Все говорят - прорыв, а по виду - всё та же идея "заебеним побольше аттеншона, attention is all you need", только для предобучения взяли другую задачу (вместо объектов - последовательностей слов и таргетов - последовательностей слов у нас теперь объекты - пары последовательностей слов и таргет - бинарный, "связаны ли они логически", плюс нужно восстановить эти последовательности слов).
>>1549738Какой же ты ИБ, если про полиморфизм не знаешь?https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B8%D1%80%D1%83%D1%81#%D0%9F%D1%80%D0%BE%D1%82%D0%B8%D0%B2%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D0%B5_%D0%BE%D0%B1%D0%BD%D0%B0%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%B8%D1%8E
>>1549740В контексте вируса знаю, но не совсем понимаю как это может относится к каким-то обычным приложениям. Имею ввиду как может приложение самоизменяться, и при это сохранять нормальную работоспособность. Возможно есть какие-либо примеры?
>>1549741>>1549744И вы почему-то считаете, что таким образом можно доказать что разный код делает одно и то же?
>>1549739>Все говорят - прорыв, а по виду - всё та же идеяНе прорыв, не прорыв, успокойся, ты у мамы самый умный
>>1549739>>1550044Всё-таки гуглоподелиЯ для НЛП это излишняя сложность на ровном месте. Пейсбуковские проекты хороши тем, что просто поставил и пользуешься по назначению, можно даже и не знать что там какие-то нейросети бесовские. А этот ваш берт чтобы просто запустить, уже нужно пердолиться в слесарьплов, керас итд.
>>1543969 (OP)Тред зовётся "нейроночки и машоб", а пикчи по Дата саенсу, это разве одно и то же, поясните?Алсо, сложно сделать вкат в анализ данных? В ШАД пытался кто-нибудь поступить? Норм или потеря времени? Матан знаю, корочку имею
>>1550052О, ежедневный зумер вкатывальщик! Куда ты вкатываться собрался, если не понимаешь, какая связь между датасаенсом и машобом?
>>1550047Потому что гугл - это тф, фейсбук - это торч. И тф превратился в черти что. Какой-то франкеншейн, в котором есть как минимум 3 основных способа сделать что-то (старое апи, керас, при чем можно делать import keras, а можно делать import tensorflow.keras и это разные вещи, вплоть до невосместимости, если ты установил через pip другой керас, а еще есть эстимейтор апи, который нужен для кластеров, а еще есть иигер экзекьюшен, который вообще не ебу нахуй нужен), при чем все это еще и депрекейтится быстрее, чем ты успеваешь закончить проект.Например, я столкнулся с тем, что та поддержка TPU, которая есть 1.13, уже помечена как депрекейдед и выпилена, но в новых версиях нужные функции (а именно fit_generator) просто не имплементировали.Впрочем, торч тоже поебень та еще, но для в основном это примерно как линукс вс мак.
>>1549681Анализ аномальной активности. Типа чел логинится откуда-нибудь из зимбабве или делает нетипичные действия, и надо автоматом выставлять красный флаг.
>>1550073Sad but true. Tf че-то в последних 1.х релизах совсем заговнякали. А перекатывать всю кодовую базу на tf2 это опупеть можно.
>>1549739Поясните за машобчик. Все говорят - прорыв, а по виду - всё та же идея "умножать, складывать, вычитать и делить".
>>1550401Ты просто тупой или троль, фишка в том, что если решать некоторые задачи для бизнеса с помощью машоба, то прибыль растет.
>>1551423Ну смотри, ты задаёшь тупые вопросы уровня "я слишком ленив чтобы ввести мой вопрос в гугл и прочитать первую ссылку" и какого вида ответы ты ожидаешь?
Ребят, скажите какую нибудь уважаемую, но не особо серьезную книгу по NLP, чтобы я мог в отчете для уника ее в референсах использовать, пока описываю базовые вещи и понятия во введении.
>>1553513Зумера вкатывальщики как всегда. Ну если ты что-то пишешь про НЛП, что мешает загуглить NLP book и на первое в выдаче сослаться?
Ребята, вы тут как раз NLP обсуждаете...Короче такой вопрос: имеет ли смысл вкатываться в NLP сейчас и насколько перспективна эта область? Я вообще полный ноль в дата саенсе, но знаю JS и Python (довольно поверхностно). Мне почему-то интересна именно область NLP. А еще распознавание изображений и компьютерное зрение, но там, наверно, еще больше матеши придется учить. Если вкатиться сейчас, то какие перспективы для трудоустройства будут через 2-3 года? Хотелось бы узнать про Россию, так как не сильно хочу уезжать куда-то. Допустим, как с NLP обстоят (будут обстоять?) дела у Яндекса или ABBYY?Алсо сейчас глянул на либгене книги по NLP на Python: почти ВСЕ авторы книг в этой области - индусы (либо пакистанцы), как-то это странно и забавно.
>>1554072>ABBYYИм в основном нужны опытные программисты (и в первую очередь на плюсах), которые хотят ещё и машобом заниматься.
>>1554072>Я вообще полный ноль в дата саенсе, но знаю JS и Python (довольно поверхностно)Для начала научись программировать на уровне миддла. Без этого ты все равно ничего не сможешь.
>>1554313> Для начала научись программировать на уровне миддла. Без этого ты все равно ничего не сможешь.> import slesarplow as sp
ну что же всем привет как вам зима без снегав эфиопии тоже зима без сг=нега кстати именно туды мы все умные молодцы-ученцы поедем в следущем году и тогда уже будет веснав этом году скоры какието злые и много хороших статей не взяли даже с приличнымсполичными оценкамирасскажите будет ли в эфопии гашиш я всегда курю когда на конференции а потом краисво танцую спросите винода андрея сашуобсуждайте
>>1554072индусы просто житят хотят поэтму пишут книгимне предлагалои писать книги я отказался много мороки а денег мало я же н только рисом питаюсьNLP сейчас на подеме там трансформеры хорошо работают скоро заработают ганы и файн тюнингнапоминаю что это все сначала опробовали на картнгках и там это зажглотеперь с отставанием дого(перего)НЯет в области текстуальных символьных дискретных данныхрекомендую базаню
>>1550073это правда тензорфлой пошел по другому плохому пути они наняли красавчика франсуа а он нехороший самовлюбленный тиран болванфайсбук хуже работают чем гугл но хороший торч сделалихотя вроде он не все умеет что умеет тензорфлоу на самом деле
>>1551365свд это чуть ли не суть вообще всей прикладной математики если крепко задуматьсяя однажды сдавал экзамен на вмике и злой професор меня отправил на пересдачу за то что я все ответил и не ответил про свд он зло пошутил и сказал что я негодник а спустя много лет я понял что он правдаже в квантовой химии нужно свд поэтому учи его будь годником (но не срочником)
>>1555637ганы в смысле перцептуальных функций потерь несомненно зажглифайн тюнинг я оговорился имел в виду трансфер лернинг он тоже однозначно зажегкак пример статьи отчественного яндексоида артема бабенко про поиск с помощью сети имандж нет
СДЕЛАЛ КАСТОМНУЮ СЕТКУ ПОД ЗАДАЧУ@ОНА НЕ ОБУЧАЕТСЯ В ПРИНЦИПЕ, ВЕЗДЕ ОДИНАКОВЫЙ ОТВЕТ@ДОБАВИЛ ПОБОЛЬШЕ СЛОЁВ@РАБОТАЕТА я-то думал, что stack more layers - это сарказм.
>>1556640Какой уж сарказм, это реальность современного машобчика. Ты не знаешь, почему не работало с меньшим количеством слоев, не знаешь, почему заработало с большим. Новые архитектуры разрабатывают с десяток жрецов, имена которых общеизвестны, все остальное соевое зумер-кринж комьюнити иногда может какие-то гиперпараметры настроить лучше аутокераса. Это финиш, все.
>>1556640>>1556761https://ru.wikipedia.org/wiki/Закон_перехода_количественных_изменений_в_качественные
>>1556826Ты марксист что ли? ВОт взять говно. 1кг говна это говно, жд состав говна это почему-то тоже говно. Где переход?
Хочу написать бота для одной браузерки, нужно распознавать текст с картинки и сами простые картинки, типа рюкзак, молоток, удочка итд, размером 10x10 пикселей и выше. Писать буду на С++ под виндой msvc, возможен шланг. Есть готовые фреймворки для таких задач?
Нейраны, есть одна лаба, там нужно написать сетку для распознавания образов и гуи. Образы задаются в виде таблицы чёрно-белых квадратов, структура сети четко задана. На чем это проще всего написать? На шарпе? Я просто с нейронками имела дело только в R и питоне, там все проблемы решаются с помощью знаменитого stack more layers.
>>1557258Таблица будет 10х10 или 8х8 квадратов. Нужно еще обратное распространение сделать, но это уже детали
>>1557674Любая математика освивается только решением задачек, желательно на доказательства теорем. Если ты обучаешься сам, то тебе повезло, потому что1. Можно не так сильно дрючить внимание, перепутал плюс и минус и ответ не сошелся, нашел - исправил, двойку никто за это не поставит2. Можно не так сильно ебать себя вещами типа 100500 видов интегрирования, потому что это из докомпьютерной эрыНо повезло только в этом. Если ты думаешь освоить математику, не решая задачи, иди нахуй.
>>1557684>Можно не так сильно ебать себя вещами типа 100500 видов интегрирования, потому что это из докомпьютерной эрыГрадиентный спуск обратен интегрированию.
>>1557684Ок, но будут ли какие-то конкретные советы по книгам или курсам?Вообще я думал неторопливо вкатиться через Савватеева и Куранта/Роббинса, но решил спросить про конкретно математику для ML.
>>1557811>Ок, но будут ли какие-то конкретные советы по книгам или курсам?Мой совет конкретный, но ты его не понял. Ты перечисляешь лекторов с теорией. Математика - это практика. Это не "бля, я разучу 200 определений и начну решать задачи" и не Савватеев под пивас с его лживым "математика - это просто" для впаривания гуманитариям лекций. В любом вузе на 1 пару с лекцией будет несколько пар семинаров, на которых решают задачи, плюс домашка, где еще решают задачи. То есть на час теории у тебя часов пять практики. Естественно при таком соотношении времени можно найти себе книжку или лектора по душе. Магического лектора который даст тебе хотя бы 1.5х буст не существует.Начни с задачника по аналитической геометрии, это самое приземленное и понятное для вката. Затем линал. Затем бери задачник по матану. Конкретные фамилии похуй, это задачник, там задачи. Можно изучать все одновременно, но меньше нескольких месяцев тратить - самообман. Откуда ты при этом теорию будешь черпать - похуй, потому что разным людям понятно разное. После этого ты будешь знать достаточно математики для Ына и cs231n.Не осваивая этого ты в принципе тоже осилишь и то, и другое, но пользы извлечешь заметно меньше.
>>1557684>>1557832Чтобы просто понимать, о чем примерно вещает условный Ын, такой уровень и близко не нужон. Как и вообще для понимания что примерно делает энный алгоритм машобчика. Примерное понимание происходящего - это максимум, что нужно зумеру вкатывальщику, все равно сам писать алгоритмы он не будет, но, понимая в общих чертах, чего он вообще делает, не будет он и совсем уж импорт-слесарьплов мартышкой.>>1557780Да для тебя и счёт древних шизов уже высшие знания.
>>1558150Визуальная привязка не нужна. Не говоря уже о том, что для пространств произвольной размерности её хер построишь.
>>1558168>Визуальная привязка не нужнаВизуальная привязка не просто нужна, заниматься математикой без активного использования визуальной системы мозга невозможно, у большинства терминов есть какой-либо трехмерный источник, например, выпуклая функция, овражная, градиентный спуск, момент (т.е. инерция, это вообще физика), и эти названия дают прямую интуицию о том, что происходит.>Не говоря уже о том, что для пространств произвольной размерности её хер построишь. n=2 и n=3 являются частными случаями произвольной размерности. Собственно, вот рандомная страница из гугла курса Ына, йоба, он объясняет линейную регрессию именно для случая n=2. SVM объясняется тоже для случая n=2, ну и так далее.Новые алгоритмы именно обучения тоже первым делом тестируются на 2d датасетах, потому что там сразу видно, что происходит.
>>1557794>умных людейПричем здесь ум и матаноговно? Это стереотип вбиваемый тетясраками еще со школы, обычно маняматики рассеянные, замкнутые, токсичные, на хуй никому не нужные корзинки.
>>1558305Ум и матаноговно не при чем. Но если одному умному человеку нужно передать мысль другому умному человеку (в том числе и себе в будущем), ему нужен для этого язык. Русский язык для этого подходит плохо.>рассеянные, замкнутые, Черта любых интровертов>токсичные,Токсичнее тебя что ли?>на хуй никому не нужные корзинки.В рашке может быть, в мире спрос только растет
>>1558340>ему нужен для этого языкТы же не будешь отрицать, что математические записи это пиздец, пиздец, пиздец? Там такой легаси, от которого даже математики жидко сруться по этому поводу.
>>1558397Никто не заставляет тебя использовать конкретную нотацию, можешь хоть римскими цифрами писать.Давай конкретно, что тебе не нравится.
>>1558420Я спрашивал, что тебе не нравится, а ты кидаешь какую-то пасту.Там сквозь весь текст между строк написано "я аутист, помогите мне кто-нибудь". Любые языки для людей ambiguous и контекстно зависимы по своей природе, это не баг, а фича. Доебываться в этом плане до математики это все равно, что доебываться до английского языка, где он пишет "From Wikipedia Curvature as of 2008-02-22" - где здесь подлежащее и сказуемое? Нету их, ambiguous твою мать. Потому что это зависимость от контекста - это удобно. Неудобно тащить везде этот самый контекст и думать о нем.
>>1558439>>1558397>>1558305Ты мне напоминаешь СЖВ быдло, кукарекающее, что математика это инструмент белых расистов для угнетения негров https://www.google.com/amp/s/iz.ru/export/google/amp/930789
Кто в тензорфлоу работал с ragged tensor, поясните, как они? А то я не понимаю даже, как его через placeholder подать, плюс есть подозрение, что хуёво поддерживается и сделано для галочки.
>>1559330Ато. https://lifehacker.ru/nejroset-porfirevich/amp/ нейросеть порфирьич, дописывает предложения всяким рандомом Машобчик, который мы заслужили.
>>1559388> Это ведь даже не чат бот,Эту ебулду на gpt сделали, обучение на предложениях, часть которых маскируется, а затем предсказывается. Для обучения всякую классику брали, но если нужен именно чатбот, нужно несколько гигов логов чятиков, думаю, будет не сильно хуже рандомной ТП общаться.
>>1559288например используя метод from_value_rowids, создаешь плейсхолдеры одномерные и конструирушь новый с помощью этого метода
>>1559330>всемогущего чат ботаЕдинственный более менее это ИБМовский Ватсон, но там проприетарный франкейнштейн с хз что под капотом.
>>1559585А как с поддержкой всего этого? Можно на вход керасовскому слою передать? Пробовал с эмбеддинг-лейером - не сработало.
>>1559870В seq2seq используются тензоры с шейпом (BatchSize, MaxLenInBatch, X) и маски с шейпом (BatchSize, MaxLenInBatch), я не знаю где такие тензора используются.
>>1560011Тогда вообще непонятно, нахуя эти ragged tensors нужны, потому что самое очевидное их применение - работа с последовательностями.
>>1560070Обработка строк с помощью тензорфлоу, автоматом получать маски, вместо возни np.array и паддингом, просто можно и без них работать.
>>1560102Падажжи, то есть раггед тензоры нужны тупо для автоматической генерации полного тензора + маски? То есть мне предлагается тратить память и вычислительный ресурсы видяхи на то, что можно сделать на этапе предобработки?
астрологи объявили неделю горящих лабнужно запилить нейросеть, которая примерно определяет числовое значение некоторого параметра по фотографии. допустим, от 1 до 100. Во всех туториалах, которые я читал нейросеть определяла к какому классу относится объект. Но в моем же случае нужно что-то другое? или делать 100 классов - это норм?помогите, как это загуглить
>>1560210Я не зумерошизик, но ты хотя бы почитал чуть-чуть теории перед тем как вкатываться. Задачи классификации/регрессии, все дела.
>>1560241К сожалению вкатываться нет ни времени ни желания, уже работаю джава обезьяной. Но семестровую работу нужно сдать завтра на первой паре, чтобы не проебать отсрочку от армии.Поэтому пытаюсь найти наиболее легкий способ ее запилить - читаю туториалы по этому вашему тензорфлоу. очень сложно, нихуя не понятно.Может здесь кто нибудь снизойдет до помощи неучу-студентику? Получается мне стоит копать в сторону "задач регрессии"?
>>1560210В последнем слое вместо сигмоида/софтмакса выдаешь либо линейный слой без активации, либо нормируешь датасет чтобы он был ну допустим -0.5 до 0.5 вместо от 1 до 100 и ставишь tanh, либо делаешь 100 классов и сводишь задачу к классификации.Если лень думать, попробуй все 3 варианта и выбери тот, который работает лучше всего на валидационном множестве.
>>1560128Но я могу паддить на этапе генерации батча. И почему "не на видяхе"? Они это делают на обычном проце?Всё-таки это разочарование, я ожидал, что эта штука позволяет драгоценную память экономить.
>>1560331Память не особо драгоценная штука, ее локальность важнее, поэтому RNN сосет, а стейтлесс модели с аттеншеном - нет
>>1560210> астрологи объявили неделю горящих лабКоличество зумеров вкатывальщиков увеличивается вдвое.> помогите, как это загуглитьhttps://en.m.wikipedia.org/wiki/Constant-weight_code Нужные параметры кодируются в виде "1-of-n" (в твоём случае 1 из 100). Т.е код в виде "1 из n" это выход, а вход это картинка, которая содержит соответствующий параметр. Просто пронумеровать нельзя, т.к алгоритму нужно продемонстрировать, что искомые параметры это разные вещи. Простой пример - волк, коза и капуста. Если пронумеровать их просто как 1 2 3 соответственно, то для нейроночки коза будет средним вариантом между волком и капустой, что не имеет физического смысла. Тут сработает только кодирование 1 из 3.
>>1560334в seq2seq все может упираться в CPU если колаб, к тому же если ты паддишь при генерации батча, то в этом случае как раз есть экономия по памяти
>>1560433Мы не знаем, какой у него таргет. Может, у него не "волк, коза, капуста", а " резко негативно, негативно, нейтрально, позитивно, крайне позитивно", как в соцопросах. В таком случае порядковая шкала 1 2 3 4 5 имеет право на существование (или даже (0 0 0 0), (0 0 0 1), (0 0 1 1), (0 1 1 1), (1 1 1 1), если мы хотим учесть, что между ними разница бывает разной)
такая задумка посоны корочевзять малину 4б с 4гб памятиip камеру к ней затем идетсильная нейронная магия иона начинает распознавать лицатех кто к ней подошел по базе лиц.реально или бред?
>>1544944У меня за плечами мехмат и сколько-то лет опыта в дата саенс. Честно признаться, смысл действий из названия статьи понял сразу, но что конкретно делает W*x с точки зрения линейной алгебры и почему это важно не понял, можешь пояснить, что ты имел ввиду? Я не работаю с комп. зрением, больше с НЛП (чаще всего ещё старыми методами, безо всех этих новомодных нейронок) и простыми табличными данными. Не могу вспомнить когда я последний раз перемножал матрицы в своём коде, думаю только в целях обучения на какой-нибудь курсере. Ещё про алгебру: Даже на собесах математику мало спрашивают, если и спрашивают то матстат, тервер, алгоритмы вот они мне и в работе пару раз очень пригодились, методы оптимизации. Линал -- на собесах никогда не встречал и не слышал.Также вопрос: какой практический смысл в чтении пейперов? Реализовал в своём рабочем проекте описанное улучшение? Я пейперы активно читал только когда писал диплом и готовился к паре презентаций, но для повседневной работы польза сомнительна. Если это удаление лин. зависимых фильтров рили работает на практике то очень скоро оно будет во всех фреймворках страны вот тогда можно будет и почитать, если документация будет недостаточно подробна, а если нет, то ради чего время тратить?>>1557796А градиентный подъём тогда чему обратен в такой терминологии?>>1554313Поддерживаю вот это, хз почему тут все топят исключительно за математику, это ведь только часть успеха. Сильное программирование на мой взгляд обязательно, также как и сильные софт скиллы. По моему опыту, самые херовые вещи на проектах происходят как раз тогда, когда баги оказываются в "пустяковой" части кода, в выгрузке, предобработке данных, в валидации моделей. Более того, ошибки в математике обычно легче прощаются (все же знают, какая эта математика сложная, ууу!), а вот ошибки, смысл которых способен понять даже ПМ с заказчиком могут привести к потере доверия и репутации. В целом, я вообще поражаюсь, насколько медленно хорошие практики кодирования проникают в среду датасаенса. Линтер, гит, код ревью и автодеплой в мире датасаенса это какие-то высшие технологии!
>>1561686>В целом, я вообще поражаюсь, насколько медленно хорошие практики кодирования проникают в среду датасаенса. Линтер, гит, код ревью и автодеплой в мире датасаенса это какие-то высшие технологии!Это от того что всем хочется налабать по быстрому эксперименты, а времени все переписать нет особо.
>>1561686>а если нет, то ради чего время тратить?Если тебе неинтересна эта область, иди кодировать на жабе, там тоже платят. Нахуя ты сюда пришел, зумер?
>>1558397Очередной ебанат, который не осилил математическую нотацию, но суетится около математики и читает мнения умных людей о легаси в математике.
Так, расступитесь, хуесосы. Какой-то червь выше заявил, что язык математики это дремучее легаси. Спешу поссать ему в рот. Язык математики это самый плотный способ передать огромное количество информации. Зачем нужны слова? Они так заебали! Давайте разговаривать абстракциями!
>>1561844Ну хз. Во всех местах, где я работал, времени было предостаточно и даже больше. На мой взгляд дело скорее в отношении: "Мы же датасаентисты, а не какие-то там программисты!". Да чего я рассказываю, этот тред сам по себе очень показателен: тут многим дай волю, они бы переменные в коде греческими буквами называли.>>1562033Нет.>>1562041Таким как ты даже математика не поможет.
>>1562323> тут многим дай волю, они бы переменные в коде греческими буквами называли.Как что-то плохое. В агде (хотя оно и не для датасатанизма) так и есть https://people.inf.elte.hu/divip/AgdaTutorial/Symbols.html и это норма - использовать общепринятую нотацию, которой может быть не одна сотня лет. Поэтому языки для обработки данных должны иметь такую возможность. В идеале ещё и полная поддержка latex/ams-tex с распознаванием рукописного ввода.
Сап аноны, какие порекомендуете книги для практического применения нейронок с кодом и прочее, эдакий разбор задач по машобу?
>>1562306Это вебмакаки бугуртитят от математики, так как в ней надо представлять, а не ебошить по списку действий.
>>1543969 (OP)Аноны, дайте совет, сейчас изучаю питон и ML библиотеки, хочу начать учить sql. Возник вопрос, на какой СУБД лучше начать изучать? Какие чаще всего применяются в ML? И нужно ли на данном этапе учить NoSQL?
Какое соотношение количества фич к количество точек в датасете достаточно чтобы без опаски применять случайный лесок? бустинг? нейронки?
>>1562746> Главное, что результат будет одинаковым.Для тебя - безусловно. Чтобы была разница в результатах, мозги нужны.
>>1562656Какая разница? Базовый синтаксис запросов везде одинаковый, а большего тебе и не надо, ты ж их не администрировать собрался.
А существуют ли фрилансеры занимающиеся нейросетями? Или такие специалисты только бывают штатными при какой-либо организации научной или коммерческой?
>>1562379И Агда тут не исключение, есть ещё куча языков, которые поддерживают матанические символы и питон их тоже поддерживает кстати, если для именования переменных использовать и добавляют +100 к крутости, когда на них пишешь. Вот только где нормальные, большие и крутые проекты, которые бы нормально работали, будучи написаны на подобном языке?Да и не в греческих буквах дело, я ничего против них не имею, возможно просто выбрал не лучший пример. То, на что я хотел обратить внимание -- низкий уровень программирования у многих датасаентистов и хреновые процессы во многих ДС командах. Сейчас уже начала отпочковываться отдельная профессия -- Machine Learning Engineer, единодушного понимания кто это такой как обычно нету, но некоторые конторы понимают это как "датасаентист, умеющий прогать".>>1562669В общем случае нельзя сказать, зависит от датасета. Пробуй всё, но делай хорошую валидацию.>>1562656Если ты правда хочешь учить скл рекомендую sql-ex ru. Но по мне так >>1562708 всё правильно сказал, забей хуй и на скл и на носкл, даже если тебе нужно будет из базы достать данные, там примитивнейшие запросы, как-нибудь уж сдюжишь на месте или спросишь у кого. Если тебя на собесе активно спрашивают по всяким группировкам и оконным функциям, уточняют про ТРИГГЕРЫ и всячески склоняют в сторону БД, то знай, с большой вероятностью это унылая вакансия скл пидора, на которую из последних сил пытаются заманить лохов навешивая модный шильдик Датасаентист.>>1563291Можешь зайти на апворк и поискать спецов, это вроде доступно, даже если нету акка их там дохерища с разными рейтами, начиная от 10$ и до $100+.Если в треде есть датасаентисты-фрилансеры, расскажите как часы клеймите: обучение модели, чтение статей и т.д. Бывает ли недопонимание со стороны клиентов?
>>1563291>>1563344У меня на работе к начальнику иногда подваливает халтура (по связям), которую делают в основном студенты. Насколько я понял для сдачи достаточно продемонстрировать работу и заболтать клиента. Я один раз участвовал в подобном проекте, работать со студентами не возможно (хотя это возможно был студент долбаеб).
>>1563366Студенты же разные бывают и реальные челы - 7 пядей во лбу и псевдоботаны, которые считаются типа хорошими - все посещают, не имеют проблем с поведением, делают уроки, но на реальном задании из настоящей жизни сосут буй.
>>1563374Этот в питоне делал статические классы как в джаве (Хотя там явно нужно делать просто класс), наебенил копипастом модули вместо классов, наделал утечек памяти, ловил Exception в цикле, долбился в CloudFlare при скрапинге сайтов, в различных версиях программы одни и те же столбцы назывались по разному.
>>1563390Студент в первый раз на грабли наступил. Ну, или не в первый, а второй раз. Студент по кличке ОП
>>1563344>с большой вероятностью это унылая вакансия скл пидора, на которую из последних сил пытаются заманить лохов навешивая модный шильдик Датасаентист.Бэкэнд?
Мне надо в шарагу научную статью написать про нейронные сети, подскажите, где можно подсмотреть у американцев разработки по нейронным сетям и потом у них цап-царап! себе научную статью.
Сейчас психотерапевты пишут огромное количество статей про отношения, разрывы и проблемы в отношениях. Берите и читайте - получайте мудрость из интернета, которую ваши деды десятилетиями познавали на своем опыте. Но вместо этого вы как инфантильные долбоебы наматываете сопли на кулак, а у вас в голове до сих пор радужные пони. Впрочем, по тому, что ОПшу испугали точки в общении, тут все понятно
>>1563653Намек понят. Нужно создать базу прецедентов из диалогов, которые привели к отношениям. Их исход не особо важен. И требуется разработать систему оценки благоприятности диалога и, возможно, помощника в ответах на уровне "пиши, что хочешь писку ебат" или "не напирай".
>>1564269Тогда уж лучше сразу бота, который от твоего имени будет окучивать сразу много сельдей. Даёшь ему например 100-200 акков понравившихся, и вуаля, через неделю 20-30 уже готовы на поебушки, выбирай и действуй.
>>1564380Свидетель внешки? Внешка решает только с харизмой, тогда как харизма решает и без внешки. Если нейроночки могут в сентимент анализ, т.е в эмоциональное содержание текста, то смогут и в харизму, так же на примерах, при наличии датасета.
мб кто-то работал с распознованием графиков с картинки(python)?что можно было бы такого использовать?
>>1564362Для тиндера и других подобных помоек уже дохера таких ботов есть, только там не нужны ни нейронки, ни мл вообще, бот просто пишет всем подряд: "приезжай ко мне сегодня вечером", тех кто сразу не отваливается добиваешь вручную и готово. При этом сомневаюсь что процент отказов можно существенно снизить без сильного ИИ, потому что если беседа развивается дальше 5-6 сообщения, то список тем, которые могут возникнуть просто огромен.Ещё из интересного: я видел доклад про бота, который клянчит деньги в чатах, рассказывая всякие грустные истории. Принцип тот же самый, мл либо вообще отсутствует, либо в самой зачаточной форме, главное не качество отдельной беседы, а кол-во попыток. Результат по $$ был очень впечатляющий, любят люди деньги не пойми кому скидывать.>>1564402Думаю что для разных девушек и для разных ситуаций сильно по-разному, но подумай вот о чём: внешку ты демонстрируешь всем девушкам, в поле зрения которых попадаешь, а харизму только тем, с кем непосредственно взаимодействуешь.>>1564419Совсем без фоточки может и не лайкнут, но если поставишь фоточку с весьма средней внешкой, лайки будут точно. К тому же, чтобы вам там не говорили пикап коучи с ютуба, описание тоже читают и оно тоже решает.>>1564420Занятное чтиво, спасибо.>>1564527У меня был похожий проект, тут в первую очередь нужно использовать красноречие, чтобы убедить заказчика всё таки поискать исходные данные, по которым графики строились, точность такого подхода будет намного выше, чем дрочево с картинками.Возможно конечно я что-то не так понимаю, и у тебя графики не заданного формата, а просто рандомные графики разных видов и типов, тогда бэд лак, такую херню ты не решишь нормально.
>>1564637Графики в принципе пока только column вида, как на картинке напримерони на странице, могут быть разных размеров и количества колонокКак подобраться к ним ещё более-менее понятноа вот как доставать данные..
>>1564637>У меня был похожий проект, тут в первую очередь нужно использовать красноречие, чтобы убедить заказчика всё таки поискать исходные данные, по которым графики строились, точность такого подхода будет намного выше, чем дрочево с картинками.Не понел, разве сложно самому данных нагенерировать и различных графиков по ним?
>>1563344>В общем случае нельзя сказать, зависит от датасета. Пробуй всё, но делай хорошую валидацию.Ну хорошо, какой хотя бы порядок трейна нужен для бустингов на деревьях? Десятки тысяч примеров, сотни? Подходит ли бустенх для малых данных?
>>1564747С практической точки зрения:10_000+ примеров -- точно подходит, сам использовал + есть много кагл сорев, где выигрывал хгбуст (а позже и лгбм) и размер данных был именно в этих пределах.Меньше 10к -- может быть, но нужно очень аккуратно подбирать гиперпараметры, лучше попробовать более простые модели.С теоретической точки зрения:ГБТ это аддитивная модель над деревьями, если ты поставишь max_depth=1 и n_estimators=2 то (если я нигде не путаю) у тебя будет всего 2 сплита и 2 параметра (места этих сплитов). Полученная модель будет очень слабая и, соответственно крайне устойчивая к переобучению (при размерности пространства >=2, модель будет безопаснее обычной (лог) регрессии, у которой кол-во параметров кол-во фичей+биас)
>>1564768Я чё вообще бустинг-то взял: у меня катфичей много, если что-то более простое взять то после их раскукоживания данных тем более не хватит.> 10_000+ примеров -- точно подходитНу и заебок, пойду доразмечу тогда. А несбалансированность (бинарная классификация у меня) для гбт проблема сильная?
>>1564835> у меня катфичей многоиспользуй mean target encoding чтобы не раскукоживать, во всяких лгбм уже встроен давно> 10000 примеровхуя много насобирал> А несбалансированность (бинарная классификация у меня) для гбт проблема сильная?Можно вес для каждого класса указать чтобы потом под нужную метрику подстраиваться. Так что не проблема.
>>1564835>катфичей многоСмотря как раскукожить, про target encoding уже сказали.Попробуй libffm, из бустингов лучше всего подойдёт catboost -- он с категориальными вообще норм работает.>>1564867>во всяких лгбм уже встроен давнотам не mean target encoding, там другой категорикал сплит, в доках есть пояснение, т.е если сделаешь mean target enc дополнительно вручную, то есть потенциальный шанс увеличения скора
Есть одна таблица 40000 x 7000.При использовании той или иной классификации, она выжирает всю память.Можно это как-то оптимизировать?Инб4 докупи памяти, урежь количество признаков.
>>1565078Это же пара гигабайт. Достаточно обучать классификатор с помощью SGD.Было бы сто гигагабйт, пришлось бы юзать np.memmap
>>1565305Это примерно как один инвалид рассказывал как там Черные Дыры устроены. Очередной балабольще.
Будут ли профиты от знания всяких теорем тервера, теории меры и всякого такого, или достаточно уметь решать задачи про урны, находить матожидания и дисперсии?
>>1565363В общем, вопрос про то, достаточно ли для дс и мошонлернинга знать тервер только на уровне практики? И какие профиты знать более этого?
В датасаенсе вообще интереснее работать, чем просто прогером? Я вот на жабе пишу, бывает интересно, бывает не оч. Большую часть времени не оч конечно, но я просто в уебищной шараге работаю. Вообще мечтаю создавать огромные распределенные пайплайны по процессингу данных (типо Google cloud dataflow). И плюс поиском интересуюсь (information retrieval, вот это вот все). Скажите, это датасаинс? Это весело такие штуки создавать?
>>1565482> Это весело такие штуки создавать?Весело что-то или нет, только от тебя зависит. Если поймёшь, что твоя жизнь это комедия, а не трагедия, будет весело в любом случае.
Что делать, если в тренировочном наборе данных есть признаки, отсутствующие в тестовом, и в тестовом, есть признаки, отсутствующие в тренировочном?Дропать и там, и там?
Реально ли вообще использовать ИНС в роботах (не считая облако)? Хотя бы на какой нибудь малине или lattepanda alpha?
>>1565666Да, например используя nvidia jetson или пременяя различные трюки сделать маленькую быструю нейронку из большой.
>>1565305> андрей курпатовтак это же почти фрик, который просто рубит бабло >>1565363>теорем терверада>теории меры и всякого такогоне
Не отстань меня! В этом же, сударыня? В этом же вам со всем теперь заговорить меня с шелкимую волочу, тебе посводится с конченом и учити Ну, но, вот и не за чем же, как будто я к полуженсю совершь, то друг ему знает чусти братиц роди А вы, не беспокоит! Однако я к веле имение не понимают. Не отутный, два цену сметла. Не какой мой, так и манушка. Я пользом снех, а то странно пократить о видеми за себя вашего по На котерож и ждуни комнать. Что ты фаспериовать? Вы когда ни выпьем, потому вас положу. Не покляная то ваша возятся проводит смотрю, что только и не ув Напки умолите, чтоб он тебе подаствяю наких тонов, тогда не должат болет. Что ты будел у нее взять? Странное и сострятья! Ну, что ж ты себи знативое здесь? Когда вы так так обнимать может с? Ну, да и тогла, чтоб она о денега Приедаться ваши постраляться не может. Он меня объястить может.
Какие же косорукие дебичи тренировали этого порфирьеча. Или это код генерации сломан. Результат просто рандом, хуже марковской цепи по двум словам.
>>1566066Свидетель великаго и могучего, лол. Вся разница в том, что может быть нужен корпус текстов побольше.
По поводу великих и могучих. Вот у чукч вроде 10 или около того названий снега, в зависимости от его цвета и плотности. И ни один чукча эти сорта не спутает, для них это реально разные вещи. Понятно, что NLP модели на таком языке будут работать хуже, чем на любом другом, где "снег" это одно слово и одно понятие. Но было бы очень странно считать язык с десятком названий для снега более великим, чем с одним.
>>1566076>Вся разница в том, что может бытьЧто может быть это не аналитическое недоязыковое говно типа инглиша?
>>1566325> Функан будет полезно знать?Из функана полезны понятия функционала и оператора, если есть желание осилить Вапника и вообще понимать статистическую теорию обучения.
>>1566082да, а ещё у чукч полисинтетический языки вот тебе десять "названий" снега: мокрыйснег, желтыйснег, грязныйснег, белыйснег, твердыйснег, падающийснег и тд
>>1543969 (OP)А вот интересно, ведь на сколько я понимаю вся эта ваша матаностатистическая поебота теоретически может из больших набров вывести грамматику? Это же охуенчик, почему вы этим не занимаетесь?
>>1567167> может из больших набров вывести грамматику?Может. Есть побуквенные эмбеддинги, которые на больших наборах текста могут анализировать очень сложные связи слов на основе корней, приставок, суффиксов, окончаний итд. Вроде наиболее информативны в этом плане буквосочетания от 2 до 5 букв внутри слов. > почему вы этим не занимаетесь?Занимаются этим, попадались пейперы на такую тему.
>>1567291>на основе корней, приставок, суффиксов, окончаний итдТоесть их нужно вручную забивать? Кекус>попадались пейперыЗначит ничегошенки не зделоли
>>1567324> Тоесть их нужно вручную забивать? КекусЗумер, тебе ясно написали, эмбеддинг на уровне букв. Затем для анализа задаётся количество букв. Где я хоть что-то про ручное написал?
>>1567325>на уровне буквВы там вобще ебанулись? Я конечно понимаю, что матанопетушня сует свой еврейский нос во все сферы пока по нему не счелкнут, но это уже слишком... Зачем вам вобще буквы, замените их порядковыми номерами в алфавите?
>>1567328Мань, вообще-то буквы цифрами и кодируются, ты настолько безграмотное село, что не в курсе про ASCII или там юникод? Хотя что ещё можно ожидать от жидошизика.
>>1567330> А как по количеству определется морфема?Статистически, текста же много. Наилучший результат, если букв от 2 до 5, остальные варианты хуже.
>>1567457>текста же многоНу и что, как статистичесаи можно вычленить морфемы?>>1567446Но вот и работай с цифрами, приводи любую писменность к одной последовательности.
>>1543969 (OP)Аноны, хелпаните плиз. Хочу диплом написать по маш.обучению+ИБ. Аноны посоветовали мне сделать сетку, которая из обфусцированного кода сможет выделить оригинальный. Возникла проблема, не могу найти ни датасеты в которых были бы примеры вирусов, ни книг либо курсов по написанию вирусов. Возможно кто-то сталкивался с подобной задачей? Можете накидать ссылок на датасеты и/или курсы по вирусам?
>>1568471МЛ+ИБ гиблая тема, сам по ней писал диплом, ничего хуже этого в мл нет, особенно с IDS, по которым сотни бесполезных статей. И вообще ИБ-шники смотрят на тех, кто хочет применить нейронки в иб как на городских сумасшедших.
>>1568471>Аноны посоветовали мне сделать сетку, которая из обфусцированного кода сможет выделить оригинальныйЯ только в полглаза видел доклады, вроде чем-то похожим в Jet brains. У них канал вроде бы на тьюбе есть, посмотри там.
Может кто-нибудь слить эту книгу? https://books.google.ru/books?id=M5RRDwAAQBAJ&lpg=PP1&hl=ru&pg=PP3#v=onepage&q&f=false
>>1568991http://gen.lib.rus.ec/search.php?req=Deep+Learning+Quick+Reference&lg_topic=libgen&open=0&view=simple&res=25&phrase=1&column=def
Поясните за функцию, которую оптимизируем в линейном SVM. Чёт не вдупляю, первая часть -- типо мы уменьшаем длину вектора, нормального к разделяющей гиперплоскости (это понял), и потом в большинстве источников написано "subject to yi(W x Xi + b) >= 1 for i from 1 to n". Что это за yi(...)? Выглядит как функция, но yi -- это же просто метка, к которой принадлежит очередной инстанс из выборки.
В минимаксе нужно оценить состояние игры, хочется использовать для этого нейронку. Как её обучить?Просто семплировать траектории и скармливать сетке пары (состояние, итог игры)? Но тогда после обновления сетки агент станет другим и оценки станут неправильными.tldr: как лучше обучить критика без актора?
>>1569288То есть если всю выборку можно разделить гиперплоскостью -- задача состоит просто в нахождении двух самых ближних точек, принадлежащих разным классам? И 1/2 от расстояния между ними и будет самой оптимальной длиной перпендикуляра к разделяющей плоскости. Блин, вроде понял
>>1569297Да, и ещё вопрос:Получается когда данные неразделимы, то тут начинается вся эта магия с "kernel trick" и мы переводим их в пространство большей размерности, в котором они становятся разделимыми и сводим задачу опять же к простой геометрической?И кстати, что если классов несколько? Там типо строим всякие диаграмы Вороного?
>>1569301Ты как-то странно интерпретируешь кернел трик. Диаграмма Вороного это считай оптимальная граница между например сферически ориентированными множествами, имеющими центр, мыльная пена это 3д диаграмма Вороного ирл. Суть svm же в том, что учитываются только точки на границах, разделяющих классы, остальные просто обнуляются умножением на нулевые ланранжианы. Центры классов при этом так же не учитываются, даже если они есть. Ты не в ту сторону мыслишь, короче, это разные вещи.
>>1569297Нет, не так. Задача - так провести прямую, чтобы сумма расстояний от неё до классов +1 и -1 была минимальной (расстояние между множествами - это минимальное расстояние между их элементами). Это не сводится к поиску минимального расстояния между парой точек из множества: например, если взять точки из класса +1 {(0, 0), (2, 0)}, а из класса -1 {(1, 1), (2, 1.2)}, то минимальное расстояние будет между точками (2, 0) и (2, 1.2), и серединный перпендикуляр - y - 0.6 = 0, но оптимальная разделяющая плоскость (с максимальным зазором между классами) будет y - 0.5 = 0.>>1569301>Получается когда данные неразделимы, то тут начинается вся эта магия с "kernel trick" и мы переводим их в пространство большей размерности, в котором они становятся разделимыми и сводим задачу опять же к простой геометрической?Да, kernel trick для этого и нужен. Второй инструмент добиться желаемого - >>1569335: позволить некоторым точкам вылезать в зазор, но при этом накладывать штраф за нарушение. Обычно их просто вместе используют.>что если классов несколько?Боль. Обычно строят кучу классификаторов либо в стратегии one-vs-one (сравниваем каждые пару классов), либо one-vs-rest (класс против всех остальных классов) и пытаются агрегировать результаты классификации. Один из плюсов логистической регрессии по сравнению с SVM - за счёт нормальной вероятностной интерпретации она легко и естественно обобщается на многоклассовый случай (биномиальное распределение заменяется на мультиномиальное, сигмоида - на софтмакс, логлосс - на кросс-энтропию, да-да, ровно оттуда в нейронки они все и пришли).
>>1569401Только вот kernel trick работает так же как линейный SVM, только в пространстве поражденном ядром (reproducing kernel hilbert space).
Когда уже сделают нейросеть, которая юудет генерировать самые оптимальные sql запросы? А мы будем просто с ORM работать.
>>1570051> юудет генерировать самые оптимальные sql запросыТам и без мошонлёрнинга оптимизация выдрочена.
Учусь в вузе на 1 курсе, жутко хочу вкатиться в мл ресерч.Проблема лишь в том, что на данном этапе у меня мало математики: всего лишь год матана и год линала, а потом один семестр теорвера и матстата. Как жить дальше?За первый семестр я:1. научился решать несложные пределы2. еще раз потренировался в нахождении производных3. научился раскладывать функции в ряды тейлора и маклорена4. еще раз узнал про методы аналитической геометрии (афинных преобразований у нас не было)5. научился немного в матрицы: складывать, умножать, находить обратную, решать простейшие матричные уравнения, метод гаусса, и все такоеПомимо этого пытался учить теоремы и доказательства.Вопрос, каким образом я могу повысить свой уровень математической подготовки? Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.Слышал, что в РФ есть какие-то крутые магистратуры, связанные с ML, только туда не поступить, так как все места заняты выходцами из мфти и вшэ, уровень развития которых намного опережает уровень развития выпускников других вузов.
>>1570218>Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.В таком случае останется только самому замутить стартап с нейросетями и бигдатой.
>>1570218Матподготовка на самом деле нужна как раз для собеседований и как раз вот по перечисленным тобой темам. Из специфичного тебе надо для мл только некоторые вещи из статистики, ну и хорошо понимать как многомерные функции и оптимизация работают. После матфака один хрен ничего бы не помнил, а ты вон даже мотивированный и заинтересованный. Учи модели, пиши их, соревнуйся на каггле, там и поймешь какие знания недостаточны
Всем приветЯ-зумер. Буду вкатываться в вашу сферу с помощью платных (дада, я еблан) курсов Яндекса. Надеюсь, все получится
>>1570218>жутко хочу вкатиться в мл ресерч.Но зачем? Потратишь десять лет на вкат, чтобы работать за зарплату кассира. Так себе перспективы.
>>1570218пиздуй в НМУ>>1570246и как это поможет в ресерче? >учи модели, пиши их, соревнуйся на кагглезаебись ресерчер будет
>>1570248В чем проблема с плантыми курсами/вузиком, если ты реально, что-то изучишь и найдешь работу 300кк в нс? Платное образование - это инвестиция
>>1570031> Только вот kernel trick работает так же как линейный SVM, только в пространстве поражденном ядром (reproducing kernel hilbert space).>>1570481> Ну да.А это точно? Я что имею в виду. Некоторые реализации svm, дающие возможность покопаться в потрохах алгоритма, позволяют такой финт ушами, как умножение датасета на кернел, а затем обработку этой хуйни линейным svm. Я специально пробовал, результат ровно тот же, если использовать нелинейную svm с тем же кернелом. Может быть "нелинейные" svm это просто враппер для удобства использования, а по факту там просто данные умножаются на кернел и обрабатываются линейной svm?
>>1570544Так можно делать, все дело в затратах памяти, алгоритмической сложности и нужны ли опорные вектора.
>>1570340а как ещё вкатываться в ресерч без фундаментальной математики? предлагаешь ему всю жизнь гиперпараметры перебирать и графики строить?
>>1570798>а как ещё вкатываться в ресерч без фундаментальной математики?Судя по тому, что он написал, учится он в техническом вузе, какое НМУ инженерам или прогерам? Что там объясняют понимают лишь единицы, и почти в 99% случаев это люди, которые учатся на мехмате или матфаке и хотят заниматься фундаментальной матешей. А ресерч в мл это совсем другая область.покормил
>>1570934>Риали этим говнищем еще кто то и хочет заниматься?Ну вот в НМУ можешь зайти, там полно таких. Ну и среди школьников сейчас распространено мнение, что математика, а особенно фундаментальная, это круто и вообще математики самые уважаемые в мире люди.
>>1570218> научился решать несложные пределыНужно для понимания производных>еще раз потренировался в нахождении производныхОснова градиентного спуска вообще>научился раскладывать функции в ряды тейлора и маклоренаЛинеаризация - куда без нее>еще раз узнал про методы аналитической геометрии (афинных преобразований у нас не было)Нужна для понимания линала>научился немного в матрицы: складывать, умножать, находить обратную, решать простейшие матричные уравнения, метод гаусса, и все такоеВсе что нужно для понимания LU и SVDДля первокурсника у тебя нормальная подготовка. В ML основная задача не в математике, а ее интерпретации.Типа вот есть математический маятник, есть диффур, его описывающий. Есть типичная преподша, закончившая мехмат, которая вызубрила, как решается такой диффур, но совершенно не понимает, как это относится к реальным физическим процессам. Таких людей дохуя. У них есть дипломы, они зарабатывают знаниями на жизнь. Но при этом совершенно не умеют интерпретировать свои результаты. Для этого есть другие люди - физики. И с ML примерно такая же ситуация. Там нет особо сложной математики. Вся сложность там в интерпретации.Поэтому, отвечая на твой вопрос, читай arxiv-sanity и выписывай темы, которые не знаешь, затем прорабатывай. Перед этим почитай книги по DL, cs231n, популярные презентации ЛеКуна посмотри.>Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.Ну это ты им льстишь. Впрочем, так думать полезно>Слышал, что в РФ есть какие-то крутые магистратуры, связанные с ML, только туда не поступить, так как все места заняты выходцами из мфти и вшэ, уровень развития которых намного опережает уровень развития выпускников других вузов. Эти люди даже в мухосранском заборостроительном будут лучше тебя. Вузики дают сраный энтрилевел, а волшебного места, попав в которое ты поумнеешь, нет
>>1570798>а как ещё вкатываться в ресерч без фундаментальной математики?Фундамент ему дают.А то, что дают в НМУ, это фундамент для теорфизиков. С каких пор фундамент для теорфизиков стал каким-то фундаментным фундаментом, и почему все должны все бросить и разрабатывать теории струн, которые не обладают предсказательной силой - не понятно
Ну надо же, как вы все сегодня разговорчивы.С высшим образованием для ML понятно.А что с переквалификацией в ML уже выпустившихся и работающих? Вкатываться джуном/интерном?
>>1570939>Ну и среди школьников сейчас распространено мнение, что математика, а особенно фундаментальная, это круто и вообще математики самые уважаемые в мире люди. Тогда бы школьницы Перельману проходу не давали.
>>1571090Это мнение 10-11классников, которые сдают егэ по матеше и мечтают зашибать бабки за то что они такие крутые умеют решать задачи с параметром, а не школьников в целом
>>1571226Ну для ресерча нужна профильная мага по ml/ds и пхд потом.В магистратуру после инженерного вуза поступить скорее всего будет не сильно сложно, особенно если были методы оптимизации и тервер матстат
>>1571145В инженерном вузе инфу-то дают, то не контролируют ее никак. Вызубрил, допустим, линал, сдал - и все, в дальнейшем обучении он тебе не требуется. Еще инженерам хуево дают тервер.Так что с точки зрения инфы - в целом правда, но надо еще суметь все выучить, а инженерный вуз будет сильно тебя отвлекать нерелевантной хуйней.
Короче, факт в том, что в настоящее время все мы наблюдаем очередной кризис жанра в нейроночках. Вялые попытки наебенить побольше слоев, всякий прунинг итд. Все это уже было и привело ровно ни к чему, но зумера этого не знают, потому что не читали того же Хайкина толку-то его читать с клиповым мышлением. Прошлый раз ситуацию спасли новые архитектуры (+ закон Мура), вкратце - диплернинх. Но сейчас уже и из этого выжали все, что можно, нужно двигаться куда-то еще. И на данный момент единственный выход и дальнейшее развитие возможно только в сторону написания нейроночек на функциональных ЯП и затем доказательства нужных свойств в пруверах. Подход Вапника (построение теории и уже на ее основе вывод алгоритмов) так же начисто проебан, практически ни у кого нет на это мозгов. Остается вариант формализации элементов нейроночек в MLTT/HoTT/COIC/т.п. и экстракции новых архитектур из формулировки требуемых свойств в виде теорем в зависимых типах. Даже на неразрешимость такой задачи на тактиках похую - есть quickcheck/quickchick, да и логика нейроночек не слишком сложная. Можете скринить, так и будет, когда какой-нибудь Сунь Хуй Чай напишет на коке хуйню, уделывающую весь современный стейтофзеарт. Собственно, некоторые поползновения уже имеются - https://github.com/liaopeiyuan/zeta нейроночки на окамле. Минусов такого развития событий я вообще не вижу, одни плюсы включая соснувших зумеров-вкатывальщиков, которые уж в кок точно не вкатятся никогда.
>>1571691>дальнейшее развитие возможно только в сторону написания нейроночек на функциональных ЯПТ.е., что нейронки являются неработоспособным говном ты не рассматриваешь?
>>1571698> Т.е., что нейронки являются неработоспособным говном ты не рассматриваешь?Нет конечно. Зачем мне рассматривать фантазии двачного кефирщика?
>>1571691>Короче, факт в том, что в настоящее время все мы наблюдаем очередной кризис жанра в нейроночкахМы наблюдаем, лол. Какой год кризиса пошел в твоем манямирке, пятый?>Но сейчас уже и из этого выжали все, что можно, нужно двигаться куда-то ещеДвижение сейчас идет в сторону замены convolution'ов attention'ами, спарсификацией и соответствующей модификацией железа и софта (текущие фреймворки для перемножения sparse матриц плохо подходят).Прунинг - это половичнатое решение, когда обучение ведется dense, а спарсификация производится потом. ConvNet'ы -= еще более половинчатое решение, когда спарсификация жестко зашита в архитектуру.Иными словами, сейчас размеры сетки (данной архитектуры) пропорциональны количеству гигафлопсов, которые она потребляет, то в будущем количество весов будет расти, а гигафлопсы - нет. Так и работает мозг, который опыта помнит дохуя, но в данный момент времени потребляет энергию только малая его часть, а если бы мозг заработал сразу целиком, он очень быстро бы перегрелся и умер в собственных продуктах жизнедеятельности. На железе подобное поведение сейчас только эмулируется.> Подход Вапника (построение теории и уже на ее основе вывод алгоритмов) так же начисто проебан>экстракции новых архитектур из формулировки требуемых свойств Потому что этот подход аргументированно разъебан ЛеКуном. http://www.abigailsee.com/2018/02/21/deep-learning-structure-and-innate-priors.htmlКогда ты строишь теорию о своем датасете, далее ты изучаешь уже не сам датасет, а свои предположения о нем. Этот подход годится для коммерческих решений, но не для магистрального направления науки.Про борщемечты типа "я не знаю математики, пусть за меня ее знает КОК" отдельно посмеялся.
>>1571769> этот подход аргументированно разъебан ЛеКуном.И поэтому svm из 90х (основанная на принципах из 60х) кое-где в NLP досихпор sota, а бустинг и в других областях машобчика. А про ленеты многие даже не слышали.> Про борщемечты типа "я не знаю математики, пусть за меня ее знает КОК" отдельно посмеялся.Кок не про это вообще, как и формализация нейроночек.
http://ks-region69.com/easyblog/107434-v-tveri-idjot-rabota-nad-issledovaniem-iskusstvennogo-intellekta
Котятки, я ньюфаня и у меня совсем тупой вопрос:Делаю я по гайду простейшую нейронку, которая , допустим, учится XOR выдавать.Скрытый слой, сигмоида, её производная, блаблаблаИ всё работает, всё замечательно.По другому гайду другую простейшую нейронку для классификации котиков и собачек. Там в примере используется RelU.И тоже всё работает и заебись.Но стоит мне самому засунуть эту Relu и её производную вместо сигмоиды в первую нейронку, как всё идёт по пизде, веса улетают в бесконечность, гроб гроб И вот понимаю, что функции разные, но что нужно менять конкретно, чтобы засунуть Relu вместо сигмоиды, и оно не развалилось всё?Пробую уже не из говна и палок , а в том же керасе, тоже по примеру. С Relu работает, за 2000эпох постепенно выучивается, тупо activation="relu" меняю на activation="sigmoid" и всё, нихуя не учится. Или что-то нужно менять ещё? (в последнем слое у меня софтмакс во всех вариантах, его я не трогаю. Или надо, но на что?)Примеры своего говнокода не привожу, думаю, есть какое-то адекватное универсальное объяснение.
>>1572127>И вот понимаю, что функции разные, но что нужно менять конкретно, чтобы засунуть Relu вместо сигмоиды, и оно не развалилось всё?При проектировании нейронки тебе нужно понимать, какая область значений у твоей нейронки, и активацию на последнем слое выбирать с учетом этого. Xor имеет значения либо 0 либо 1, поэтому выбирать relu на последнем слое глупо, потому что у relu область значений от 0 до бесконечности. Хотя принципиально возможно за счет промежуточных слоев ограничить выход, все равно ты потратишь мощность нейронки на глупую работу. Так что при решении задач типа 0/1 последний слой всегда должен быть sigmoid, либо линейным (зависит от твоего лосса).Если у тебя задача регрессии, и Y датасета имеет произвольные значения (например, -5), то сработает только линейная активация на последнем слое, надеюсь понятно, почему.Это не касается промежуточных слоев, только последнего.Что касается промежуточных слоев, то правило совсем простое - используй relu всегда (если совсем хипстер, можешь заменить relu на swish, но сильно это не поможет). Если у тебя активация с насыщением в более чем 1-2 слоях подряд, твоя сетка столкнется с проблемой vanishing gradients, поэтому если тебе все-таки нужны сигмоиды в промежуточных слоях (например, для сложной логики типа LSTM), нужно позаботиться о том, чтобы градиент распространялся мимо сигмоидов, которые имеют нулевой градиент во всем диапазоне, кроме близкого к нулю, и поэтому имеют свойство там застревать и не обучаться.
>>1572141Спасибо, я вроде разобрался.Думал у меня с сигмоидой вообще не учится, а оказалось что просто очень медленно.Вот про swish читал как раз, но так и не понял, как его задавать.Какая у него производная? Я какую-то хуйню насчитал вместо производной(
>>1572127Входные данные в каком диапазоне? Возможно, надо их нормализовать. Из-за этого с релу могут взрываться градиенты (а с сигмоидой все будет "норм")
>>1572193> большая загадка, какие входные данные у xor'а>>1572200> любые> булева логика с двумя значениями 0 и 1> большая загадка, какие входные данные могут быть у булева типа> любые
>>1572484Мань, xor это булева функция, принимающая на вход два значения из булевых типов и выдающая на выходе значение также из булева типа, Bool -> Bool -> Bool. Таблица значений xor пикрелейтед, а что ты там за картинку с нечёткими множествами (?) высрал, я не знаю.
>>1572624Охуеть гений. До идеи МакКаллока и Питтса о нейронах в нейроночке на бинарной логике (1943 год) он уже додумался. До адаптивной динамической структуры сети, определяемой конкретной задачей, тоже (Ивахненко, 60е годы). Если ещё до генетического программирования додумается, вообще атас будет.
Скоро машобу будут учить не связанные с кодерством специальности. Превратится в опцию экселя.https://www.youtube.com/watch?v=4_RmPnU-UzA
>>1572711Деда, ты? Еще с нулевых программирование учат на НЕ технических направлениях на бакалавриате в нормальных вузах. Уверен, на направлениях связанных со статистикой (менеджмент, финансовые, социология, етц.) уже изучают МЛ хотя бы в эксперементальном формате инб4 зеленая стрелочка рашкообразование
>>1572552Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курс, в нму не пошёл ибо разъёбываю дип лёрнинг (nlp, хотя сейчас shallow нейросети, неевклидовы модели векторных представлений слов для нужд кластеризации/факторизации текстов, но вообще больше в глубоких сетях, тоже nlp), так что ты мне не ровня.
>>1572880>Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курсололо диванон травля
Ну и срач вы тут развели.А сейчас снова тупые вопросы:беру код из примера одного для pytorch-а, этот вот:https://pastebin.com/tzZ88vUKон работает, но чёт ругается сильно вот такими нехорошими словами:..\torch\csrc\autograd\generated\python_variable_methods.cpp:1204: UserWarning: This signature for add_ is deprecated:add_(Number alpha, Tensor other)Пример кода из 2017 года, а у меня последняя версия торча, на что он ругается не понимаю(
>>1572880> Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курс, в нму не пошёл ибо разъёбываю дип лёрнинг (nlp, хотя сейчас shallow нейросети, неевклидовы модели векторных представлений слов для нужд кластеризации/факторизации текстов, но вообще больше в глубоких сетях, тоже nlp), так что ты мне не ровня.Ага, уровень образования в Блинолопатии сразу видно. Зумер медалист не знает, что такое булева функция. Таблицу умножения хоть знаешь, гейний? Пикрелейтед ксиву победителя всероса не ты обронил?
>>1572997Хоть один публично доступный пруф регистрации российских номеров ТС по видеопотоку за все это время запилили? Гугл забит сугубо нерабочими велосипедами разной степени упоротости, в половине закрытых решений по факту нихуя не машинное обучение и даже не нейрон очка. Вкатывайтесь лучше в js-программирование адаптивных интерфейсов, детки, вам со всеми этими бесполезными понтами там самое место.
Посоны, таки получилось обучить нейроночку на распознавание текста.Только есть одна проблема - низкая инвариантность, полагаю это из-за того, что мой датасет был на одном шрифте одного размера.Я могу еще сгенерировать картинки с другими шрифтами и размерами и даже добавить наклон, сделать на цветном фоне, добавить размытие.Но каковы вообще шансы, что нейроночка после обучения на нескольких шрифтах научится воспринимать и другие?
Ребята, кто нибудь слышал у новом мега мощном алгоритме биморф, который достигает 100% качества? Слышал что он не переобучается и может работать на бесконечно больших данных.
>>1573121Вчера обучал на датасете в 20к картинок, но там был один шрифт одного размера на белом фоне.Сегодня взял еще текста из книг и сгенерировал картинки с 4-мя другими шрифтами, добавив рандомный наклон и небольшое изменение размера шрифта.Думаю еще нужно рандомных фонов закинуть, чтобы нейроночка не только на белом фоне умела определять.Алсо, по обучению на том шрифте нейроночка уже лучше тессеракта по точности
>>1572997>уровень образования в Блинолопатии Петух, ты там со шпротляндии или незалежной перемогаешь?
Котаны, че по нейронным машинам Тьюринга, где почитать-пощупать-спиздить себе в код?Пытаюсь в разумного чатбота с памятью не как у рыбки
>>1573690Не рвись маня, ну в каком ещё университете мира (который даже внешне больше напоминает африканский приют для бомжей) будут изучать философию и историю на кафедре информатики, правильно, в свинособачьем.https://www.youtube.com/watch?v=znJd0i6wKQY
>>1573935>Не рвись маня, ну в каком ещё университете мира (который даже внешне больше напоминает африканский приют для бомжей) будут изучать философию и историю на кафедре информатикиВ Гарварде?
>>1573989> вклад в машобчик индусов и китайцев в той стране, где ГарвардДаже это показательно, если сравнить с вкладом в машобчик узбеков и таджиков в Сладкохлебии. Кто едет туда, а кто к нам.
>>1574073В отличии от ваты мы из штанов от гордости за постсовковую территорию сладкого совкового хлебушка не прыгаем и работаем и живем там где нам выгодно и удобно.
>>1574076>от гордости за постсовковуюТак у вас и государства не было, чего вам прыгать? Благодаря совку и образовалось это недорозумение с землями которые вам никогда ее пренадлежали.
>>1574097> с землями которые вам никогда ее пренадлежали.Типа, тебе в Блинолопатии что-то принадлежит кроме соплей в носу? Да даже говно, которое ты высрал, оно не твое, а управляющей компании.
>>1574101>БлинолопатииСелюк, плез. Пиздуй к свиньям на цензор и перемогай там, здесь ваша мерзкая хохлявая пиздобратия не нужна.
>>1574144Это тот же дегенерат, который кефирщик и математику не понимает. Помимо этого ещё и путриот, что не удивительно - мозгов-то нет.
Антоны, где почитать про визуализацию работы нейроночек?У меня InceptionV3 + lstm с аттеншионом, хочу посмотреть, какие признаки нейроночка выделила.
>>1574287>Любишь жрать говно, но родноеЛибираш, почему только вы жрете говно? Ни я ни мои знакомые его не едят. Может просто ты никчемный, озлобленный неудачник?
>>1574290http://cs231n.github.io/understanding-cnn/еще можешь просто вывести значения аттеншена в отдельный выход сеткину и про всякие LIME можешь почитать
>>1574292Скажи, хуесос, почему я не могу на так называемой родине заниматься фундаментальной математикой и чтобы не сосать хуи и не есть говно вынужден работать на зарубежной удаленке или перекатываться за бугор? Если вы, гниды, не можете удержать свою интеллектуальную элиту, завалите хлебальники и не мешайте людям жить так, как они хотят. Вам никто ничего не должен.
>>1574299>родине заниматься фундаментальной математикойПочему меня должны ебать проблемы матанопетушни? Хотя может потому, что твоя маняматика говно без задач и никто не хочет содержать таких бесполезных хуесосов как ты? Если еще один токсичный, бесполезный кусок говна покинет мою страну, я только буду рад.
>>1574304Хуесос, почему ты называешь кого-то предателями? Мы никому клятву не давали, поэтому под точное определение предательства мы не попадаем, как бы тебе этого ни хотелось. А то, что мы не хотим жрать говно вместе с тобой, надеясь на лучшее, это тебя не ебет. Вопли про "надо подождать" пока рашка встанет с колен, напоминает бугурт тупых нищих пидорашек, которые возмущаются тем, что тян не захотела быть с ним и терпеливо воспитывать из пидорашки человека, а сразу нашла себе подходящего партнера.
Желание переехать в другую страну чаще всего связано с:1. Необустроенностью жизни в стране, начиная от пресловутых дорожных ям в Омске и заканчивая пятью часами в день в пробке в Москве.2. Отсутствием внятной перспективы и гарантий достойной жизни (аггресивность внешней политики, санкции, отмена пенсий, подкидывание наркотиков и тд и тп, например история с nginx)3. Климат. Где-нибудь в Сочи ещё куда ни шло, но в Петербурге с 360 пасмурными днями в году и ночью 16 часов зимой банально некомфортно.4. Возможность «повидать мир». Паспорт моей нынешней страны позволяет безвизово путешествовать в 150+ стран, идут переговоры с США чтобы и туда тоже. Есть 5-6 лоукостеров, которые довезут к примеру в Израиль или в Милан за 20 евро.Я уже не говорю о менталитете, ведь многие жители России, вкусившие пресловутый «воздух свободы», не готовы возвращаться в средневековую азиатчину с бессменными пашами и ярлыками на рабов.
>>1574312>не хотим жрать говно А не жрать не пробовал? Нищий матанопетух думал что срыночек будет кормить паразитов, лол.
>>1574315>Паспорт моей нынешней страны Шпротляндии? Всегда угарал, как такие вот колбасные эммигранты начинают рассказывать как мне хуево в России живеться. Большинство евроуебков даже и не мечтали о моем уровне и переспективах.
Что делают с Policy Gradients, если некоторые из действий в данный ход невозможны? Семплировать из π(s), пока нормальное действие не выберется?
Анонасы, вопрос тем, кто имеет коммерческий опыт с компутер виженом. Как часто вы строите нейронки собственной архитектуры, как приходите к пониманию, что пора откладывать в сторону резнет какой-нибудь и начинать пилить и обучать что-то своё?
>>1574935Обнаружение 2d кейпоинтов людей на фото/видиео, трансфер лернинг (файнтьюнинг) хотя бы на cats vs dogs, Нейромашинный перевод, языковые модели, image captioning with attention.
>>1543969 (OP)Кто нибудь что нибудь знает про бинарные/двоичные нейронные сети. Давайте умнички, помогите, сам только пару статей нашёл про то как засунуть их в FPGA.
Ребята, которые уже вкатились.Расскажите, сколько по времени +/- займёт вкат у довольно сильного студента мех-мата (не самого топового вуза) 4-го курса? Матан, линал, матстат, программирование (в основном c++) - всё на месте.
>>1576057С вами рубрика ежедневный зумер вкатывальщик! Возьми да почитай что-нибудь из оп поста, казалось бы.
>>1576057чел нахуй это профессия только для элиты, в москве все места попилены между выпускниками МГУ и ВШЭ а в регионах ты на хуй не усрался никому
Объясните, пожалуйста.Вот есть задача про Титаник: мы анализируем данные, чистим их, выбираем и используем информативные признаки, применяем какую-нибудь линейную регрессию, получаем модель, которая в той или иной мере может быть использована на новых данных.А причём тут нейронные сети? Их тоже можно для такой задачи использовать? Или они скорее для компьютерного зрения?
делаю проектик на pytorch-CycleGAN-and-pix2pix и вот какой график идет. Сначала делал обучение на изображении 128х180, потом на 256x290. и вот какой график на 50 эпохе обучения, стартовал продолжением с 100 эпохи 128х180. Результаты пиздаты, но по графику нихуя не понял, так и должно быть? Кст, есть нормальные аналоги google colab? Готов и платные, если будут с нормальной консолью, а не той парашей. Сколько по времени можно обучать в этом колабе, 12 часов?щас все на домашнем пека делаю
>>1577096>Результаты пиздаты, но по графику нихуя не понял, так и должно быть? GAN это минимакс игра, поэтому да, плавного уменьшения и увеличения лосса нет, все болтается одном коридоре. Единственное D_A вызывает вопросы, если у дискриминатора такой низкий лосс, значит он уже слишком крут, но если результаты пиздаты, то проблем с этим не должно быть.>Кст, есть нормальные аналоги google colab? Готов и платные, если будут с нормальной консолью, а не той парашей. Самое нормальное сейчас это домашний пека с редкими вылазками на гугловские TPU. Остальное не выгодно, особенно с учетом падения цен на видюхи за последний год. gtx 1070 стоит десять тысяч на авито.
>>1577175В целом да, но автоматизация дает качественно иной уровень, нейросетки могут вытаскивать закономерности из огромных датасетов
Делаю пет проект, спарсил объявления о продаже квартир в своем городе, хорошо почистил данные, распределения признаков нормальные без длинных хвостов. датасет 30000 записей 65 признаков после думми(38 до). Качество на кросс валидации по всему дата сету 0.877 по метрике r2, модель RandomForestRegressor.Думаю ну такое себе качество но сойдет. Решил проверить качество на отложенной выборке, сделал train_test_split 33% на тест. Обучаю. и хуяк качество 0.99 , думаю чего блять, переобучился 100%. делаю 66% данных на тест 33% на трейн и хули, опять качество на r2 кросс валидации 0.99 . Ну ебать думаю надо бустинг попробывать. Обучаю lightgbm на 66 данных(в трейне) на 100 деревъях, качество 0,93 думаю ну уже лучше. Попробывал увелисть деревья до 200 качество на кросс валидации 0.988 ну бля как так нахуй, обучаю трейн , качество растет на отложенной опять до 0.99 , думаю ну ща как въебу 1500 деревьев посмотрю че будет, и че стало, качество еще лучше вырасло, я нихуя не понимаю почему, я уже должен был переобучится на трейт так что пиздец и должен потерять качество на отложке но нет, оно растет. УТЕЧКУ ДАННЫХ долблюсь долблюсь но не вижу, посторил графики весов признаков, вроде заебись там нет фичей которые могли бы лик сделать. ну думаю посмотрю качество RMSE - вышло 178446 рублей ошибка. Уже похоже на правду. Может я просто хуево понимаю как метрика r2 работает? и у меня модель просто хорошо обобщает не понинмаю блять СЛОЖНААА
>>1577617Описание признаков:area - площадь квартиры.ливинг спейс - площадь гостиннойкитчен спейс - площадь кухнирумс тотал - кол-во комнат в квартиребуилд уеар - год постройкифлорс тотал - кол-во этажей в зданиифлорс офееред - конкретный этаж квартирытотал имаджес - кол-во картинок в объявлениину остальные признаки по хуйне вес имеют.
>>1577617>>1577638Короче обучил LGBMRegressor(n_estimators=2500) на кросс валидации качество(метрика r2) стало 0.913 . Склоняюсь к тому что просто данные сложные, а утечек нету. А качество на отложнной выборке лучше чем на кросс валидации потому что там выбросов поменьше. хз. Если не прав то поправьте.
>>1577617>>1577638>>1577654Короче епта, загнал в модель параметры свой квартиры, получилось 4 ляма 350 тыс. Пошел у мамки спросил во сколько она оценивае нашу квартиру она сказала 4 ляма 400 тыс так шо епта моделька правильная.
>>1577899минимум - ничего не надо знатьно желательно программы 1-2 курса по матану-линалу-терверу-матстату
>>1577202>вытаскивать закономерности из огромных датасетовИз огромных датасетов картинок, или аудиозаписей, ибо для таких типов данных сложно придумать и сгенерить фичи руками. На табличных данных, таких как Титаник, до сих пор решает ручной фичер экстракшен + бустинг разбудите, если это уже не так.
>>1578194> до сих пор решает ручной фичер экстракшен + бустинг разбудите, если это уже не так.Это ещё бабку твою будить надо было. Советские алгоритмы МГУА (метод группового учёта аргументов) могли отбрасывать незначимые фичи автоматически. Конец 60х, если что.
>>1578194>картинок, или аудиозаписейУ картинок и аудио есть другая фича - пространственная инвариантность, которая позволяет использовать свертки.Табличные данные не инварианты, а значит ты из уютного мира сверток попадаешь в суровый мир полносвязных сетей. Но сейчас появился аттеншен, который делает полносвязные слои уже не настолько сосущими,
>>1577202А ещё такой вопрос: если брать ту же задачу по Титанику и решать её при помощи нейронной сети, как выбирать:1) Размер входного слоя - он будет зависеть от каждого пассажира?2) Размер и количество скрытых слоёв3) Размер выходного слоя - он будет равен количеству классов в задаче классификации?
ПЕРЕКАТ:https://2ch.hk/pr/res/1578978.htmlhttps://2ch.hk/pr/res/1578978.htmlhttps://2ch.hk/pr/res/1578978.htmlhttps://2ch.hk/pr/res/1578978.htmlhttps://2ch.hk/pr/res/1578978.html
