Очередной тред про хипстерские технологии, которые не работают.Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаВ чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examplesГде набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/Где работать? https://www.indeed.com/q-deep-learning-jobs.htmlГде узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихсяГде посмотреть последние статьи? http://www.arxiv-sanity.com/Где ещё можно поговорить про анализ данных? http://ods.ai/Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.Список дедовских книг для серьёзных людей:Trevor Hastie et al. "The Elements of Statistical Learning"Vladimir N. Vapnik "The Nature of Statistical Learning Theory"Christopher M. Bishop "Pattern Recognition and Machine Learning"Взять можно тут: http://libgen.io/Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.Предыдущий:https://2ch.hk/pr/res/1578978.htmlАрхивач:http://arhivach.ng/thread/412868/Остальные в предыдущих тредахТам же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
>>1614967>>1615012Ты почитай хоть, что это и зачем. Заебись что-то делать, не понимая даже примерно смысла того, что ты делаешь? Тайдмены.
>>1615466почему не функция? >In machine learning, a model is a function with learnable parameters that maps an input to an output.
>>1615550конечно не похуй, у меня сложилось впечатление что тут сидят какие-то бараны, и я просто потратил время зря>>1615566это gradient descent?
>>1615766Да я мимо проходил, не разбираюсь в этом хипстерском говне.https://colah.github.io/posts/2014-03-NN-Manifolds-Topology/
>>1615766>конечно не похуйТогда формула. Функция подразумевала бы тождественность моделей при совпадении домена и кодомена, чего в случае tf нет, у тебя могут быть разные модели, выдающие одно и то же при одних и тех же входных данных. Но если тебя это ебет, то это не я баран, а ты аутист ебаный, который вместо понимания решил заниматься стандартным для аутистов буквоедством.
Зумерошизик скоро повеситься https://news.rambler.ru/education/43736940-shkolnikov-v-rossii-zastavyat-izuchat-iskusstvennyy-intellekt/
>>1616092В шапке же.>>1616359Зумера не могут в машобчик, это аксиома. Алсо, какие-то учебники нужны, а их в Блинолопатии нет. Я сюда приносил ссылку на учебник для китайских зумеров по нечеткой логике, вот я орать буду, когда по нему отечественную школуйню будут учить.
>>1616359>выпускники школ в России сегодня совершенно не интересны рынку труда.>«В стране крайне низок процент выпускников школ, прошедших профессиональное обучение, имеющих некую профессию и готовых начать трудовую жизнь»А причем тут школа? Они там вообще уже запутались что для чего? Школа для фундаментальных знаний, для проф обучения ПТУ, для науки ВУЗы.
>>1616484Какая разница, подо что в тилибон тыкать? Рассказывала марьванна про теорему Виета, теперь будет про перцептрон. Будто что-то изменится.
>>1616167Что поставить на Win7, чтобы взять и начать вникать?Что хочу научиться делать - обучить нейроночку игре в крестики-нолики, потом в игры с russianAiCup 2015-16, потом в свою пошаговую стратегиюKeras+TensorFlow+Jupyter Notebook пойдет?
>>1616657>Что поставить на Win7, чтобы взять и начать вникать?Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.>обучить нейроночку игре в крестики-ноликитам 3 ифа решают игру, выбери посложнее что-нибудь>потом в игры с russianAiCup 2015-16codewizards не сможешь, с гонками хз. Имхо, легче всего должна зайти madcars с mini ai cup>потом в свою пошаговую стратегиючто за стратегия, если не секрет?
>>1616698>Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.Это все хорошо, но мне НИНУЖНО, вопрос больше про практическую часть. Заведется ли все это на Win7 в принципе.>там 3 ифа решают игруДа и пофиг, для хеллоу ворлда, не? Не с шахмат же начинать.>codewizards не сможешьПочему? На хабре есть примерное описание.>что за стратегия, если не секрет?Секрет, ну допустим что-то похожее на Neverwinter Nights.
>>1616704>Заведется ли все это на Win7 в принципедолжно завестись, в крайнем случае всегда есть докер>Да и пофиг, для хеллоу ворлда, не? Там что-то близкое к рандому уже неплохо работать будет. Какой-нибудь connect four с кегла лучше взять, имхо. >Почему? На хабре есть примерное описание.700 место, DDPG в POMDP без памяти/рекуррентных сетей, всратый формат наблюдений. Если тебя такое устраивает, то удачи.
Можно ли самостоятельно за конечное время меньше, чем за год? получить знания и навыки, с помощью которых можно было бы что-нибудь заработать здесь https://www.upwork.com/freelance-jobs/machine-learning/? Предполагается, что математику я знаю.
>>1617259Пока соснул, у меня процессор два ядра без AVX, тензорфлоу не встал. Хотя я собирался gpu пользоваться, может завтра найду решение.
>>1617599Решение либо собрать tensorflow самому (на древнем железе собираться будет часов 10, не меньше), либо устанавливать древнюю версию без avx, то ли 1.0.9, то ли 1.0.4 ЕМНИПДля обучения керасу сойдет, на сам тф не трать время, у него все апи перепидорасилось
>>1617606Попробую тут у васяна скачать, вроде есть 2.0 на SSE2.https://github.com/fo40225/tensorflow-windows-wheel>Для обучения керасу сойдетПонятно, спасибо. Но ему же какой то бекенд все равно нужен вроде?
>>1617608Ну да, бинарник под винду возможно кто-то уже собрал вместе с майнером биткоиновТф да, у версии кераса есть минимально требуемая версия тф, но в целом керас более консистентен и стабилен, поэтому даже на древней версии можно сидеть учиться без проблем.Потом научишься и у мамки денег на новую пеку попросишь, благо будешь уже не просто лодырем, а ML-инжинером, на зависть зумерошизикам
>>1617418Выковыривай из этой помойки student assignments. Т.е. готовые домашки студентам. Они простые и устроены так, что любая манька разберется. Сделав так пару десятков домашек, считай, что универский курс по ML освоил. Правда зарабатывать ты будешь $3 в час в лучшем случае, потому что студенты больше ста баксов платить не будут, а ебаться с каждым заданием ты будешь дня по три, не меньше.В общем, листаешь задания, отбираешь их. Если хоть примерно понимаешь, о чем речь, восполняешь пробелы информации. Пока восполняешь, задание с 90% соскочит, но с 10% можешь отписать автору. Дальше с горящей жопой жулика делаешь его неделю, получаешь сто баксов.Если сделать не можешь - закрываешь заказ и вежливо сливаешься до тех пор, пока тебе перечислили деньги, тогда негативый отзыв тебе не поставят. Дальше при определенном везении через год такого ебланства ты будешь знать об ML больше, чем какой-нибудь московский корпоративный хуесос.Путь сильно спорный, но рабочий.
>>1617624Спасибо за ответ. А где получить начальные знания чтоб вообще приступить к этой теме? Онлайн курсы подойдут для этого?
>>1614936 (OP)Есть датасет с отзывами, нужно из этих документов-отзывов вытащить темы, потом на основе отношения документа к темам дать ответ.Пока вопрос стоит как вытащить темы с помощью нейронок, ответ будет из набора готовых ответов.Я могу сделать через классический Topic Modeling с помощью ARTM, но точность меня явно не устраивает, хотя модель настроил нормально.Через векторы по FastText я тоже пробовал, но держать такую большую модель в памяти желания особо нет.Какое направление в нейронках гуглить? Это задача Text classification ведь, правильно я понимаю?Topic modeling, как я понял, обычно относят к классическим вероятностным алгоритмам (ARTM, LDA, PLSA).Нашел одну научную работу, которая подходит под мои цели: https://www.aclweb.org/anthology/N18-1145.pdf , но прежде чем кидаться имплементировать их модель я решил у анонов проконсультироваться.
>>1618058>но держать такую большую модель в памяти желания особо нет.Тогда BERT советовать, как я понимаю, бесполезно.Не знаю тут специализирующихся на NLP не-шизиков.
>>1618123Но в целом я в верном направлении рассуждаю, что задача "определения темы документа/коллекции", относится к задаче Text classification и нужно копать в этом направлении?
>>1618180Классификация подразумевает что1. У тебя supervised алгоритм. То есть ты заранее знаешь, какие у тебя будут лейблы, в твоем случае топики. Topic modelling - это unsupervised algorithm по извлечению топиков из датасета.2. Что тема в каждом тексте скорее всего одна (потому что говоря classification мы скорее всего говорим о multi-class classification, а не multi-output classification, т.е. на картинке либо кот, либо негр, а кот с негром выдаст не P=1 для кота и P=1 для негра, а P=0.5 для кота и P=0.5 для негра, что методологически неверно)На практике это проявляется в том, что если у тебя на конце нейронки softmax, которыйThe softmax function squashes all values of a vector into a range of [0,1] summing together to 1. Which is exactly what we want in a single-label classification. But for our multi-label case, we would like our resulting class probabilities to be able to express that an image of a car belongs to class car with 90% probability and to class accident with 30% probability etc.
>>1618290Может ли в задаче классификации сигмоида применяться ко всем слоям? Или к последнему слою надо что-то иное типа софтмакса применять если классов много?
>>1618293Можешь что угодно делать, лишь бы функция потерь была и градиенты считались. Сигмоиду на последний слой обычно лепят, если классификация мультилейбловая. Для мультиклассовой есть софтмакс, зачем ещё что-то выдумывать?
Занимаюсь в инициативном порядке нейросетками в гос. конторе поднаторел в этом деле и решил перекатиться в коммерцию ( прогаю на питоне)Вопрос такой, что вообще необходимо знать, чтобы джуном взяли? Из теории, например? Или какие библиотеки?По джаве или питону, например, все просто - зашёл в ютуб, вбил собеседование джава и куча видосов.Подскажите что-нибудь подобное, чтобы подробно было описано, а то все что не найду конкретики никакой
>>1614936 (OP)Двэч, призываю анонов-тензорфлоу экспертов.Пытаюсь понять как зафигачить правильный пайплайн для обучения ТФ и Керас моделей, чтобы загрузка ГПУ была побольше, обучение шло побыстрее, всё скейлилось и тд. В чём профит tfrecord? Пробовал с ними и без них, результаты такие: если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нету, если делаешь через tf dataset API работает быстро, загрузка ГПУ 95-97%, вне зависимости от того, джпеги я читаю, или tfrecords. Более того, я думал, что tfrecords -- структурированный формат, наподобии .npy, но реально это просто сериализованные в стринг данные, т.е записать картинку как тензор и потом прочитать без обработки нельзя, нужно писать как бинарную строку и потом опять декодировать со всеми вытекающими. Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?Тханкс за ответы.
>>1618293Сигмоида имеет насыщение, которое убивает градиенты в ноль. Если между точкой твоего графа и выходом (т.е. точкой входа бэкпропагейшена) 3 сигмоиды без skip коннекшенов, обучаться будет вечность. Поэтому их нужно применять грамотно, с умом, иначе они убьют тебе весь gradient flow>>1618350По дефолту да
>>1618484Да в общем-то я тебе все написал. Гугли vanishing gradients problem, можешь еще пейпер по swish почитать, разобрать как lstm устроена - почему там сигмоиды есть, но их можно стекать
>>1618480>В чём профит tfrecordВ обучении на йоба-кластерах с пересылкой данных между кластерамиГовнище короче оверинжинернутое, как и сам tf>но реально это просто сериализованные в стринг данныеНе, это protobuf, это сериализованные бинарные данные>если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нетуВо-первых, укажи use_multiprocessing=True и настрой егоhttps://stackoverflow.com/questions/55531427/how-to-define-max-queue-size-workers-and-use-multiprocessing-in-keras-fit-generНо. Процессы питона живут в разных адресных пространствах, поэтому дохуя оверхеда тратится на упаковку и распаковку данных между ними. В частности, велика вероятность, что каждый воркер будет держать у себя по копии гигабайтного датасета, а еще все это дело будет полчаса запускаться, пока эти гигабайтные датасеты будут копироваться между воркерами.Поэтому открой для себя numpy memmap. В инициализации воркера ты создаешь np.memmap, отображая датасет из файла в память, и так как все воркеры будут смотреть на один и тот же файл, ОС это увидит и объединит память.Вообще numpy memmap сильно недооценен. Когда ты его используешь, датасет у тебя просто лежит на диске, питон считает его просто numpy массивом, а менеджментом памяти занимается ОС. Это позволяет заниматься машобом датасетов в десятки гигабайт даже на машине с 8 ГБ памяти.
>>1615766братиш, тогда сьеби не трать время зря, не мешай "баранам" опщаца.Думает, что кто будет цепляться за хамло, да еще и проверяльщика/нюфага.Да в твоих маняфантазиях приходит такой гейрой к нормальным спецам и начинает хуйню спрашивать азовую. Сразу трусы на голову наденут и под шконарь палками загонят.
>>1618496Спасибо, анон, стало намного понятнее, конечно некрасиво это выглядит, костыльно как-то, хотелось бы чтобы tensorflow всё от начала до конца делал.
>>1617617Весь вечер провозился, с третьей попытки все поставил.Получился такой винегретCUDA+cudnn 9.2python 3.6.4tensorflow-gpu 1.10.0keras 2.2.4jupyterlab 2.0.0numpy 1.14.5, scikit-learn 0.22.2Не пойму как заставить эту дрянь считать только на GPU, все равно лезет на мои драгоценные два ядра, которые я не хочу перегревать лишний раз.
>>1618557CPU готовит данные для видюхи в любом случае, но саму нейронку он обсчитывать не будет.Если у тебя на MNIST ядра сильно греются, это потому что видюха быстро отрабатывает, а CPU не успевает, на реальной задаче (картинке хотя бы 200х200х3, а не 27х27х1) CPU будет простаивать большую часть времени
>>1618561Об этом я не подумал. Думал он просто распределил нагрузку на гпу и оба ядра цпу. Выглядит слишком горячим, с 40 до 60 градусов. У меня в играх так не всегда. Завтра проверю по времени обучения если гпу отключить. В целом первый день считаю успешным.
>>1618569Батчсайз увеличь до 10000 (или какой там максимум у датасета), тогда GPU захлебнется, а CPU будет хуи пинать
>>1618480> Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?Как минимум для охуенного сжатия файлов.
>>1618561>но саму нейронку он обсчитывать не будетБуквально в среду выяснил, что у некоторых операций в tensorflow 1.15 нет cuda-ядра (конкретно embedding_lookup_sparse).
>>1618784Я знаю, что такое learning rate) Как видишь, одноцикловая политика применяется.Разобрался, тащемта, проблема была в том, как я подаю данные в модель, разбил один tfrecord файл на 32, теперь DatasetDataProvider перетасовывает источники данных вместе с обычным батч шаффлингом, и нет больше таких скачков.Алсо, посоны, я все думаю, чего я сижу на старой InceptionV3 модели, как минимум в слиме есть Inception ResNet v2, у которого результаты лучше.Но есть ли другие CNN, которые на данный момент выдают лучшие результаты и не жрут очень много памяти при обучении?
>>1618925>Разобрался, тащемта, проблема была в том, как я подаю данные в модельА я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.>Но есть ли другие CNN, которые на данный момент выдают лучшие результатыEfficientNetB5> и не жрут очень много памяти при обучении? EfficientNetB0
>>1618959> А я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.Да, ты изначально был прав, Анон, от твоего ответа я и отталкивался.> Правда способ которым ты мешаешь какой-то странный.Издержки либы, она хоть и устарела, но я уже привык.> EfficientNetB5Окей, тогда доработаю датасет до тех пор, пока нынешняя модель не будет выдавать хороший результат и уже потом перепишу.
Допустим есть датафрейм с данными, которые потом будут переданы в нейросеть.Что делать с значениями NaN в столбце? Столюец - тестовый, просто заполнить средним или 0 не канает.Просто дропнуть?
>>1619392Заполнить средним/медианой или каким-то значением вне диапозона или выбросить весь столбец. В принципе деревья решений могут работать с нанами.
>>1619392>Столюец - тестовыйЧто это значит? В тренировочных данных его нет или все заполнено? И то и то не будет работать, в тренировочных данных тогда тоже нужно добавить NaN.Как вариант добавь еще одну ось, типа is_stolbec_nan, и заполняй его 1, если в столбце stolbec NaN. Тогда есть шанс, что нейронка выцепит что к чему.
>>1619392можешь попробывать псевдо лейблинг, это когда ты пропущенные значения предсказываешь другой моделью(обычным бустом) а потом заполняешь пропуски предсказаниями
>>1619514Окей, попробую.>>1619543>Что это значит?Это значит, что в столбце указывается город. Для большей части строк он есть, для меньшей отсутствует. Причём, там где есть, данные не очищены - где-то просто город, где-то город и щтат, где-то город и страна, где-то город и индекс, в одном месте вообще просто континент указан.>>1619603Yo dawg, I heard you like model, I also heard you like predictions... so we put a model into model so you can predict while you predict.Спасибо, посмотрю.
Сяп аноны, пытаюсь классифицировать данные и возник такой вопрос. Кароч, я, как полагается, все категориальные данные перевёл в количественным с помощью one-hot-encoding, а потом понял, что колонка, где лежали классы, на основе которых нужно было обучать данные, тоже разбилась на несколько колонок. Соответственно тут возникает вопрос - так и должно быть? Результат от входных параметров может быть получен в виде нескольких колонок? Если нет, то как тогда правильно делать в этом случаи? Слышал, что есть ещё кодирование данных, но оно вносит ранжирования, которого среди моих классов нет.
>>1620008Это вопрос техники. Возможно, во фреймворке, с которым ты работаешь, предполагается, что на вход методы fit() модели ты передашь просто вектор ответов, тогда не надо - так работает sklearn. А может, предполагается, что передаётся уже двоичная матрица one-hot, и тогда надо - так работает keras. Короче, читай документацию, что там ожидается.
Анон, подскажи, пожалуйста.Есть одна задача по NLP. В принципе, я представляю, как её решать, вопрос в другом. Решил я посмотреть уже готовые решения, и вот один товарищ https://www.kaggle.com/gunesevitan/nlp-with-disaster-tweets-eda-cleaning-and-bert в пункте 4.2 очистку текста проводит, фактически, вручную. Это так и должно быть? Есть же техники лемматизации и стемминга для подобных целей. Или я чего-то не понимаю?
>>1620314как ты автоматически собрался разбивать "GOPDebate" на"GOP Debate" и "USAgov" на "USA government" ? Ну и он в комментах пишет "I started NLP last month so I haven't done much research about those text processing libraries"
Хочу попробовать чего. Ваш тензорфлоу под питон и это меня поражает, можно сказать я в осадок выпал.Мне в самом деле стоит использовать питон? Это точно не говно ебаное?Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активации, и позволяет ли соединять нейроны произвольным образом, с обратными связями, связями через несколько слоёв, не полную связь слоя со слоем и всё в таком роде? Или просто сложный конструктор, где можно собирать блоки из деталей и учить это с графиками?Пока не слишком разобрался что оно умеет, тыкаю методом тыка пример с грузовиками/самолётами/кошечками пытаясь какие-то принципы выбора структуры сетей выработать. Очень нравится, как ребёнку.Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnn, но на процессоре всё работает? Или нужно переставлять?Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
>>1620502>Если я хочу поэкспериментировать - эта штукаКакая штука, которую ты скрыл под спойлером? Писать научись сначала, чтобы читающий не ебал мозг с твоим художественным форматированием
>>1620502> Мне в самом деле стоит использовать питон? Это точно не говно ебаное?Нет, юзай плюсы, потом расскажешь как оно там.> Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активацииТебе нужен pytorch.> Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnnНет.> Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?В зависимости от задачи и данных естественно. Погугли.
Антоны, у меня вылетает ошибкаValueError: Negative dimension size caused by subtracting 3 from 1 for 'AttentionOcr_v1/conv_tower_fn/INCE/InceptionV3/Mixed_7a/Branch_0/Conv2d_1a_3x3/Conv2D' (op: 'Conv2D') with input shapes: [64,1,42,192], [3,3,192,320].С чем это может быть связано? Пытаюсь использовать самый глубокий слой, может у меня просто слишком маленькие картинки? На других слоях работает, на любом слое Mixed_7 вылетает подобная ошибка
>>1620582Да, слишком маленькие картинки.На входе картинка 1x42, он пытается применить к ней фильтр 3x3 с пэддингом valid и вылетает.
>>1620331Очевидно, что чем больше данных, тем меньше их можно чистить, моделька все равно разберется.Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решают. Там можно и терабайты поразбирать (например, брать самые частые слова в корпусе, которых нет в твоём словаре, а ля "USAgov")
>>1614936 (OP)Аноны, есть приложуха на питоне которая считывает видеопоток с IP камеры и определяет лица. Хотелось бы сделать так, чтобы в режиме реального времени она могла определять принадлежит ли лица того/тех людей которых сейчас снимают мне(или какой-то определённой группе лиц), и если нет, то выдавало бы какое-то сообщение. Я совсем не представляю как поступиться ко второй части , возможно аноны знают какое-то готовое решение, или могут на правильный путь?
>>1620965> Кто нибудь знает как называется такой график? https://ru.wikipedia.org/wiki/%D0%AF%D0%BF%D0%BE%D0%BD%D1%81%D0%BA%D0%B8%D0%B5_%D1%81%D0%B2%D0%B5%D1%87%D0%B8
>>1620692Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае? Авторы пейпера по схожей сети говорили> We see that the accuracy improves for a while, and thenstarts to drop as the depth increases. This trend holds for all three models. We believe the reason for this is that character recognition does not benefit from the high-level features that are needed for image classification. Also, the spatial resolution of the image features used as input for attention decreases after every max pooling operation, which limits the precision of the attention mask on a particular character. We don’t see any dependency between accuracy and the theoretical receptive field of the neurons in the last convolutional layer, but the effective field of view can be much smaller.Но они работали на FSNS датасете, у меня же датасет с иероглифами, задача немного сложнее.Вообще, со временем мне задача объединения сетей и использования CNN таким образом перестает казаться разумной, в мире существует множество шрифтов, почему бы не обучить CNN в качестве классификатора.
>>1620944https://pypi.org/project/face-recognition/Вот тебе без хабра и без теории, просто бери 3 юзкейз и пользуйся.>>1614936 (OP)Аноны, наверное платина, но всё таки: у меня есть дохерища логов из разных систем. Есть целевая переменная для каждого файла, которая обозначает произошло определённое событие в этом лог файле, или нет. Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например) и выковыривать из них какие-то ключевые слова или нграммы? В такой задаче мне вряд ли помогут эмбединги, диплёрнинг и всё такое, правильно?
>>1620940>Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решаютПоэтому собственно блядский кагл и с его "топами" и не нужен. Превратили все ебучий спорт, где ты вместо того, чтобы набрать побольше данных, вилкой чистишь их датасет.
>>1621343Обученная нейронка на старых логах определит к какому классу относятся новые логи: с ошибками или без.
>>1621364Спасибо, буду использовать для этой задачи машинное обучение!А если серьёзно то вопрос заключается в том, в каком виде мне подавать логи в нейронку? Bag of words, TF IDF, прогнать через каждое слово fasttext и усреднить? Все эти варианты выглядят бессмысленными для логов. Можно конечно попробовать построить LSTM и запихивать туда по одному слову, но у неё столько таймстепс будет, что я офигею это дело обучать.
>>1621343> Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например)Да.
>>1620502> Мне в самом деле стоит использовать питон? Это точно не говно ебаное?Юзаешь питон, чтобы поэкспериментировать и обучить модель, экспортишь результат в тензорфлоу лайт, дальше уже запускай чем хочешь, можно на мобилке, можно на плюсах.> Если я хочу поэкспериментировать - эта штука позволяет ...Всё позволяет.> Пока не слишком разобрался что оно умеет, тыкаю методом тыкаОчень долго будешь тыкать, очень непродуктивно. Лучше почитай какие уже существующие архитектуры бывают, посмотри какие из них прямо в Керасе сразу заимплеменчены, когда нормально разберёшься с готовыми архитектурами начинай думать про свои какие-то улучшения (я ещё не дошёл до этого этапа, мои кривые руки делают только хуже обычно).> Это норма, что при попытке использования gpu половина моделей вылетает с ошибкамиТочно не норма, переставляй, ищи косяки.> Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?Гугли в сторону трансфер лёрнинг, у меня получалось обучать (дообучать) и меньшим количеством примеров. Это кстати одна из причин, по которой лучше пользоваться предобученными архитектурами, для них сразу есть набор весов, обученных на каком-нибудь imagenet например, самостоятельно на imagenet без ГПУ ты ооочень долго будешь обучаться.>>1618647Вот не поверил сразу в это утверждение, подумал как это тензорфлоу может магически справляться со сжатием данных лучше, чем специализированные алгоритмы. Взял папку с некоторым количеством jpg файлов, 255 мб. Перегнал её в tfrecords -> 205 мб. Зафигачил её в 7z -> 177 мб. Мораль сей басни такова, что действительно сжимает, но назвать сжатие охуенным скорее всего нельзя.
Собираю новую машину, стоит ли переплачивать за 2060супер или стоит взять 1660супер. сборка в бюджетная относительно, стоит ли переплачивать 14к за RTX?
>>1620985>Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае? Конечно. У тебя же есть пулинг-слои, которые понижают пространственное разрешение в два раза с ростом глубины. Классификатору на это дело насрать, а вот если ты передаешь сырые фичи с нужного слоя, там все будет гораздо сложнее. Намного проще, если ты передашь информацию с того слоя, где пространственной информации достаточно. А RNN уже разберется с остальным. По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.
>>1621457Криво написал как-то.Короче, для максимальной точности нужно правильное разрешение (и размер receptive field), не меньше, не больше. Если хочешь повысить точность, нужно стремиться к этому разрешению, и добавлять новые слои, не увеличивая пулинг
>>1621449https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/1660 для дипленинга отпадают, потому что у них 6 гб памяти. Это очень мало, многие модели будут обучаться, если им совсем урезать батчсайз. Для инференса на сервере поставить они норм.2060 конечно заебись, но они оверпрайснуты из-за хайпа, поэтому если тебе не нужны расчеты в fp16, лучше смотреть на старую добрую 10xx серию.30% прибавки по перформансу вообще ничего не значат, все равно модель ставить обучать на ночь. Имеет смысл задумываться об апгрейде, когда карта быстрее раза в два-три. tldr если есть деньги на 2060, бери материнку с двумя слотами под GPU и ставь туда два 1070Ti с 11 гб памяти.Если денег нет, бери один 1070ti.
>>1621487> Колаб же не сравнится даже с 1060?Пикрил.Ещё можешь взять гугл клауд > Several GPU types available> NVIDIA Tesla K80, P100, P4, T4, and V100 GPUs are available today, depending on your compute or visualization needs.
>>1621562Странно, мне казалось я видел 2 версии, с 8 и 11. Но в любом случае, по текущим ценам 1070ti получается самый выгодный. Хотя если 1080ti за 20к найдешь, типа https://www.avito.ru/moskva/tovary_dlya_kompyutera/videokarta_zotac_gtx_1080_ti_extreme_11gb_1881670765 можно рассмотретьБля, надо апдейтиться короче
>>1621571чел зачем тебе тратится на видеокарту когда колаб тебе бесплатно блять теслу п100 даёт, это мега мега йоба карта
Хелп, interpolate(method='cubic') юзает же вот эту штуку?https://ru.wikipedia.org/wiki/%D0%9A%D1%83%D0%B1%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D1%81%D0%BF%D0%BB%D0%B0%D0%B9%D0%BD
Аноны, за месяц нужно запилить нейросеть на питоне, подскажите литературу, желательно, чтобы по проще подавалась инфа. Лучше на русском, хотя и англ подойдет. Нейросеть если что по классификации кредитов.
>>1614936 (OP)Так получилось, что я хотел в науку (фундаментальную математику), но работаю в энтерпрайзе и думаю о том, что у меня нет самореализации. Насколько связано реальное создание нейронок с математикой? Можно ли зарабатывать нейронками и чувствовать, что занимаешься именно математикой, а не прикладным говном? Душа хочет красивых знаний, а продакшена я наелся.
>>1621696Там же просто какой-то ебучий калькулюс. Даже про идеалы алгебраических многообразий и эллиптические кривые, кривые Эдвардса, многообразия Веронезе ничего нет. Пацаны, стоит ли вкатываться в ваше говно за самореализацией?
Вот я изучаю такой многообразия с глубоким внутренним миром, а поделиться этим знанием не с кем. В энтерпрайзе душно, в нейронках, походу, хипторы, уверенные в том, что калькулюс это и есть математика.
>>1615782>>1616165>>1618511сорян, я просто только начал вкатываться, смотрю всё на ангельском, там терминология другая, и также я слегка заёбан и поэтому всё бесит
>>1620510>Тебе нужен pytorchДействительно. Спасибо, посмотрю его попозже, надо в тензор всё-таки вникнуть для начала, чтобы понимать код его примеров - потом полезу в торч и сравню производительность, вдруг он в два раза хуже работает.Хм, переставил те же версии куды, тензора, cudnn и теперь нормально работает. Странная фигня.>>1621422>очень непродуктивноКак знать. Конкретной задачи то нет, да и я более-менее знал про имеющиеся. Да и всего часов десять потыкал, не так уж и много.Книжку начал читать, хотя бы просто чтобы имеющиеся в тензоре типы слоёв узнать, а то на сайте довольно скудное описание.>лучше пользоваться предобученными архитектурамиЛогика то понятна, свёрточные слои уже научилось выделять какие-то полезные признаки и достаточно лишь верхушку сети переучить, так как скорее всего те полезные признаки более-менее универсальные.>>1621565>NVIDIA TeslaПосмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?Видно только, производительность 64-битных отличается более чем в десять раз (которая невероятно сильно проседает на видеокарточках). Производительность половинной точности указана только для вычислительных карт - она проседает так же как и двойная точность по сравнению с теслами что ли?
>>1621920Смотря какую цель ты преследуешь, если просто немного подкачаться, то можешь, если хочешь сражаться за призовые места то маловероятно.>>1621935kernel-only это чаще всего сабмишен кернел онли, а обучаться нужно на своём железе, чистых кернел онли, где вообще даже данные не дают отдельно я что-то не припомню (но я не особо часто слежу).>>1621951Гугловый колаб в пользовательском соглашении пишет, что использовать можно только чтобы шарить ноутбуки с другими датасаентистами, немного что-то считать в обучающих целях и всё такое. На практике это значит что они могут раз примерно в 3-4 часа ложить твоё ядро. Если они заподозрят что ты майнишь крипту, положат сразу. Такого, чтобы можно было на ночь колаб оставить, а утром просто проснуться и посмотреть результат у меня ни разу не получалось.>>1622221>Тебе нужен pytorchЕсли учишь тензорфлоу то не не сказал бы что так уж нужен. Лучше сначала почитай статей, посмотри сравнения что с какой скоростью работает и для каких задач подходит и потом во что-то одно поинты кидай. Учить сразу и то, и другое смысла не очень много как мне кажется.>Посмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?Основная суть в том, что нвидиа хочет больше золота. Официально консумерские ГПУ типо 1080 и 2080 запрещено использовать в датацентрах, только дорогие теслы. При желании можно найти кучу хостингов, которые сдадут 1080 в аренду, но вообще по лицензии так нельзя. Я слышал мнение что это потому, что у Теслы пассивное охлаждение и она лучше приспособлена для длительных нагрузок, но считаю что это бред, потому что на обычных видяхах люди неделями гоняют нейронки и майнят и тоже всё прекрасно работает.На некоторых задачах тесла действительно решает, но для диплёрнинга обычные видяхи лучше.
>>1622306> но для диплёрнинга обычные видяхи лучшеНаоборот же, обычные дискретки для бытовых задач (игори, фотожоб и тд), а теслы для диплернинга специально.> Если учишь тензорфлоу то не не сказал бы что так уж нуженЕсли человек хочет разбираться как и что работает, чтобы всё было прозрачно, то ему нужен pytorch очевидно. > если хочешь сражаться за призовые места то маловероятноБронзу, серебро можно взять, запуская нотебуки на кэггле. Почему нет
>>1622389> Наоборот же, обычные дискретки для бытовых задачhttps://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/Вот тебе первое сравнение из гугла, тесла в100 всего в 2 раза быстрее, чем ртх2080 (даже не в 2, а меньше), при этом стоит в 7.5 раз дороже. Специально для диплёрнинга сделали ТПУ, а теслы были ещё до хайпа и до нейронок на ГПУ. На теслах хорошо решались и решаются другие вычислительные задачи. Если не веришь бенчмарку из гугла, зайди напрмер на vast.ai (это сайт, который ГПУ в аренду сдаёт), там есть DLscore, что является примерной оценкой производительности карточки на задачах диплёрнинга, и посмотри какая карточка сколько показывает и сколько стоит, офигеешь от разницы.> ему нужен pytorch очевидноМне это не очевидно, на тензорфлоу тоже можно прекрасно разбираться что и как работает и всё тоже в некотором роде прозрачно. Навязывать людям фреймворки, пользуясь выдуманными аргументами это так себе затея, начал человек с тензорфлоу, пусть себе работает с ним, прекрасно с ним и разбираться можно и кастомный лосс писать, никаких проблем.> Бронзу, серебро можно взять, запуская нотебуки на кэггле.Чисто теоретически можно градиенты посчитать на листике в клеточку, зафигачить сабмишен в виме и взять голд, почему нет?Чисто практически я хз, может ты и прав, может ты и не прав, но в любом случае кэггл ноутбуки это более напряжно, чем собственное железо под рукой. Сейчас на каггле довольно жёсткая конкуренция, много сильных спецов. Я думаю что к моменту, когда человек по скилам становится готов занимать призовые места, он уже трудоустроен так, что о ноутбуках и аренде серверов особо не парится.
>>1622524В кэггловские нотебуки легко подгружать датасет с контеста. Супер профит, не нужно засирать комп гигабайтами данных
>>1622306>Основная суть в том, что нвидиа хочет больше золота.Я потыкал вычислительный шейдер и opencl (прихотливую куду запускать не умею).1660ti проседает почти в 50 раз на fp64, по сравнению с fp32, хотя должна всего в 32 (если верить этому сайту для домохозяек). Ускорение на fp16 в два раза. Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32. А на тьюрингах они прикрутили х2 ускорение для fp16. fp64 в ауте во всех случаях.На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.Да, кроме этого, в самом тупом тесте по перемножению матриц скорость только 300 гигафлопс в секунду (считал, что перемножение двух матриц 4х4 = 64 флопса). Простое C=AxB в цикле. И если извлечь корень из каждой компоненты матрицы - время выполнения никак не меняется, походу оно в доступ к памяти упирается.С другой стороны, если не обращаться к глобальной памяти, а забрать из него матрицы и в цикле перемножать их друг на друга возводя в громадные степени, а потом один раз записать результат, то оно достигает почти 7 терафлопс в секунду, что выше теоретической производительности с сайта нвидии. Что любопытно, такое в состоянии сделать только вычислительный шейдер, аналогичный opencl код работает почти в два раза дольше, хотя все размеры локальных групп такие же и всё остальное такое же - такая же проблема была в 2013 на древней карточке, думал они пофиксят со временем и это из-за необкатанности opencl, но ничего не поменялось - даже усугубилось.Хрен его знает, как оценивать производительность в общем, нейронки же как раз про доступ к глобальному массиву, и за 50 кб локальной памяти они в любом случае выйдут.Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
>>1622635>Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32. На твоей картинке видно, насколько 1080 Ti сосет на fp16, падает на два порядка. По сути fp16 оно может только эмулировать, отсюда и проблемы. С другой вместо 26 терафлопс 2080 Ti на fp16 ты можешь купить 2 1080 Ti и получить те же 26 терафлопс на fp32. Учитывая огромное количество сбывающих подешевке ставшими убыточными карт майнеров, 10xx серия еще как минимум год будет самой конкурентной.>На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.Главное преимущество тесл - это стабильный результат. Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают, и т. п. Для гейминга это нормально, а для научных расчетов нвидия ничего не гарантирует. Дипленинг в этом плане не ядерные взрывы считать, при тренировке специально все замусоривается.> аналогичный opencl код работает почти в два раза дольшеНвидия специально нерфит opencl, чтобы разрабы не могли поддерживать кроссплатформенный код и поднасрать AMD. Из-за этого нам в одном проекте приходится держать 2 одинаковых кода - под cuda для нвидиевских карточек, и под opencl для amd и intel. Разница между opencl и cuda на одном железе - в 2-3 раза. Правда эпл пообещала opencl убить в пользу metal, поэтому все еще грустнее.>Хрен его знает, как оценивать производительность в общемНейронки - это ехал GEMM через GEMM, почти все считается через умножение матриц, которое, в свою очередь, выполняется через активное использование shared memory https://www.quantstart.com/articles/Matrix-Matrix-Multiplication-on-the-GPU-with-Nvidia-CUDA/ , матрицы делятся на блоки, которые помещаются на одном CUDA-ядре, затем все мерджится. Быстрее cudnn ты все равно не сделаешь, и все фреймворки в конечном счете вызывают cudnn.Соответственно оценивать производительность несложно, берешь любую классическую сетку типа ResNet и вычисляешь время либо forward либо forward+backward проходов, желательно с максимально толстым батчасайзом, чтобы учесть еще и то, что карточка на 12 гб лучше, чем на 6.Если не хочешь учитывать размер памяти, сравниваешь на одном bs.Собственно здесь чел это сделал https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/ >Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память. Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать, что ты родишь код быстрее инженеров nvidia.
>>1621457> По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.Окей, можно попробовать переписать сеть без лишних пулингов.Но думаю более эффективно будет перейти от Inception к другой, более эффективной архитектуре EfficientNetB5. Осталось ее только имплементировать, единственную реализую я видел под keras-tpu, ну да ладно, не думаю, что это будет проблемой.
>>1622657>сосет на fp16, падает на два порядкаТакая цифра смысла не имеет же. >Консьюмерские видюхи иногда ошибаются - бит не тот устанавливаютВо-первых, можешь показать пример? Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре. Из сложных операций были скалярные произведения, корни, быстрые инверсные корни и деления.Во-вторых, разве это критично для машинного обучения?>opencl и cuda на одном железе - в 2-3 раза>Нвидия специально нерфит openclНу это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?>Собственно здесь чел это сделалА какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?>Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думатьЭто вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?Я не хочу быстрее, я хочу сравнить. Взять линейную сеть, написать код в лоб без оптимизаций и посмотреть насколько быстрее её обучает тензор. Если там будет х1.3 и оно не скейлится от размера, то можно считать что скорость такая же и они просто оптимизировали мелочь. А если там будет х8 всё увеличивающийся отрыв, то значит они что-то принципиально другое придумали.Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно.
>>1622947Душнее статистики только теория множеств и конечные автоматы. Весь сок - в алгебраической геометрии
>>1622989Вы оба душные дауны, которые зачем-то пришли в ML-тред рассказывать о душности стастики. Создайте себе тред и дрочите там друг другу
>>1622983>Такая цифра смысла не имеет же.Почему, вполне реальная цифра: о fp16 на 1080Ti лучше забыть и оно годится только протестить инференс.>Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре.Сутками надо считать. А потом еще две недели проверять на процессоре.>Во-вторых, разве это критично для машинного обучения?Не критично, я об этом прямо написал. Для машинного обучения достаточно геймерских карт>Ну это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?Компилятор opencl работает хуже и nvidia не будет тратить деньги на его оптимизацию>А какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?Nvidia нужно продавать 20xx>Это вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?Чтобы верить в производительность cudnn, тебе нужно взять cudnn и сделать например GEMM пары матриц 4096х4096, у которых известно число флопсов. Производительность должна быть близка к пиковой>Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно. У тебя код какой-то совсем хуевый, тебе нужно поучиться писать под видюхи. Я получал пиковые терафлопсы на своем коде. Выжимать скорость из x86 лично мне сложнее - чуть пукнешь и у тебя cache miss и производительность падает в 2 раза. Видюхи в этом плане как-то попроще.
>>1622992>А потом еще две недели проверять на процессоре.Угу, я только день осилил. Мне не было это нужно, но было любопытно. Ошибку не нашёл.Может быть там ошибки только при денормализованных числах каких-нибудь происходят, которые никому не нужны, и тебе лишь не повезло?>У тебя код какой-то совсем хуевыйЯ про тензорфлоу вообще-то, лол.Поучиться энивей надо, но я не могу найти работу где нужны видеокарты, а дома в рамках хобби довольно-таки посредственные задачи получаются - я их изначально придумываю зная какие смогу ускорить в 100 раз, не считая что они все из пальца высосаны.
>>1622998Дело не в том, что мышление это боль, а то, что вот эти пункты- Математика, за которую платят- Математика, которая внутренне красиваэто разные области математики. Статистика, графы, множества и конечные автоматы это говно.
>>1623005Давай ты назовешь эти области, которые внутренне красивы, и если они применяются в теории струн, я тебя обоссу
>>1623015Алгебраическая геометрия применяется не только в теории струн, но еще в криптографии, и благодаря ней ты можешь совершать платежи из дома
Платон считал математику высшей формой прекрасного. Быдло отвергает красоту и выбирает то, что "в жизни пригодится" из-за того, что социальный строй сделан так, чтобы люди въебывали ради выживания и не имели времени на то, чтобы думать и заниматься тем, чем хотят.
Посмотрите на любую книгу по матстату в нейронных сетях. Видите эти уродливые многомерные суммы и громоздкие индексы, от которых исходит неприятный запах? Разве в этом есть красота? Алгебраическая геометрия даже проще. В ней поверхности описываются системами полиномов, а полином - это простой объект, проводить с ним вычисления и диффиренцирвоать - сплошное удовольствие.
Жизнь когда-нибудь закончится, а свободного времени из-за работы мало. Вы хотите потратить жизнь на улучшение чужого бизнеса, на написание говнокода, а не на красоту? Вы хотите потратить жизнь на говно?
Самое важно в жизни — заниматься тем, что тебе больше всего интересно и с чем ты справляешься, а не идти учиться на какую-то профессию, потому что с ней легче будет найти работу или потому что кто-то так сказал. Ведь работать 40 лет на работе, которая тебе не интересна, — это катастрофа.
>>1623065>Платон считал математику высшей формой прекрасногоПлатон говорил о маняматике своего времени, а не об это говнище что она представляет сейчас. Да и много чего этот педераст говорил.
>>1623086Ну то есть нейронки переоценены и на самом деле их можно заменить людьми, заодно больше рабочих мест будет.
>>1623000Чувак, юзай гугл колаб и не парься, на процессоре ты месяц будешь считать то, что колаб тебе посчитает за день-два
>>1623092Нейронка может работать круглосуточно, не требует рабочего места, условий труда, инфраструктуры.
>>1623173Я бы не сказал, человеку нужен компьютер, человеку нужно есть, скорее-всего в офисе он будет пользоваться электрочайником, принтером, микроволновкой, плюс нужно считать энергопотребление на производство еды для человека, ее доставку, человеку также нужно освещение.Все это в итоге будет жрать столько же света, сколько и нейронка, если не больше.
>>1623208Даже по чистым ваттам человек сосет. Человек потребляет 100 Вт, при этом работает максимум 16 часов в сутки. То есть 150 Вт на рыло. Пека с современной картой потребляет где-то 350 Вт. То есть, чтобы обогнать человека, нужно всего лишь в 2 раза быстрее выдавать результаты инференса. Но топовые карты работают сильно быстрее даже на сетках типа BERT, не говоря уже о сетях из 2016.Единственное, что дорого по потреблению энергии - это обучение, но его энергетический вклад размазывается на количество инстансов. Человека нужно учить каждый раз заново.
>>1623072> Самое важно в жизни — заниматься тем, что тебе больше всего интересно и с чем ты справляешься, а не идти учиться на какую-то профессию, потому что с ней легче будет найти работу или потому что кто-то так сказал. Ведь работать 40 лет на работе, которая тебе не интересна, — это катастрофа.Вот это пример измышлений, которыми так любят пичкать людей. На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет. Поэтому надо идти туда, где больше заработаешь.
>>1623496Можешь посчитать, сколько стоят колясочки и содержание человеческой личинки в первые 6 лет.Выйдет куча миллионов
>>1623517Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...Ты просто нанимаешь человека, так же как и покупаешь карточку. За столько, за сколько оно покупается/нанимается. О том, сколько было затрачено миллионов на разработку человека и карточке тебе вообще не интересно ничего знать.
>>1623517А ещё у человека может быть плохое настроение, и он будет на одних и тех же данных выдавать разные результаты. Можешь посмотреть ситуацию из "думай медленно - решай быстро" - если не ошибаюсь, даже когда их прямо спрашивали, судьи говорили что "не-не-не, мы всё всегда объективно оцениваем" и перерыв никакого влияния не оказывает. Такая же ситуация в других примерах из книги, дичь невероятная.Нейронка такому не подвержена.
>>1623524>Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...Архитектура одна на миллионы экземляров процессоров, человек же уникален.
>>1623524>Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...Человеку тоже нужен компьютер) Да, оборудование у него дешевле будет.
>>1623515>На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет.Ты так скозал? Ну и ковыряй говнокод всю жизнь, пока кто-то работает с кэлеровыми многообразиями
>>1623657Говнокодером твой софт могут юзать миллионы, а с математикой скорее всего ты родишь какой-то невнятный высер, которым никто не воспользуется
>>1623525Я не понимаю, что тут удивительного. Голодный и усталый человек склонен к более суровым решением, это ожидаемо.
>>1623873Предполагается, что человек много лет работающий в этой сфере вырабатывает хоть какую-то непредвзятость и объективность (причём не просто где-то, а в сравнительно важных решениях), или хотя бы сам начинает отдавать себе отчёт в таком эффекте. Не знаю что там в конце, но 65% в начале и 35% в среднем (это около 10% в конце, если равномерно снижается?) - это перебор. Ладно бы было 65/50 хотя бы. Если предположить, что врачи так же работают, то не очень радостная картина получается.
>>1624031В важных решениях всегда есть консилиумы и дублирование функций, то, что на зеков всем похуй - совершенно не удивительно.
>>1623793Похоже на то, что ты один из несчастных лузеров в этой стране, которые отчаянно пытаются найти себя в жизни. Видимо, миллионы юзеров это единственное, что у тебя есть в жизни. Вот только все эти миллионы юзеров не скрасят твое печальное существование в жизни, в которой тебя никто не любит. Из-за работы ты даже пожить для себя не можешь. Возьмешь год отпуска, и эйчарки уже будут воротить нос от тебя.
Знакомая шлюхенция вкатилась в машоб, просто зная поверхностно математику, умело кидая пыль в глаза, что она умная + постоянно обтягивающие платья и шлюшье поведение )) Пока учится, работает 10 часов в неделю = платят 10к, как закончит будут 40-50к, мб больше (не Масква, у нас 25к ср. запралата.. или 30к, где-то так) )) А вы дальше сидите зубрите свою матешу сутками и вьебывайте, для того, чтобы просто вкатиться)) Достаточно просто жопой и сиськами трясти на каждой конференции, посвященной машинному обучению, пока тебя не заметят и не предложат работу )
>>1625142С чего мы должны тебе верить? Это похоже на батхерт неудачника, завидующего более умной и успешной женщине просто по причине того, что она женщина
>>1625143Да не, я вообще не из машоба)) Просто зашел почитать/сравнить, как вы вкатываетесь и как вкатывается знакомая шлюхенция(точнее уже вкатилась) и вкинуть это сюда. Но на самом деле это так, хотите верьте, хотите нет) Типо она ходила на каждую конференцию машинного обучения и занала теорию по матеше, чисто в кругах общалась математических, поэтому могла поддержать разговор.. Одевается как шлюха, ведет так же, ходит в зальчик для этого.. Ну ее заметил какой-то куколд и предложил ей работу и еще поездки в финляндюи на халяву )) (Хз мб кто-то таким же путем захочет пойти.. вдруг тут есть телочки, только у них должны быть сиськи и жопа и мало жира, а то не заметят) Ну да ладно.. Типо понятно что бабам легко вкатиться в любое место, используя свой пирожок, но самое потешное, что я ей сказал, что мол ее заметили только из-за жопы и сисек.. на что получил лютый баттхерт, что ее заметили прежде всего из-за УМА! Оценили только лишь ее УМ! И вообще она топ машинный обучатель и много чего может...Я попросил при мне обучить машину, она сказала что там на джюпитере 3 часа ее машина будет (хз как это на вашем языке, но я понял что типо компилировваться или загружаться) .. Вот такая кул стори))
>>1625148>Ну ее заметил какой-то куколдОчень странно, поскольку среди математиков зашкаливающий процент пидоров.
>>1625148>Да не, я вообще не из машобаТогда откуда у тебя уровень экспертизы, позволяющий оценить ее ум? Ты же как последнее быдло оцениваешь человека, по тому, как он одевается. Фу таким быть.
>>1625151Ну хз) Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ? Сейчас правда после вката перестала. Или быть может умный человек учиться на одни пятерки не своим трудом, а чужим? просто подлизывая всем и прося сделать за нее.. А потом всем говорить, что она САМА всего достигла и добилась..Да, типо заставлять других делать за тебя, даже если ты баба это круто, но это не ум)) Просто повезло с телом, вот и пользуется им..Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..Или может быть умный человек будет орать на весь кабинет, что она девственница и гордится этим?
>>1625163Только лично мне она рассказывала давно, что ее школьный парень трахал и она нецелка ) (Я просто топ подружка для девчат, мне они доверяют тайны.. зря )))))) )
>>1625160>Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ? Конечно. Даже если человек от природы скромный, но умный, он будет перебарывать свою скромность, потому что это ключ к успеху в информационном мире. Скромные на длинной дистанции проигрывают. Если же умный человек сам по себе нарциссичен, в чем проблема вообще - я имею в виду для него. Полно умных людей является неприятным говном, но тупыми от этого они не становятся.Вообще такие стереотипы думают обычно туповатые лузеры, которые, естественно, считают себя гениальными, но их удел быть штатными шизиками на анонимных бордах. И это я не про тебя (потому что на тебя мне похуй), но тут в треде есть несколько таких.>Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..То есть все претензии в том, что нужно, подобно тебе, засунуть язык в жопу и не высовываться. У тебя ментальность крепостного крестьянина, которому барин может пиздюлей выписать за лишние слова. Воспитывается она в дурной совковой школе. Умные люди это перерастают, глупые нет.Вообще же для тянок в ML действительно есть определенная скидка к их уму, но это фича, а не баг. Во-первых, банально приятнее работается, когда в отделе у тебя не одни носители сосисек, особенно когда тянка достаточно умна, чтобы понимать, насколько умнее ее ты. Во-вторых, разного рода тестирование и прочую рутину тянки делают лучше. Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
>>1625247>Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.Какая же жизель. Такое вообще сильно заметно окружающим людям, когда ты этот самый тупой самец?
Ну вы же все понимаете, каких прорывов в машобчике можно ожидать от зумеров тайдменов, не могущих даже в Гугл и малолетних профурсеток типа таких:>>1625142>>1625148>>1625160В Блинолопатии машобчик вообще существует только милостью доброго американского барина, позволяющего пастись у этой темы всяким папуасам. Достаточно ввести эмбарго на такие технологии, и пизда рулю. Даже коровавирусные кетайсы не смогут анально угнетать своих уйгуров всякими социальными рейтингами.
>>1625268>Достаточно ввести эмбарго на такие технологии, и пизда рулю.Здесь поподробней пжлст, подпендоха, объясни что изменится? Исчезнет говнореклама и всратые котики?
Всё, зумерки-вкатывальщики. Халява кончилась: попугаи кеа знакомы с азами теории вероятностиhttps://nplus1.ru/news/2020/03/04/parrotstatisticsТеперь демпингуют рыночек - будут работать за кормушку корма.
>>1625268А вот и главный лузер треда приперся. Нихуя про тянку не знает, но уже готовы выводы - он самый умный, остальные тупые
>>1625291> Нихуя про тянку не знает, но уже готовы выводы -Знаешь одну селёдку = знаешь всех. Там кроме массогабаритных характеристик и паспортных данных разница стремится к нулю. > он самый умный, остальные тупыеПо сравнению с местными зумерами вкатывальщиками и всяким плоскоземельным шизлом я вообще гений так-то.
>>1625142допустимно только вряд ли это сильно отличается от любого вката через конференции и работу/стажировку студентом, мальчиком надо казаться серьезным и перспективным, девочкой милой и перспективной
>>1625879Ну и где тысячи этих "перспективных" зумеров? В чем перспективность, где результаты хоть какие-то? В Яндексе научились стандартно установленный адблок обходить, ебать достижение, снимаю шляпу и апплодирую стоя.
>>1625863>я вообще гений так-тоИ сколько вас таких непризнанных шизогениев на бордах? Кроме самоподдува у тебя нихуя нет, при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые". Был бы ты чуть умнее, тебе бы хватило ума это отрефлексировать.
>>1625975> Кроме самоподдува у тебя нихуя нет,Есть )> при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые".Это не так. На самом деле:- это не самоподдув- "группа Х тупые, потому что это доказуемый факт".
>>1625268Нейроночки не только в Америке делают, так что вводить эмбарго придётся не одной стране. А это как-то малоправдоподобно сейчас выглядит. Да и в Китае ничего сверхъестественного для социальных рейтингов не нужно, к тому же там тоже есть кому этим заняться.
Сап, где можно найти качественные датасеты каких-нибудь котировок акций, форекса, в часовом таймфрейме бесплатно естественно я и сам погуглю естественно, но вдруг хочу отдрочить нейронку на всем подряд, и потом затрансферить на биткоин
а, еще вопрос - имеет ли вообще смысл обучать предсказывающую модель на различных таймфреймах, а потом файн-тюнить на специализированном датасете с другим таймфреймомтипа, в современных работах по распознаванию образов от гугла, например https://arxiv.org/pdf/1912.11370v1.pdf делалось то же самое, но с изображениями - обучали сеть на одном разрешении, а потом файн-тьюнили до целевого перед тестированием (разница образовывалась из-за аугментации)если так можно с картинками, то с временными рядами может тоже?может таймфрейм как входной параметр добавить вообще
>>1625863>знаешь одну селедку - знаешь всех>разница стремится к нулюзначительность различия определяется выборкой, если разница не нулевая, то то, что тебе разница кажется незначительной означает только одно - ты ошибся при выборе масштаба при сравнении характеристикиначе сравнение просто не имеет ценности и следствий
>>1626736>>1626794>>1626806Не, зумерок, миллиардером ты так не станешь. Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций, либо просто случайное блуждание. Алсо, какой из тебя вкатывальщик, если ты датасеты нагуглить не можешь, лол. Тут и гуглить нечего, бери метатрейдер4, там все данные за выбранный период можно в csv импортировать.
>>1627004>миллиардером не станешьне стану, мне делай нехуй, машоблю вместо просмотра аниме>не предсказываютсяну у меня были раньше какие-то (кажущиеся?) результаты, была обученная предсказывать следующий фрейм нейронка, потом весь временной ряд прогонялся через нее чтоб получить некие абстрактные признаки, потом RL (да да прихуярил еще и не самую развитую область машоба) агент обучался действовать в простой торговой среде, покупка и продажа какого-то не помню какого типа актива с коммисией за операциизавис на том, что агент справлялся без и с очень низкой коммисией, но на взятой с биржи проебывался в ноль консистентно, мне казалось что это решаемо исправлением каких-то ошибок моих именно, которые к этому привели, но к тому моменту я так заебался этим заниматься что забил на несколько месяцевя тогда все на 1m таймфрейме делал, с часовым не получалось особо (да и вообще пока в тренировочной выборке меньше пары лямов фреймов было), вот думаю может повторю хотя бы то что было, если достану данных побольше для 1h и затрансферювообще, я просто не додумался до этого до схемы обучения на большой сторонней выборке + файнтьюнинга на бтк, ну тупой мейби>метатрейдерспасибо, чекну, я по некоторым причинам подумал, что в нем самом по себе готовых данных нет
>>1627004> Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций,То есть всякие датакванты хуйнёй занимаются?Почему же они такие зарплаты платят? Откуда бабло?
>>1627147В квантитатив ресёрче нет мл как такового, ну максимум логрегрессия и эконометрические модели разные.
>>1625247>Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.Так это, как и 99% проблем на рынке, проблема хайринга.Не надо просто искать "математиков с минимум 5 публикациями за последние полгода и топ-100 на каггле" шоб потом они сидели селектами фичи собирали, и никакие тянки будут не нужны.
>>1627147Бизнес-воротилы платят за то, что их успокаивают, мол, вы не просто хуячите рандомом или по примитивным правилам (периодически проёбываясь и утягивая за собой рынок), а согласно хитрому анализу данных.
>>1627167>>1627169>>1627203То есть с конторами, которые занимаются машобом в области финансов и трейдинга, лучше не связываться?
>>1627276Насколько я понимаю, кроме предсказания ряда есть еще много финансовых показателей, которые уже лучше поддаются машобу, всякие анализы рисков, волатильность etc
>>1627753Зайди на прошедшие соревнования и посмотри топ лб. Ещё учти, что многие из топа объединяются в самом конце соревнования.
Какой макбук купить для ml?Старый эир совсем перестал устраивать. Для своей джавы я бы просто взял 13" прошку со встроенной графикой.Но вкатываюсь в ml (курсы прохожу), и как я понял без полноценной видюхи я ничего не смогу делать локально.
В 26-27 лет не поздно из крестов вкатываться в машобчик и кампутер вижн в ДС? С выпускниками ШАДов и ВШЭ по профильному направлению вообще реально конкурировать?
Вот вы спорите на десятки+ тредов, а что уникального конкретно вы реализовали на этих ваших нейроночках?
Вопрос по очистке текста для модели: можно ли привести слова типа "aaand", "aannnnnndddd", "anddddd" к их основной форме "and"?Лемматизация и стемминг тут, вероятно, не помогут.
>>1628081>Автоматизированных решений в данный момент нет?Ну есть там дистанция Левенштейна и прочие хитрые изъебоны, но это такое себе
>>1628032двачую, я вылетел из реальности на полгода+ из-за ваших ебучих нейронок, лучше бы в доту играл
Ща посмотрел стоимость аренды серверов, ебануться косарь за день работы 1080ti, моя 1080ti с авито за 20к уже за год себя окупила
Челы, какой метод нормализации не дает протечки информации между разными точками образца по пространственным измерениям? Типа, что было бы окей при работе с изображениями, и не окей при работе с временным рядом. Я чтоб быстрее по времени обучать оптимизировал типа так, что одним образцом в батче является не [x(0), x(1), ... x(n)] -> x(n+1), а сопоставление входного массива к сдвинутому на один элемент:[x(0), x(1), ... x(n)] -> [x(1), x(2), ... x(n+1)]ну там немного по другому, но суть такаякороче, какие современные нормализации не дадут какого-то усреднения по пространственному слою например, что даст протечку из будущего в прошлое в моем случае
Антоны, а какой прикол делать многослойную seq2seq модель? Какой от этого существенный профит может быть?
Поясните за word2vec: если у меня обучающая и тестовые выборки различаются словами, мне надо их приводить к "общему знаменателю"?
>>1628358в word2vec все незнакомые/редкие слова обычно помечаются отдельным токеном.Но лучше используй fastText, там слова на символьные н-грамы разбираются и проблема сама собой решается.
Стоит ли вкатыватья в магу НГУ, если сейчас учусь в 5 часах езды от Новосиба и может быть смогу попасть туда без выступительных испытаний? Там какое то дотасаенс мошналернинг направление есть.
>>1628772Хуй знает, я вот вообще самостоятельно учился на машин лернинг, параллельно учась в местном пту-универе, ибо стипуха большая, по лабам нет напряга вообще (лабы уровня сортировка на сиплюсах). Единственное, что получил оттуда - багаж знаний по матану. Каеф.
>>1629036>Учиться с учителем проще, чем самостоятельно.лол, не прочитал пост выше и подумал, что это срач про supervised learning, только на моменте с общагой понял, что что-то не так
анончики, подскажите пожалуйста, может есть какие-то нейроночки которые бы откорректировали грамматику текста. Превратили бы "сегодня я ходить в работа" -> "сегодня я ходил на работу".
Делаю диплом с нейросеточкой, суть такая: вводишь текст -> из него выделяются ключевые слова -> по этим словам подбираются изображения. Нужно найти альтернативные системы с тем же функционалом (пишешь текст -> ищет картинки). Гугл картинки и подсказки со стикерами вк и в телеге не совсем то. Помогите, пожалуйста
>>1629434Вообще-то гугл картинки это то, особенно последние годы, когда стало больше нейронок и меньше поисковой статистики
>>1629434Ща уже не просто ищут, а генерят картиночки по описанию. Гугли text to imagehttps://towardsdatascience.com/summarizing-popular-text-to-image-synthesis-methods-with-python-dc12d0075286
>>1618123>>1618123Всё же попробовал поработать с бертом и у меня 3 вопроса:1) Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?Тензоры десяти отзывов весят 8 Мб если я через pickle их сохраняю, таких отзывов у меня 65к, т.е около 50 gb будет весить. В каждом тензоре N слов( по длине отзыва) с размерностью M.2) Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?3) Как мне делать Kmeans на таких больших данных?Подозреваю что нужно будет по одному считывать и делать перерасчёт KMeans каждую итерацию, а не грузить сразу всё в память. Ну или батчами считать, сделать Kmeans, считать снова и так пока не пройду по всей коллекции.
>>1629594>Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?Зачем? Она настолько долго работает, чтобы это делать?>Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?Это было бы слишком охуенно, чтобы подбный линейный предиктор поверх BERT работал бы.Тебе нужно отфайнтюнить BERT под свою задачу, то есть поверх всей этой сетки добавить несколько своих слоев, которые бы делали уже твою задачу. Смотри https://yashuseth.blog/2019/06/12/bert-explained-faqs-understand-bert-working/https://github.com/nlpyang/BertSumНу и погугли finetuning bert, там что-то будет
Посаны, хочу обучить алгоритм по типу вайфы, но не хочу изучать высшую математику.Возможно, даже не апскейлер, а просто фильтр. Желательно чтобы и так и так, как вайфу, но похуй. Устроит в любом виде.Материал для обучения подготовить могу, но что дальше делать не знаю.Советы? Обломаться?
Анон, нужно для диплома написать нейронку для оценки кредитов в банке. Планирую использовать lending club loan dataset. Писать буду на python, следовательно логичнее всего использовать tensorflow? Тогда киньте гайд по нему, желательно на русике, но можно и на инглише. Хотел бы сделать не бинарную классификацию (хороший, плохой кредит), а хороший, рисковый, плохой. На сколько это труднее?
>>1614936 (OP)Ученные, ответьте, почему вы решили вкатиться в ML/DS, вместо того чтобы пилить сайтики/разрабатывать приложения на джаве? Там ведь и денег больше и востребованность и знаний нужно меньше. Я не троллю, просто пасую вас вопрос который задали мне.
>>1630311Ну DS области связанные именно с обучением машин, вопрос тут достаточно обширный конечно, типа прогнозирования покупок, рекомендаций и прочего такого. Но как вообще люди понимают что они именно в это хотят вкатиться? Мне к примеру просто интересно изучать и работать с чем-то, что требует интересного мыслительного процесса, интересно находить взаимосвязи и предсказывать будущее. Но тут чел с курсов приложил меня вопросом о том, может мне лучше сайты изучать, или приложения, а то и геймдев, типа первые 2 направления уж точно выше оплачиваются и адово востребованные, и в целом вел к тому - а нахуй тебе оно вообще нужно? Но вот мне сайты вообще ни разу не уперлись, с приложениями так же, плюс джава мне просто эстетически как-то не понравилась едва я её увидел. А в геймдеве я уже работаю как дизайнер, и в рот это всё ебал. Скучнешие задачи, унылый ноубрейн дроч уровня разнорабочего на стройке, это все только выглядит красиво и весело
>>1630083>Там ведь и денег больше и востребованность и знаний нужно меньшеБольшое заблуждение по всем трем пунктам.Я пару раз в жизни пробовал вкатываться в веб, и не осилил. Потому что это примерно как стать автослесалем - ну да, ничего сложно, и да, каждый раз делаешь одно и то же, но первоначально осилить все нужные технологии не так уж и просто. Неспешный вкат и там и там 1-2 года занимает.Востребованность - зависит от твоего опыта. Веб-сеньер с опытом 10 лет - это, ну, сеньер. ML-спец с опытом 10 лет - это бог рынка труда. Ты как минимум не будешь идиотские собеседования проходить на ту же зарплату.Знаний меньше не нужно, просто знания не устаревают, в отличие от. Условно, в 2008 году я занимался всем подряд, и, с одной стороны, я по просьбе препода написал нейронку SOM для его книги. С другой, сверстал сайт для батиной фирмы. Ну что по итогу. Знания о SOM мне до сих пор пригождаются. А табличная верстка сайта в ту добустрепную эру? Нахуй оно не нужно сейчас. Разве что логи генерить может быть удобно.Грубо говоря знания ML это как хранить деньги в баксах, а веб - в рублях. Иногда тебе везет, но на длинной дистанции ML всегда выиграет.
>>1614936 (OP)Я конечно все понимаю, но есть какие-то базовые курсы/книги для того чтобы освоиться хотя бы на базовом уровне? А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко. В этой области вообще существует какой-то базовый уровень? Нашел пока что книгу https://www.amazon.com/gp/product/1491957662 , если ничего лучше не найду, то по ней стартану и еще курс на udemy. И может кто-то из вас знает что по поводу всяких курсов по DS на яндексе/skillbox/skillfactory? А то там только слышплоти и почти нихуя нет инфы о том, что собственном курс из себя представляет, только у яндекса вроде бы есть парочка вводных уроков, но пока не разбирался что там.
>>1628534> fastTextЯ так понял в модель просто пихаешь обработанный текст и он сам всё делает?Текст этот в файл надо сохранять? Или можно из датафрейма?А что насчёт меток, если обучение с учителем?
>>1630409>А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко.Тогда это не для тебя>В этой области вообще существует какой-то базовый уровеньДа, учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузе
Ебанутый мир.Презумпция о невиновности нихуя не значитВ одних странах ворьё, мерзавцы и охуевшие малолетки считающие себя умнее и лучше их. В других муслимы/муслимы-беженцы. В третьих куколды, каблуки открывающие рот, когда представители "меньшинств" расстегивают ширинку.Ублюдские люди, ублюдское общество куда не плюнь.Сука.Может кто нибудь знает ответ, где находится нормальная страна с более-менее вменяемыми людьми?Если ты ответишь-Польша, я харкну тебя в ебало, потому что польша притон ичкерийцев
>>1630439> учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузеСильное заявление.jpegТолько чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.Ты ещё скажи, чтобы стать смуззихлёбом, надо кандидатский минимум сдать по физике полупроводников.
>>1630444>Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.Это не математика, а вторая культура.
>>1630409Поддерживаю оратора выше, без уверенного знания матана тебе даже вёрстке делать нечего. Рекомендую тебе не тратить на это время, это не для таких как ты. Тут тебе даже программирование по сути не нужно и всё это вторично. Главное глубокое знание матана в идеале. Вчерашним домохозяйкам тут не место.
>>1630453Ох интегралы сладкие, обожаю брать интегралы под водовку и махорку. А эти ваши модули, торические многообразия, гомологии и гомотопии это что вообще такое?
Мы с коллегой по кафедре недавно душевно посидели, попили водки с пепси, поели то, что он приготовил - отборный картофан, каждый взял на закусь несколько интегралов - неопределенные, поверхностные второго рода, после второй бутылки взяли даже неберущийся в элементарных функциях интеграл. А листочками по алгебраической геометрии вытирали руки.
>>1630472 >>1630456 >>1630450Нихуя себе вербитошизика триггернулоСамые уебищные люди - те, которые считают, что есть правильная математика и неправильная. При чем правильная - это та, подо что выбивают гранты лично они
>>1630531Мы тебе не мешаем заниматься твоим протухшим говном, по которому нет актуальных исследований и которое изучено вдоль и поперек в 30-м году
>>1630444>Только чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.>Это тем кто исследования ведётЭта дихотомия - самоподдувный миф вкатывальщиков. Если ты устраиваешься на вакансию DL-сеньера, ты именно что ведешь исследования. Разница с наукой только в том, что публиковаться не обязательно, а то и вредно. Ну и еще по мелочам, например, рост перформанса в 1% в науке может быть сенсацией, а в бизнесе будут доводить до ума существующие модели. Что, кстати, тоже нихуя не то, как ты себе это представляешь.
>>1630545>что ведешь исследованияТам еще исследования ведутся? То есть вот за этим всем неработоспособное МЛ говнищем, за ним стоят исследования и человекочасы неглупых людей хоть и матанопетухов? Ой, вейМимо
>>1630540>Мы тебе не мешаем заниматьсяКак минимум ты очередной раз протек в ML-тред.>протухшим говном, по которому нет актуальных исследованийПротухшим говном является М-теория, теория струн и прочая отрыжка математиков, которая оказалась соврешенно неприспособленной к описанию реального мира. То есть эти уебки хотели стать новыми миньковскими, а оказались просто долбоебами. А дальше начали делать вид, что не больно-то и хотелось, мы же фундаментальная математика епт. В интегральчиках же дохуя работы и неизвестного, до сих пор нормальный симулятор всего не написан, везде какие-то частные случаи и ухищрения.
>>1630543>Так маняматика говно без задач, какие там исследования?Как раз таки ЗАДАЧ там очень много. Может быть ты, быдло, хотел сказать, что за это тебе не заплатят 300к в секунду? Ты настолько увяз в коммерс системе, что уже не понимаешь, что и для чего тебе нужно. Вся цивилизация построена на интересе, наука развивалась благодаря интересу. А у таких как ты тристакавсекундышей нет ни цели, ни смысла, убогое быссмысленное существование
>>1629594>Как мне делать Kmeans на таких больших данных?А в чём проблема, зумерок, эффективных алгоритмов поиска ближайших выше крыши, не говоря уже о приближённых. Понаизучают свои няронки, а простейшего компьютер саенса уже и не знает никто.
>>1630551>Как раз таки ЗАДАЧ там очень многоНу так давай по простому, вот задача, вот ее решение, вот невероятный профит для человечества, примеры пазязя.
>>1630564>вот невероятный профит для человечестваУ тебя стадная когнитивка, тебе жизненно важна работа на публику. Так, например, у всех чинов происходит, им нужен пиздеж и публичность. Смысл математики есть для самого математика. Ты его не видишь потому, что у тебя нет понятия самого "я", твоя личность смешана со всей окружающей биомассов. Если эта биомасса не одобрит твои увлечения или даже твое существование, то это твое существование как бы не имеет смысла.
У тебя даже нет такого понятия как "интерес", есть только социальный заказ и твои потуги его удовлетворить ради похвалы
И М-теория и теория струн это теоретическая физика, а не математика. Математика - это разработка самой математики. Работа математика - доказательства теорем и создание теорий. Пример математики - деятельность Рамануджана.
>>1630567>Смысл математики есть для самого математикаНу, ок, я согласен, только почему я его должен кормить со своих налогов, а их не одна сотня тащемто? Почему мне за мои увлечения не платят, несправедливости ты не видишь?
>>1630575>только почему я его должен кормить со своих налоговПотому что социальная справедливость. Учитель, врач и воспитатель платят налоги и не бухтят, только убогие типа тебя возмущаются тем, что от своей зарплаты 300к они платят 5к налогов. Я бы еще ввел прогрессивный налог, чтобы такие как ты отчисляли от своей зп 50-60к налогов на благо социума.
>>1630578>Потому что социальная справедливость>Учитель, врач и воспитательОх лол, вот последние приносят реальную пользу человечеству, а матанопетушнят нет. Тебе не кажется что математики это паразиты?
>>1630567>У тебя стадная когнитивка, тебе жизненно важна работа на публику.Ты это только чато на публику высрал. Я уже говорил, что вербитоблядки - это худшая порода людей.Тут та же самая хуйня. Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрение. Ебаные лицемеры.
>>1630582Деточка, твой компьютер работает на математике.Выйди из интернета и больше в нём никогда ничего не пиши.
>>1630586>твой компьютер работает на математикеКуча транзисторов с примитивной двоичной логикой, это ты в заслугу ставишь? Помнишь того, кто первый программируемый ткацкий станок изобрел, а?>Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрениеМысли научись выражать.
>>1630587>Мысли научись выражать.Доказательство теорем лучше всего развивает способность выражать мысли.
>>1630592>Ты туповат просто, вот тебе и не понятноЯсно, но вас математических говноедов, я деньгами кормить не буду.
>>1630586>Деточка, твой компьютер работает на математике.Компьютер создан инженерами за миллионы человеколет проб и ошибок с использованием открытий физики.Математики тут седьмая вода на киселе. Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.
>>1630594>А спам на дваче развивает мышление?Конечно, я все больше убеждаюсь в своей правоте, поскольку вы не можете внятно объяснить какая мне от математиков польза.
>>1630587> с примитивной двоичной логикойОно работает, маня. Сделай лучше, если сможешь - это первое.Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.Математика везде.
>>1630597>Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.Это не проблема фундаментальной науки.
>>1630596Ты совсем тупой, если не понял, что нас тут минимум трое.Вербитошизик, вылетевший из универа за токсичность, ты (нечеткий петух, кефирщик и далее по тексту), и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношение. В плане "компьютер работает на математике" я скорее на твоей стороне, подобное только вербитошизик может высрать.
>>1630601>Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.сначала: ИНТЕГРАЛЫ КАРТОФАН КАРФТОФАН ВТОРАЯ КУЛЬТУРАчерез пару часов: Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.Лицемеры-первокультурщики как есть.
>>1630601>Математика вездеЧто вы изобрели нового?> фотошопы и различные фильтрыЭто пиздец без комментариев>расчёты самолётов, ракет и кораблей, моделирование процессовВсе это было придумано до вас, да и после каждого проектирования идут тысячи часов допиливания напильником реальной модели. Математику на хуй.
>>1630604>и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношениеИ я тебя уже много раз просил похвастаться твоими достижениями, но увы...
>>1630610>обработка изображенийО кей, есть задача детектить 2д геометрические фигуры на плоскости с определенной скоростью, только вся ваша магия нихуяшеньки с этим не справляется, объсни?
Как печёт-то умственным карликам что им мозгов только керас импортить и датафреймы перекладывать хватает а кто-то более изощрёнными вещами занимается, любо-дорого :3
>>1630609Пару раз ты просил, последний раз это было еще в прошлом году, а мы на рынок вышли только в январе. Сотни установок (с ценой установки в сотню баксов) в неделю от живых людей - это достижение или нет? Или эти люди тоже оболванены маркетингом? Ты же шизик и всегда придумаешь объяснение, почему конкретно в этот раз нейронки сосут.
>>1630629>обработка аудиоТы это уже говорил, ну ты же понимаешь что это так себе, говно для тех кто в теме? Где прогресс?
А можно на каком-нибудь бесплатном хостинге с кроном сделать скрипт который раз в три-четыре часа ходит и пинает ноут на коллабе чтоб обойти ограничение по времени выполнения? Не отслеживают такое?
>>1630633>Где прогресс? Заранее манипулятивный вопрос. Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нет
>>1629858Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная. И подозреваю, что с задачей отличной от шумодава она справится очень хуёво.Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?Пиздец.
>>1630694>Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная. Это просто софтина, гоняющая разные модели, есть быстрые, есть медленные. Совсем быстро будет что-то типа unet mobilenet или вообще типа https://www.paperswithcode.com/paper/190807985 (2 секунды в гугле по запросу mobile super resolution)Обучение медленно всегда, покупай видюху или пиздуй на google colab нищенствовать>Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?У даунских вопросов как раз мало шансов на ответы. Лично я не нашел у тебя в посте вопросов, кроме "я даун и не прочитал ридми у waifu2x", да и то после дешифровке, за такие формулировки даже на малотоксичном stackoverflow пиздят.
>>16307002070s присутствует. Наверное, приемлемо? Ну, "читай ридми вайфу" — тоже ответ.Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинках. Сорт оф дизеринг.Могу ради этого запилить дохуя примеров изображений с шумом и без.И вот, прежде чем вникать, пришёл к вам с вопросом стоит ли это того вообще.То есть, если вкатываться пол года самому и обучать ещё пол года сеть после этого — оно того явно не стоит.Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.Волнует скорость обучения. Скорость обработки не так сильно. Пока всё прочитанное намекает, что короткого пути нет.
>>1630709>2070s присутствует. Наверное, приемлемо? Наверное, особенно если fp16 для твоей задачи заведется>Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинкахПокажи>Могу ради этого запилить дохуя примеров изображений с шумом и без.Если ты можешь запилить дохуя примеров, ты видимо их генерируешь. Нахуя тогда тебе нейронка>Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.Пара недель - это что-то из 2015. Сейчас самая первая сетка вайфу, которая SRCNN называется, должна обучаться за несколько часов (и то я дохуя загнул). Сетки со скипконнекшенами с тем же числом параметров еще быстрее обучаютсяТут скорее вопрос в том, что из себя представляет шум, какой receptive field тебе нужен, чтобы модель полно его воспроизводила, сколько слоев настакать, и так далее.waifu2x тут конечно нахуй не нужен, во-первых, lua, во-вторых, там слишком много хуйни для юзеров. https://medium.com/datadriveninvestor/using-the-super-resolution-convolutional-neural-network-for-image-restoration-ff1e8420d846 вот например туториал индуса какого-то с той же самой SRCNNSRCNN это конечно древняя хуйня я ебал, она появилась до массового использования скипконнекшенов, которые очень сильно облегчают жизнь, поэтому в принципе ее лучше не юзать. Но найти человеческий индусотуториал я не могу. Например вот отсюда https://github.com/ChaofWang/Awesome-Super-Resolution вот в этой репе https://github.com/titu1994/Image-Super-Resolution есть DSRCNN, вот что-то подобное выглядит не сильно тяжелее DSRCNN и при этом уже со скипконнекшенами. Вообще найди Awesome-Super-Resolution репу по вкусу и используй.
>>1630716> ПокажиЧто-то такое. Хочу имитацию "полезного" шума.> ты видимо их генерируешьМогу генерировать при наличии хайреза и на определённых исходниках. Иначе заёбно. Хочу чтобы комплюхтер заёбывался вместо меня.
>>1630722Такое за пару дней сделать должен. Возьми индусотуториал, убедись, что обучение идет на родном датасете, затем подмени датасет на свой и ебашь. А там посмотрим, интересная задача, пиши как что
>>1630668>Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нетНу вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф. Сейчас собственно технологический тупик уже как лет 50, оптимизация технологий. Все становится чуть меньше, надежней, дешевле, но это не прогресс.
>>1630784>Ну вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф.Сколько лет прошло между паровым двигателем и железной дорогой между двумя городами? Между локальной железной дорогой и региональной? Между региональной и транссибом?Если ты безграмотная манька, не знающая истории - то хуяк, и 200 лет истории развития - это короче, чем год сейчас, ведь год сейчас - это столько новостей в бложиках, а про 200 лет надо в унылых книжках читать.Ну и я молчу о том, как ты бы в каком-нибудь 1848 году ныл о том, что прогресса последние 50 лет нихуя нет.>Сейчас собственно технологический тупик уже как лет 50Это у тебя в голове технологический тупик. Не по Сеньке шапка, "хуяк, железные дороги" - твой уровень, а вот оценивать технологии последнего полувека - нет, ты даже железные дороги осилить не можешь, они просто у тебя просто хуяк и появились.
>>1630806Ты по существу и не ответил. Помнишь MYCIN и как ее торпедировали? Ты там сигналы обрабатываешь, ну ок, зделой синтезатор речи котрый не похож на говно, ок?
>>1630925>Ты по существу и не ответил. Я ответил по существу.>В 1705 г. француз Дени Папин поставил на лодку изобретенную им паро-атмосферную машину и получил желаемый результат. Но лодочники реки, где производил свои опыты Папин, уничтожили его лодку из боязни конкуренции. Папин не смог найти средств для продолжения опытов.>В 1768 г. и в 1801 г. английский инженер Саймингтон построил два удачных парохода, но владельцы каналов запретили плавание под тем предлогом, что пароходы будут разрушать каналы>Зимой 1802 г. маленький пароходик Фультона уже ходил по Сене. Весной 1803 г. был построен второй пароход, но неизвестные злоумышленники уничтожили его.>Адмиралтейство предложило Фультону крупную сумму за то, чтобы он навсегда отказался от постройки подводной лодки… Алсо, первые пароходы были дико неэффективны по сравнению с парусниками и по сути везли только уголь, который сами же и жгли, ну и немного богатеньких пассажиров. Можно поднять газеты тех лет и наслаждаться количеством вылитой вони и карикатур о куче изобретений, которые довели до ума. Такие как ты были всегда. Потому что прогресс и его принятие - это страшно. Открытия 19 века привели не только к небывалому росту продолжительности жизни, но и к двум мировым войнам. Гораздо проще кричать "врети" и жить в манямирке.Это - история открытий и изобретений. Полно успехов, полно неудач. Неудач намного больше - это нормально. Полно "этот зумер пытается что-то изобрести, давайте его отпиздим". Любая технология в то время - это стечение удачных обстоятельств. А у тебя - "хуяк, железные дороги вместо лошадей". По сравнению с 19 веком сейчас время охуенное, потому что люди поняли цену технологий и поняли, насколько вреден луддизм (ну, кроме диктаторов в банановых республиках). Нейронки развиваются быстро, благодаря достижениям последних лет, от интернета, позволяющего моментально меняться идеями, до института венчурных инвестиций, которые вместо того, чтобы сжигать пароходы, помогают их строить. Но они не могут развиваться моментально.Ну и теперь поместим в это время нытика, подобного тебе. Сидит себе где-то на печи крестьянин, за год не происходит НИХУЯ, и за два нихуя не происходит, потом какой-то чудак делает пароход, и этот крестьянин начинает ныть, какой он неэффективный, и вообще парусники - это охуенно и красиво, а пароходы - он ебанутый что ли. Такие как ты оценивать будущее и перспективность технологий не могут, потому что не дано.А так как жизнь крестьянина короткая и хуевая, то весь прогресс 18, 19 и 20 века прошел мимо него. Он и в 60-е годы 20 века на лошадях инструмент возил. А самолеты - вообще хуета, 100 лет назад французы на воздушном шаре летали, какие нахуй самолеты, они тяжелые и сложные.И через 200 лет такой, как ты, будет рассказывать о событиях 1970-2020 года в стиле "хуяк - нейронки". Ну и естественно никакого прогресса видеть не будет, потому что история наука скучная, а читать блоги, бесконечно репостящие хайпующих google/facebook/openai - это сколько угодно.
>>1631252>Нейронки развиваются быстроТак развились, что нихуя не могут, лол.>Это - история открытий и изобретений.В которой математики в лучшем случае сосут хуй, а в худшем вся научная пиздобратия торпедирует изобретателейчтобы он навсегда отказался от постройки подводной лодки…
Достопочтенные Джентльмены, прошу прощения что врываюсь в ваш бессмысленный срачь, у меня тут вопрос, нужно ли накатить для начала парочку курсов по основам матана чтобы потом приступать к курсам по DS, или можно это делать чуть позже или паралельно по мере надобности? А то боюсь что потрачу пару месяцев на матан, и в итоге обнаружу, что он для первых шагов в изучении DS/ML вообще нахуй не всрался и там на 100% используется по сути только кодинг и общее описание концепций
Блин, что-то все эти трансформеры, берты и хлнеты вгоняют в депрессию.Это что, реально самое простое что работает? Выглядит, честно говоря как нагромождение костылей.Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
>>1631439>Выглядит, честно говоря как нагромождение костылей.Петуха забыли спросить, как что выглядит
Есть тексты, авторы которых известны, есть тексты, авторы которых неизвестны. Нужно узнать, можно ли соотнести неизвестный текст к известному автору.CountVectorizer + OneVsRestClassifier работает, но даёт хуйню (~0.45 precision). Как можно точность повысить? Можно ли сюда вхуйнуть BERT?
>>1631541>Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?Ты почти угадал
>>1631763если тебя пугают слова типа матрица, вектор, градиент, функционал, принцип максимизации правдоподобия, марковская гипотеза, интеграл, градиент. То однозначно надо учить математику.
>>1631765А есть какой-то более менее вменяемый курс по математике, которую полезно было бы знать именно в области ML/DS? Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу. И тут вроде бы эту базу тоже сначала надо изучить, и таким образом я сам того не зная могу прийти к тому, что один только матан придется изучать ближайшие 10 лет просто буквально начиная с таблицы умножения. Пока там кабанчики по курсам одного только пайтона вкатываются в машоб за полгода-год просто вертя на хую библиотеки даже не задумываясь о математике. Вот и не знаю что именно то блядь учить. Как вариант начать с другого конца - именно с юпитеров, уроков по DS и потом в случае чего уже подтягивать знания. Но тут господа только между собой сраться на пол треда горазды, хотя казалось бы нахуй их срач тут вообще кому-то сдался. А что-то посоветовать просишь, все игнорят.
>>1631765Не пугают, меня смущают скорее какие-то немотивированные нагромождения из настаканных трансормеров.
>>1631774Пока добавление слоев работает исследователи будут это использовать. В принципе есть модели seq2seq с RNN и аттеншоном, но они долго обучаются из-за множества последовательных операций, в этом смысле трансформер гораздо эффективнее.
>>1628272Аноны, так ответит кто-нибудь? В чем там проффит многослойности основной? >>1631778Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе?
>>1631738bumpЕщё вопрос: какие есть аналоги CountVectorizer для multi-class classification? Есть TF-IDF, а ещё? Есть ли какие-нибудь похожие векторные представления для BERT/RoBERT/..., чтоб я всё смог скормить это SVM-у?
>>1631769>Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу.Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.Нет, предел последовательности тебе конечно для ML не особо нужен, можно интуитивно, блядь, понимать, что такое градиент, но... чувак. Эту хуйню школьникам в семнадцать лет дают.
>>1631785Так себе это. Обучение нейросетки больше похоже на высекание скульптуры из камня, есть изначальный шум, из него прорисовываются контуры будущей математической функции. Соответственно когда ты из камня высек девочку, а к тебе пришел заказчик, и сказал, что это должна быть венера с огромными сиськами, а у тебя уже материала нет.Но если тебе повезло и новые данные в целом близки по распределению к старым, то немного дообучить можно.
>>1631789Ну там данные в целом близки по распределению, мне просто вручную размечают текст, он из того же источника, с тем же шрифтом.
>>1631784>В чем там проффит многослойности основной? Выше скор>Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе? Гораздо
>>1631763>Это что, реально самое простое что работает?Кому-то и собака работает>Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают? Каждый день читаешь arxiv-sanity в поисках идей, тестишь эти идеи. Желательно не один, потому что один сильно заебешься. Потом собираешь все идеи в большую кучу, и при должном везении получаешь новый state of art. Сами по себе идеи как правило простые. Сложно их притесать друг другу так, чтобы они не подсирали. Для этого нужно понимать, что происходит. BERT совсем несложен, это просто тонна настеканных аттеншенов. Лично мне тяжелее понять как работает лосс в вариационном автоэнкодере, а совсем шаманство - это GAN'ы. Аттеншены стали хайповой темой после сверток, почему - есть свои причины.У того, что сетки глубокие - тоже есть причины.
>>1631791Я бы не стал даже думать в эту сторону.Основная проблема у этой хуйни даже не то, что оно хуже работает, оно еще и хуево воспроизводимо. То есть одно дело, когда у тебя есть датасет, и ты знаешь, что если ты проебешь модель, ты с нуля возьмешь и натренируешь тот же перформанс. А другое дело - когда у тебя хуй пойми по какой процедуре тренированная сетка. На каком-то этапе ты решишь все-таки тренернуть с нуля (например, модель потолще взять), а тебя перформанс дроп, а причины ты вообще не ебешь, потому что невоспроизводимо и A/B тестирование хуй проведешь.
>>1631784>Аноны, так ответит кто-нибудь? В чем там проффит многослойности основной? Ты в слове deep learning слово deep совсем не заметил? В многослойности вообще весь профит. Больше слоев - более выразительно сложные модели, которые при этом легче оптимизируются по определенным причинам>Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе? Рекуррентные сети неэффективны из-за того, что для их тренировки ты их все равно раскручиваешь в feed-forward сеть, но с одними и теми же параметрами в каждом чанкеТ.е. сетка y=rnn(w, x) при обучении разворачивается в y=rnn(w, rnn(w, rnn(w, rnn(w, rnn(w, x)))))При этом нерекуррентная сетка типа nn(w1, nn(w2, nn(w3, nn(w4, nn(w5, x)))))Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему), а число флопсов в целом такое же. Поэтому смысла в рекуррентных сетках на видюхах нет и мода на них ушла года 3 назад. Сначала их вышибло из распознавания образов, но только потому, что локальность рецептивного поля у сверток удобна для задач компьютерного зрения. Но для языка свертки сосут, потому что в язык нихуя не локален сам по себе. Поэтому там чуть подольше задержались RNN, которые в конце концов убрали на основе идеи развернуть рекуррентую сетку в длинную колбасу, но без сверток, а с помощью attention'ов. Вот так и появились все эти трансформеры
>>1631803> Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему)Ну это я понимаю, еще число операций со всеми этими LSTM очень большое, что мне не очень всегда нравилось.Тогда и правда пойду менять в своей модели seq2seq на трансформер, буду с CNN в него экстрактить признаки.
>>1631778> Пока добавление слоев работает исследователи будут это использовать.А когда-то над этой картинкой смеялись...
>>1630727>You should preinstall Microsoft Visual Studio (VS) Ну пиздец. Чем дальше в лес, тем больше дерьмом надо засирать пека. Кудкуда не будет без вижуал студио работать штоле? Нахуя ей студия?Я уже охуел.Это говно вон всем довольно и так на вид>tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
>>1631848>шиндошсЗемля тебе пухом, братишка.>куда не будет без вижуал студио работать штолеКуде нужен компилятор с++. Не уверен, правда, что он нужен для тензорфлоуЕще есть visual studio build tools, типа все для билда студийных проектов без самой студии. Я как-то юзал на некропк, на котором не было нужного для студии место на hddТебе для твоей задачи проще google colab заюзать
>>1631851>Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 6281 MB memory) -> physical GPU (device: 0, name: GeForce RTX 2070 SUPER, pci bus id: 0000:02:00.0, compute capability: 7.5)Вроде, и так завёлся. Видимо, студия нинужна.Ну, теперь осталось понять КАК ОБУЧАТЬ.Индусокод работает, только обучение в нём отсутствует.Видимо, придётся брать что-нибудь случайное под тензорфлоу и смотреть что будет.
>>1631856>Индусокод работает, только обучение в нём отсутствует.Хм, ты прав.Обучать сетки в керасе легко, в созданной модели ты сначала ее компилируешь с нужным оптимизатором https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L50 - две строчки отсюдаПотом вызываешь у нее либо метод fit, который принимает 2 параметра, либо fit_generator (а еще train_on_batch), который принимает коллбэк, в котором ты возвращаешь через yield по кусочку датасет https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L64Первый вариант удобен, но тогда весь датасет должен влезть в оперативку, либо хотя бы в свопфайл, другие варианты более гибкиеСобственно и все. После этого на обученной сетке делаешь save_weights/load_weights, чтобы не проебать веса, а затем вызываешь predictДанные в fit кормишь в виде numpy массива следующего shape'а: [число_примеров, длина, ширина, число_цветов].
>>1631787>Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижали>>1631772Спасибо
>>1630616Кому не нужны? Жидам-дельцам из бизнеса?Если так рассуждать, то не нужен никто кроме таксистов, сантехников, электриков и юристов. Программисты тоже не нужны. Жили без них раньше, проживем и еще столько же
>>1631991> 2020> спорить с кефирщиком - плоскоземельным шизлом, утверждающим что во швятые экспертные системы никто не верует из-за мирового заговора жидомасонов, которые скрывают эффективность ЭС
ИТТ сильно горят анальники, которые держат в себе свое ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ как какашечку и не хотят смотреть на мир шире, потому что это выведет их из зоны комфорта. Как там, какашечка не давит на ваши геморройные узлы?
>>1631991>Программисты тоже не нужныВот швабропидарахи сами записали погромистов в илитарии и интеллигенцию, сами на это и надрачиваю, такой вот манямирок построили. Но мы то знаем, что это не так.>>1632008Твой черный ящик выдающий рендомную хуйню не нужен тем более.
>>1632130>Вот швабропидарахи сами записали погромистов в илитарии и интеллигенциюВсегда была только одна элито - андеграундные реверс-инженеры и хакеры. Куда бы себя швабропидарахи ни записывали - элито они от этого не станутhttps://github.com/zzz66686/simple-virtual-machine/blob/master/VM_crackme/vm_crackme.cpp
Коммерческая разработка это говно. Обновляйте свои jsonb в постгре, собирайте датасеты годами. Несмотря на жопочасы, потраченные на фарм бабла, вы никогда не сможете разреверсить защиту с виртуализацией кода и никогда не разберетесь, почему тор изоморфен эллиптической кривой. Вы ненастоящие программисты, вы быдло, батраки.
>>1632165>Коммерческая разработка это говно. Обновляйте свои jsonb в постгре, собирайте датасеты годами.Ну, в общем смысл в шизовысере есть: если хочешь поднатореть в мл не нужно идти в большие компании, там до одурения просто будешь селектики писать, а ни к чему релевантному наверное даже подойти не дадут.
>>1631894>Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижалиКак видишь, унижать тебя никто не прекратил бггг.Тогда начни с этого чувака https://www.youtube.com/watch?v=ZmwdHAhVsPMТочнее, там цикл лекций, можешь с первой начать. Это матан для школьников, проще уже некуда
>>1632331почему все так любят этого душного, всратого математика? неужели на всем ютубе не нашлось экземляра получше?
>>1632350Это ты душное одноклеточное, судящее людей по внешности. А он охуенный, да и если говорить о всратости, тянки по таким текут
Антоны, чет я начал копаться в теме трансформеров и гуглить решения и пока не понимаю, как им можно скормить признаки с CNN? Все решения что нахожу создаются для перевода с языка на язык.
>>1632535Вот например, нужны ли мне вообще эмбеддинги или выкинуть эту часть из оригинальной архитектуры?
>>1632556Вместо эмбеддингов у тебя фичи cnn. Главное сплющи высоту до 1, оставь только ширину и каналы
Анончики, а как найти коэффициент корреляции между количественным и качественным столбцом? Или между качественным и качественным? В интернете, вроде, пишут, что для этого можно использовать stats.pointbiserialr, но он всё равно выдаёт TypeError.
>>1631858Продолжаю держать в курсе™, почему бы и нет.SRCNN-keras нихуя не заводится нормально. За три дня с питоном не подружиться, чтобы понять в чём дело.Попробовал ради эксперимента обучить шумным сетом вот эту штуку https://github.com/jiny2001/dcscn-super-resolutionСамо то для даунов-вкатывальщиков.Не понял как и можно ли вообще скормить ей изображения парами.Шум от только одного сета, очевидно, генерироваться не начал.Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.Думою дальше.
>>1632647Никак.machinelearning.ru/wiki/images/e/e7/Psad_corr.pdf - про категориальные.Категориальный-численный - дисперсионные анализом.
>>1632720>Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.Конечно пары. На вход и на выход. Для этого у функции fit есть два параметра, data и label. Наименования для классификации, в твоем случае это просто вход и выход. А ты как хотел?
>>1632565Я стакал признаки по высоте в прошлый раз и подавал их в seq2seq декодер в attn_states.Вот с трансформером не очень понятно, как их подавать, прочитал пейпер, посмотрел на имплементации архитектур на гитхабе.Тут на входе в энкодер есть Q, K, V, это 3 размерные тензоры (N, T1, d_model), как мне сконвертить CNN выход в этот формат? Извини, если вопрос глупый
>>1633541https://github.com/google-research/bert/blob/master/modeling.py#L441Видишь input_vector у эмбедингов это input_tensor: float Tensor of shape [batch_size, seq_length, embedding_size].У тебя вместо этого будет input_tensor: float Tensor of shape [batch_size, seq_length, number_of_cnn_channels]Соответственно вот тут https://github.com/google-research/bert/blob/master/modeling.py#L131 тебе нужно выкинуть нахуй embedding_lookup, передав в embedding_postprocessor непосредственно выхлоп CNNПро Q, K, V в этом коде тоже есть.Возможно где-то я написал хуйню, это все чисто навскидку. Можешь поискать конкретный пейпер, где есть переход CNN->transformer.
>>1633085Мы просто знаем, что такое корреляция и когда её считать нужно, а когда нет, в отличие от некоторых.
Дожили. Человек не знает, что такое трансформер и в чём идея механизма внимания, и просто пытается хуярить слои. Ну а чо, сама обучится, понимать ничего не надо, надо код писать.
>>1633549>Ну а чо, сама обучится, понимать ничего не надо, надо код писать. Ну вообще-то да. Понимание приходит в процессе решения задач, а не теоретизирования на двачах. Это касается практически любой сферы деятельности, за редким исключением, типа хирургии, где цена ошибки слишком дорога. Ты просто сам по себе сраный прокрастинатор, который нихуя не умеет и пытается оправдать это неумение подобным подпездыванием
>>1633550Понимание приходит многими путями. Например, путём изучения наследия древних, хотя бы стэнфордского курса по сетям, где вопрос применения механизма внимания к изображениям (в контексте задачи image captioning) вполне себе рассмотрен.
>>1633552Или я что-то пропустил, или нет там про трансформеры с multi-head attention, там сетки CNN->RNN из 2016.
>>1633264И как? Не делать же на каждое значение качественного столбца отдельный столбец булевского типа. Я тогда заебусь для каждого значения отдельно смотреть корреляцию.
>>1633555Так там можно прочитать, как применить attention к выходу cnn, а дальше уже применить это в своём трансформеры. От того, что голова там всего одна и используется rnn, суть не меняется.
>>1633766Если ты про http://cs231n.stanford.edu/reports/2016/pdfs/362_Report.pdf , то меняется и сильно
>>1633766Ну вообще-то меняется, похоже, что ты сам не очень понимаешь работу трансформера.Анон выше уже писал, что с rnn у него получилось.
>>1633773>>1633779Ну и что же там меняется? Теперь нужно нарезать картинку на квадратики и считать сходство не между выходом рнн и квадратиком, а между самими квадратиками, вот прямо великое изменение!
>>1633803В cs231n - attention gate. В трансформере - scaled dot-product attention (с Q, K и V)Может, одно к другому и сводится, но мне это нихуя не очевидно, например
Вкатывальщики и поопытнее, помогите переделать свёрточную сетку с кераса на торч, пожалуйста.https://www.codepile.net/pile/7ne7Xe4jВопросы именно к содержимому Conv2d(), а также аналогам flatten и dense в торче. Я правильно понимаю, что они просто линейными слоями заменятся?Спасибо.В помощь:https://discuss.pytorch.org/t/using-linear-layers-new-user-transfering-from-keras/4400/5 https://discuss.pytorch.org/t/pytorch-equivalent-of-keras/29412
>>1633810Какая нахуй разница, по каким формулам оно считается? Там хоть сиамскую сеть можно засунуть для подсчёта спора для q и k, только это нахуй не нужно. Важно, что объект состоит из примитивов, у каждого из примитивов есть k и v. Дальше поступает q, мы считаем коэффициенты si = s(q, ki) и получаем z = sum(si * vi). В image captioning в качестве q выступает выход rnn, в трансформере - считается по примитивам. Соответственно, при использовании аттеншона нужно разделить объект на примитивы: для текстов это делается очевидно (слова), для изображений - можно нарезать на квадратики выход слоя cnn.
>>1633829>Flatten в pytorch нет, но пишется в 3 строчки.Типа такhttps://gist.github.com/VoVAllen/5531c78a2d3f1ff3df772038bca37a83А что насчёт Conv2d()? В торче же фильтры вроде не указываются.
>>1633837Ну вот первый слой.Керас: model.add(Conv2D(filters=32, kernel_size=(3, 3), padding='SAME', input_shape=(img_size, img_size, 3), activation='relu'))В торче будет:nn.Conv2D(1, 32, kernel_size=(3, 3), bias=False),nn.ReLU(),Или я что-то упустил?
>>1633826>Какая нахуй разница, по каким формулам оно считается? Потому что это обсуждаемый вопрос, как из фич CNN получить K, Q и V. Ответ есть в этом коде https://github.com/google-research/bert/blob/master/modeling.py#L558 - простой маппинг полносвязными слоями (в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобе).А тебе нужно научиться формулировать мысли, сейчас выходит очень хуево.
>>1633868>простой маппинг полносвязными слоямиПонятно, что полносвязными слоями, это, блядь, ещё в attention is all you need чёрным по белому написано. Но это просто рекомендация, так-то можно вообще многослойную сеть заебенить, только это нахуй не нужно.
>>1633948Конечно она будет неправильной, потому что корреляция можно посчитать только для количественных величин. Сам подумай, что она измеряет, и как это натянуть на включенные битики
>>1633948Я уже писал тебе, что само понятие корреляции в твоём случае бессмысленно. Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно.
>>1633964>Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно. Да, именно это я хотел узнать. Есть ли зависимость между каким нибудь входным признаком и выходным, что бы слабозависимые признаки выкидывать. В интернетах сказано, что для этого находят коэффициент корреляции.
>>1633993Тебе нужно превратить категории в биты и у полученного многомерного облака точек сделать pca. Как вариант
>>1633993А зачем тебе собственно выкидывать, у тебя модель есть уже? Если нет то обучай и тогда уже смотри, попробуй обучить модель без этого признака и сравни результаты или посчитай feature importance, разных методов выкидывания фичей изобретено до жопы тоже. Сама по себе корреляция тебе ничего не скажет потому что даже слабоскореллированные признаки могут давать прирост к качеству как дополнительный фактор.
>>1634084Хорошо, спасибо, посмотрю>>1634085Стлобцов дохуища. Больше 100. Если ещё категориальные данные приводить к битовому виду, то вообще количество столбцов за 500 переваливает.
>>1634148 Dataset trainingSet = new Mnist.Builder().setUsage(Usage.TRAIN) ... .build(); Dataset validateSet = new Mnist.Builder().setUsage(Usage.TEST) ... .build(); TrainingConfig config = setupTrainingConfig(); try (Trainer trainer = model.newTrainer(config)) {Больше букв богу букв
>>1634148Чем это отличается от DL4J, которому уже много лет, а ты о нем даже не слышал? Почему джависты думают, что глубинном обучении язык имеет значение?
Кто-нибудь знает штуку по типу суперрезолюшена только которая из движущего мыльного изображения делает одну четкую картинку. Просто не помню как это называется. Интересует готовое решение
Знатоки нлп, а что за DSSM скажете, старьё или работает?Также плиз почему берты с трансформерами, раз уж они так хороши, не запускают на посимвольном энкодинге?
>>1633868> в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобеА можно немного поподробнее? Насчет применения dense я понял, это еще было видно в проекте, где предсказывали временные последовательности, правда там и на выходе dense слой запихнули.Алсо, в остальном кодом из этого проекта можно пользоваться, если выкинуть часть с эмбеддингами и лэйблы в нужный формат привести? Эта реализация немного отличается от официальной реализации от авторов пейпера в tensor2tensor.
>>1634499Хотя, судя по этому пейперу все верно и можно использовать просто полносвязный слой https://res.mdpi.com/d_attachment/applsci/applsci-08-00739/article_deploy/applsci-08-00739.pdfТут вообще использовали пулинг, полносвязный слой и relu и подавали на декодер разными способами.Bert, насколько я понял, использует только энкодер. Надеюсь, что не придётся писать много лишнего кода, дабы это все заработало вместе
>>1634243>А что вообще такое "маппинг полносвязными слоями"? Если у тебя есть вектор размера N и тебе нужен вектор размера M, то самое простое, чтобы превратить одно в другое, это умножить его на матрицу, ака dense-слой с матрицей весов размера [N, M].То есть yoba_sized_m = Dense(size=M)(yoba_sized_n)Это маппинг, то есть проекция N-мерного вектора на M-мерное пространство.Для self attention тебе из входных данных нужно получить 3 тензора, K, Q и V, и у них должны быть специфические размеры, чтобы сработала формула механизма внимания, та, которая софтмаксом. Самый простой способ здесь это отмапить входные данные. Но вообще можно хоть целую нейронку добавить, которая будет тебе делать K, Q и V из входа.>>1634499Dense-слой можно рассматривать как частный случай сверточного, у которого width и height фильтра равны габаритам твоего входного центра, padding указан valid. В этом случае входной тензор размера [IN, WIDTH, HEIGHT] будет обработан фильтром размера [IN, OUT, WIDTH, HEIGHT] на выходе будет тензор размера [OUT, 1, 1]. Это эквивалент Flatten'а ( [IN, WIDTH, HEIGHT] = > [IN x WIDTH x HEIGHT] ) с последующим применением Dense(Out) - (размер на выходе - [Out]) и затем дважды expand_dims чтобы сделать [OUT, 1, 1], что вообще не обязательно, но так ты добьешься полной эквивалентности.То есть Dense слой - это такая свертка с максимально возможным размером фильтра и соответственно нулевой пространственной инвариантностью.Это может быть сильно лишним, если у тебя есть какая-то локальность. Например, в OCR у тебя для отдельных букв требуется чтобы каждая буква попадала в рецепторное поле нейрона, но не более того, тебе не нужно мапить весь огромный тензор фич на K, Q, V используя огромный dense-слой. Пусть с дальними взаимодействиями разберается уже attention-слой.Поэтому вычислительно легче сделать что-то типаK = Conv(filter_count=n_k, filter_width=порядка размера буквы, stride = четверть размера буквы)Q = Conv(filter_count=n_q, filter_width=порядка размера буквы, stride = четверть размера буквы)V = Conv(filter_count=n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)Но для ускорения процесса можно сделатьmapper = Conv(filter_count=n_k+n_q+n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)А затем уже поделить тензор mapper на 3 тензора, K, Q и V. Это эквивалентно.
Там Греф личные данные рабсиян решил зекам предоставить в качестве датасетов + зеки же будут эти ваши нейроночки обучать. > Сбербанк 4 марта собирался торжественно подписать соглашение с Федеральной службой исполнения наказаний. Однако по техническим причинам само подписание было перенесено на более поздний срок. Тем не менее, как стало известно “Ъ”, сам проект начал работать.> По словам сразу нескольких источников “Ъ”, знакомых с реализацией проекта, его суть заключается в том, что осужденные обучают искусственный интеллект распознавать рукописный текст и детали изображения. Этот проект осуществляется в одном из учреждений ФСИН в Новосибирске.> По его словам, на распознавание группе осужденных выдаются обезличенные данные либо изображения, которые необходимо разметить либо верифицировать. «Никаких рисков для клиентов Сбербанка этот проект не несет. Информация, которая будет предоставляться в работу людям, находящимся в исправительных учреждениях, не содержит никаких персональных данных, банковской или иной тайны, она обезличена, ее невозможно использовать для незаконной деятельности»,— пояснил он и добавил, что кандидатуры участников пилотного проекта подобраны местным управлением ФСИН, после чего проверены профильными службами Сбербанка.https://www.kommersant.ru/doc/4291087
Я собственно, к чему >>1635692 это. Кто тут из зумеров вкатываться хотел? Садитесь на тюрьму, вас там нахаляву за счёт сбербанка вкатят и работу дадут.
>>1614936 (OP)Аноны, помогите пожалуйста советом. Изучаю ML около полугода, решил выполнить реальную задачу. Суть в том, что есть собранный датасет с физической активностью людей(есть дата и некий коэффициент активности(т.е. данные достаточно простые)). Нужно на примере одного человека построить функцию, которая при поступлении новых данных (при этом ранее обучившись на старых) могла сказать пользователю, достаточно ли он позанимался сегодня или нет. Я планирую использовать логистическую регрессию. Опытные аноны, подскажите пожалуйста, какой бы вы метод использовали для решения подобной задачи?
ПЕРЕКАТ:https://2ch.hk/pr/res/1637455.htmlhttps://2ch.hk/pr/res/1637455.htmlhttps://2ch.hk/pr/res/1637455.htmlhttps://2ch.hk/pr/res/1637455.htmlhttps://2ch.hk/pr/res/1637455.html