Программирование


Ответить в тред Ответить в тред

Check this out!
<<
Назад | Вниз | Каталог | Обновить тред | Автообновление
511 40 115

НЕЙРОНОЧКИ И МАШОБ ТРЕД №22 /ai/ Аноним 25/02/20 Втр 21:07:46 16149361
DataScience-1.jpg (251Кб, 1386x881)
1386x881
datascience-pdu[...].jpg (102Кб, 489x285)
489x285
574267385856756[...].jpg (136Кб, 1366x700)
1366x700
Data-Science-pr[...].jpg (328Кб, 1200x628)
1200x628
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1578978.html

Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах

Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Аноним 25/02/20 Втр 21:26:07 16149522
deepBayes юзлесс?
Аноним 25/02/20 Втр 21:33:03 16149573
Аноны, помогите выбрать тему для диплома по компьютерному зрению.
Аноним 25/02/20 Втр 21:48:35 16149674
14915217632030.jpg (187Кб, 1080x608)
1080x608
Надо ли к каждому скрытому слою применять функцию активации и дропаут?
Аноним 25/02/20 Втр 21:56:03 16149805
>>1614967
активацию - да, дропаут - нет
Аноним 25/02/20 Втр 22:38:34 16150126
>>1614980
>активацию - да
Они все должны быть идентичными? Или к каждому слою - свой тип активации?
Аноним 25/02/20 Втр 22:59:00 16150367
>>1615012
Делай как хочешь. Релу во все поля обычно нормально работает.
Аноним 26/02/20 Срд 04:50:31 16151798
15744438343430.gif (170Кб, 326x281)
326x281
>>1614967
>>1615012
Ты почитай хоть, что это и зачем. Заебись что-то делать, не понимая даже примерно смысла того, что ты делаешь? Тайдмены.
Аноним 26/02/20 Срд 10:15:54 16152229
>>1615179
Зумерошизик на месте - все в школу Яндекса.
Судя по времени, ты откуда-то из Новосиба?
Аноним 26/02/20 Срд 13:16:28 161537210
>>1614936 (OP)
что такое модель для tensorflow если своими словами?

Аноним 26/02/20 Срд 14:09:08 161546611
>>1615372
Математичесая формула с миллионами параметров
Аноним 26/02/20 Срд 14:25:06 161547912
>>1615466
почему не функция?

>In machine learning, a model is a function with learnable parameters that maps an input to an output.
Аноним 26/02/20 Срд 15:02:46 161555013
>>1615479
Ты просил своими словами - я написал своими словами. Функция лучше подходит, но не похуй ли
Аноним 26/02/20 Срд 15:11:12 161556614
1501798541406.gif (2938Кб, 598x584)
598x584
Аноним 26/02/20 Срд 16:45:36 161576615
>>1615550
конечно не похуй, у меня сложилось впечатление что тут сидят какие-то бараны, и я просто потратил время зря

>>1615566
это gradient descent?
Аноним 26/02/20 Срд 16:47:13 161576916
>>1614952
Он сырой и не дает улучшения метрик.
Аноним 26/02/20 Срд 16:47:52 161577317
>>1615372
Множество, которое изменяется под воздействием минимизации ошибки.
Аноним 26/02/20 Срд 16:54:35 161578218
Аноним 26/02/20 Срд 20:43:27 161609219
>>1615179
>Ты почитай хоть, что это и зачем.
Реквестирую статьи и книжки.
Аноним 26/02/20 Срд 21:15:04 161616520
>>1615766
>конечно не похуй
Тогда формула. Функция подразумевала бы тождественность моделей при совпадении домена и кодомена, чего в случае tf нет, у тебя могут быть разные модели, выдающие одно и то же при одних и тех же входных данных. Но если тебя это ебет, то это не я баран, а ты аутист ебаный, который вместо понимания решил заниматься стандартным для аутистов буквоедством.
Аноним 26/02/20 Срд 21:15:54 161616721
Напомните графический редактор нейронок чтобы не писать код на пустоне
Аноним 26/02/20 Срд 21:21:01 161618022
Аноним 27/02/20 Чтв 00:08:12 161635923
Аноним 27/02/20 Чтв 05:38:45 161641724
>>1616092
В шапке же.
>>1616359
Зумера не могут в машобчик, это аксиома. Алсо, какие-то учебники нужны, а их в Блинолопатии нет. Я сюда приносил ссылку на учебник для китайских зумеров по нечеткой логике, вот я орать буду, когда по нему отечественную школуйню будут учить.
Аноним 27/02/20 Чтв 06:28:52 161641925
>>1616417
Как будто ты можешь, лол
Аноним 27/02/20 Чтв 09:07:51 161648426
>>1616359
>выпускники школ в России сегодня совершенно не интересны рынку труда.
>«В стране крайне низок процент выпускников школ, прошедших профессиональное обучение, имеющих некую профессию и готовых начать трудовую жизнь»
А причем тут школа? Они там вообще уже запутались что для чего? Школа для фундаментальных знаний, для проф обучения ПТУ, для науки ВУЗы.
Аноним 27/02/20 Чтв 10:46:32 161663927
>>1616419
> Как будто ты можешь, лол
Я как раз могу. Даже разрабатывал кое-что в тему.
Аноним 27/02/20 Чтв 10:49:00 161664528
>>1616484
Какая разница, подо что в тилибон тыкать? Рассказывала марьванна про теорему Виета, теперь будет про перцептрон. Будто что-то изменится.
Аноним 27/02/20 Чтв 10:58:38 161665729
>>1616167
Что поставить на Win7, чтобы взять и начать вникать?
Что хочу научиться делать - обучить нейроночку игре в крестики-нолики, потом в игры с russianAiCup 2015-16, потом в свою пошаговую стратегию
Keras+TensorFlow+Jupyter Notebook пойдет?
Аноним 27/02/20 Чтв 11:43:45 161669830
>>1616657
>Что поставить на Win7, чтобы взять и начать вникать?
Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.
>обучить нейроночку игре в крестики-нолики
там 3 ифа решают игру, выбери посложнее что-нибудь
>потом в игры с russianAiCup 2015-16
codewizards не сможешь, с гонками хз. Имхо, легче всего должна зайти madcars с mini ai cup
>потом в свою пошаговую стратегию
что за стратегия, если не секрет?
Аноним 27/02/20 Чтв 11:53:01 161670431
>>1616698
>Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.
Это все хорошо, но мне НИНУЖНО, вопрос больше про практическую часть. Заведется ли все это на Win7 в принципе.
>там 3 ифа решают игру
Да и пофиг, для хеллоу ворлда, не? Не с шахмат же начинать.
>codewizards не сможешь
Почему? На хабре есть примерное описание.
>что за стратегия, если не секрет?
Секрет, ну допустим что-то похожее на Neverwinter Nights.
Аноним 27/02/20 Чтв 14:35:44 161700732
image.png (25Кб, 584x120)
584x120
CV адепты других доменов не могут придумать?
че за наебалово я вас спрашиваю!!!
Аноним 27/02/20 Чтв 14:58:21 161704733
1548183220749.jpg (39Кб, 599x596)
599x596
Аноним 27/02/20 Чтв 16:52:24 161725934
>>1616704
>Заведется ли все это на Win7 в принципе
должно завестись, в крайнем случае всегда есть докер
>Да и пофиг, для хеллоу ворлда, не?
Там что-то близкое к рандому уже неплохо работать будет. Какой-нибудь connect four с кегла лучше взять, имхо.
>Почему? На хабре есть примерное описание.
700 место, DDPG в POMDP без памяти/рекуррентных сетей, всратый формат наблюдений. Если тебя такое устраивает, то удачи.
Аноним 27/02/20 Чтв 20:05:00 161741835
Можно ли самостоятельно за конечное время меньше, чем за год? получить знания и навыки, с помощью которых можно было бы что-нибудь заработать здесь https://www.upwork.com/freelance-jobs/machine-learning/? Предполагается, что математику я знаю.
Аноним 27/02/20 Чтв 20:10:47 161742136
Аноним 28/02/20 Птн 00:09:12 161759937
>>1617259
Пока соснул, у меня процессор два ядра без AVX, тензорфлоу не встал. Хотя я собирался gpu пользоваться, может завтра найду решение.
Аноним 28/02/20 Птн 00:13:52 161760638
>>1617599
Решение либо собрать tensorflow самому (на древнем железе собираться будет часов 10, не меньше), либо устанавливать древнюю версию без avx, то ли 1.0.9, то ли 1.0.4 ЕМНИП
Для обучения керасу сойдет, на сам тф не трать время, у него все апи перепидорасилось
Аноним 28/02/20 Птн 00:16:35 161760839
>>1617606
Попробую тут у васяна скачать, вроде есть 2.0 на SSE2.
https://github.com/fo40225/tensorflow-windows-wheel
>Для обучения керасу сойдет
Понятно, спасибо. Но ему же какой то бекенд все равно нужен вроде?
Аноним 28/02/20 Птн 00:17:05 161761040
>>1617606
А, т.е. ты имел в виду что любой tf ставить.
Аноним 28/02/20 Птн 00:22:10 161761741
>>1617608
Ну да, бинарник под винду возможно кто-то уже собрал вместе с майнером биткоинов
Тф да, у версии кераса есть минимально требуемая версия тф, но в целом керас более консистентен и стабилен, поэтому даже на древней версии можно сидеть учиться без проблем.
Потом научишься и у мамки денег на новую пеку попросишь, благо будешь уже не просто лодырем, а ML-инжинером, на зависть зумерошизикам
Аноним 28/02/20 Птн 00:30:00 161762442
>>1617418
Выковыривай из этой помойки student assignments. Т.е. готовые домашки студентам. Они простые и устроены так, что любая манька разберется. Сделав так пару десятков домашек, считай, что универский курс по ML освоил. Правда зарабатывать ты будешь $3 в час в лучшем случае, потому что студенты больше ста баксов платить не будут, а ебаться с каждым заданием ты будешь дня по три, не меньше.
В общем, листаешь задания, отбираешь их. Если хоть примерно понимаешь, о чем речь, восполняешь пробелы информации. Пока восполняешь, задание с 90% соскочит, но с 10% можешь отписать автору. Дальше с горящей жопой жулика делаешь его неделю, получаешь сто баксов.
Если сделать не можешь - закрываешь заказ и вежливо сливаешься до тех пор, пока тебе перечислили деньги, тогда негативый отзыв тебе не поставят. Дальше при определенном везении через год такого ебланства ты будешь знать об ML больше, чем какой-нибудь московский корпоративный хуесос.
Путь сильно спорный, но рабочий.
Аноним 28/02/20 Птн 03:27:46 161768543
>>1617624
Спасибо за ответ. А где получить начальные знания чтоб вообще приступить к этой теме? Онлайн курсы подойдут для этого?
Аноним 28/02/20 Птн 12:25:43 161787644
>>1617685
для кого интересно шапку вообще писали
Аноним 28/02/20 Птн 15:52:24 161805845
>>1614936 (OP)
Есть датасет с отзывами, нужно из этих документов-отзывов вытащить темы, потом на основе отношения документа к темам дать ответ.

Пока вопрос стоит как вытащить темы с помощью нейронок, ответ будет из набора готовых ответов.

Я могу сделать через классический Topic Modeling с помощью ARTM, но точность меня явно не устраивает, хотя модель настроил нормально.

Через векторы по FastText я тоже пробовал, но держать такую большую модель в памяти желания особо нет.


Какое направление в нейронках гуглить? Это задача Text classification ведь, правильно я понимаю?
Topic modeling, как я понял, обычно относят к классическим вероятностным алгоритмам (ARTM, LDA, PLSA).

Нашел одну научную работу, которая подходит под мои цели: https://www.aclweb.org/anthology/N18-1145.pdf , но прежде чем кидаться имплементировать их модель я решил у анонов проконсультироваться.
Аноним 28/02/20 Птн 17:08:54 161812346
>>1618058
>но держать такую большую модель в памяти желания особо нет.
Тогда BERT советовать, как я понимаю, бесполезно.
Не знаю тут специализирующихся на NLP не-шизиков.
Аноним 28/02/20 Птн 18:09:52 161818047
>>1618123
Но в целом я в верном направлении рассуждаю, что задача "определения темы документа/коллекции", относится к задаче Text classification и нужно копать в этом направлении?
Аноним 28/02/20 Птн 18:36:35 161820048
>>1618180
Классификация подразумевает что
1. У тебя supervised алгоритм. То есть ты заранее знаешь, какие у тебя будут лейблы, в твоем случае топики. Topic modelling - это unsupervised algorithm по извлечению топиков из датасета.
2. Что тема в каждом тексте скорее всего одна (потому что говоря classification мы скорее всего говорим о multi-class classification, а не multi-output classification, т.е. на картинке либо кот, либо негр, а кот с негром выдаст не P=1 для кота и P=1 для негра, а P=0.5 для кота и P=0.5 для негра, что методологически неверно)
На практике это проявляется в том, что если у тебя на конце нейронки softmax, который

The softmax function squashes all values of a vector into a range of [0,1] summing together to 1. Which is exactly what we want in a single-label classification. But for our multi-label case, we would like our resulting class probabilities to be able to express that an image of a car belongs to class car with 90% probability and to class accident with 30% probability etc.

Аноним 28/02/20 Птн 19:41:39 161824349
Можно ли грубо сказать, что в некотором роде нейронка напоминает дерево принятия решений?
Аноним 28/02/20 Птн 20:22:27 161829050
Аноним 28/02/20 Птн 20:28:00 161829351
>>1618290
Может ли в задаче классификации сигмоида применяться ко всем слоям? Или к последнему слою надо что-то иное типа софтмакса применять если классов много?
Аноним 28/02/20 Птн 21:06:53 161834352
>>1618293
Можешь что угодно делать, лишь бы функция потерь была и градиенты считались. Сигмоиду на последний слой обычно лепят, если классификация мультилейбловая. Для мультиклассовой есть софтмакс, зачем ещё что-то выдумывать?
Аноним 28/02/20 Птн 21:13:04 161835053
>>1618343
А если бинарная?
ReLu и сигмоида в конец?
Аноним 28/02/20 Птн 21:58:54 161838754
Занимаюсь в инициативном порядке нейросетками в гос. конторе поднаторел в этом деле и решил перекатиться в коммерцию ( прогаю на питоне)
Вопрос такой, что вообще необходимо знать, чтобы джуном взяли? Из теории, например? Или какие библиотеки?
По джаве или питону, например, все просто - зашёл в ютуб, вбил собеседование джава и куча видосов.
Подскажите что-нибудь подобное, чтобы подробно было описано, а то все что не найду конкретики никакой

Аноним 28/02/20 Птн 23:37:13 161848055
>>1614936 (OP)
Двэч, призываю анонов-тензорфлоу экспертов.

Пытаюсь понять как зафигачить правильный пайплайн для обучения ТФ и Керас моделей, чтобы загрузка ГПУ была побольше, обучение шло побыстрее, всё скейлилось и тд. В чём профит tfrecord? Пробовал с ними и без них, результаты такие: если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нету, если делаешь через tf dataset API работает быстро, загрузка ГПУ 95-97%, вне зависимости от того, джпеги я читаю, или tfrecords. Более того, я думал, что tfrecords -- структурированный формат, наподобии .npy, но реально это просто сериализованные в стринг данные, т.е записать картинку как тензор и потом прочитать без обработки нельзя, нужно писать как бинарную строку и потом опять декодировать со всеми вытекающими. Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?

Тханкс за ответы.
Аноним 28/02/20 Птн 23:44:09 161848256
>>1618293
Сигмоида имеет насыщение, которое убивает градиенты в ноль. Если между точкой твоего графа и выходом (т.е. точкой входа бэкпропагейшена) 3 сигмоиды без skip коннекшенов, обучаться будет вечность. Поэтому их нужно применять грамотно, с умом, иначе они убьют тебе весь gradient flow
>>1618350
По дефолту да
Аноним 28/02/20 Птн 23:45:51 161848457
>>1618482
Спасибо.
>По дефолту да
А есть что почитать по теме? Или хотя бы краткие примеры применения?
Аноним 28/02/20 Птн 23:47:38 161848858
>>1618484
Да в общем-то я тебе все написал. Гугли vanishing gradients problem, можешь еще пейпер по swish почитать, разобрать как lstm устроена - почему там сигмоиды есть, но их можно стекать
Аноним 28/02/20 Птн 23:48:23 161848959
Аноним 29/02/20 Суб 00:08:50 161849660
>>1618480
>В чём профит tfrecord
В обучении на йоба-кластерах с пересылкой данных между кластерами
Говнище короче оверинжинернутое, как и сам tf
>но реально это просто сериализованные в стринг данные
Не, это protobuf, это сериализованные бинарные данные

>если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нету
Во-первых, укажи use_multiprocessing=True и настрой его
https://stackoverflow.com/questions/55531427/how-to-define-max-queue-size-workers-and-use-multiprocessing-in-keras-fit-gener

Но. Процессы питона живут в разных адресных пространствах, поэтому дохуя оверхеда тратится на упаковку и распаковку данных между ними. В частности, велика вероятность, что каждый воркер будет держать у себя по копии гигабайтного датасета, а еще все это дело будет полчаса запускаться, пока эти гигабайтные датасеты будут копироваться между воркерами.
Поэтому открой для себя numpy memmap. В инициализации воркера ты создаешь np.memmap, отображая датасет из файла в память, и так как все воркеры будут смотреть на один и тот же файл, ОС это увидит и объединит память.

Вообще numpy memmap сильно недооценен. Когда ты его используешь, датасет у тебя просто лежит на диске, питон считает его просто numpy массивом, а менеджментом памяти занимается ОС. Это позволяет заниматься машобом датасетов в десятки гигабайт даже на машине с 8 ГБ памяти.
Аноним 29/02/20 Суб 00:26:50 161850661
>>1614957
ебани ган генетическим алгоритмом
Аноним 29/02/20 Суб 00:33:17 161850862
>>1618506
Думал об этом, но к чему ган применять? Чтобы было какое-то практическое применение.
Аноним 29/02/20 Суб 00:34:02 161851163
>>1615766
братиш, тогда сьеби не трать время зря, не мешай "баранам" опщаца.
Думает, что кто будет цепляться за хамло, да еще и проверяльщика/нюфага.Да в твоих маняфантазиях приходит такой гейрой к нормальным спецам и начинает хуйню спрашивать азовую. Сразу трусы на голову наденут и под шконарь палками загонят.
Аноним 29/02/20 Суб 00:53:08 161852264
>>1618508
генерация лиц людей, text-to-image, image-to-image, super resolution, photo inpainting
Аноним 29/02/20 Суб 01:01:50 161852665
Аноним 29/02/20 Суб 02:10:54 161853866
>>1618496
Спасибо, анон, стало намного понятнее, конечно некрасиво это выглядит, костыльно как-то, хотелось бы чтобы tensorflow всё от начала до конца делал.
Аноним 29/02/20 Суб 03:57:19 161855767
1572750314536.png (93Кб, 1233x1001)
1233x1001
>>1617617
Весь вечер провозился, с третьей попытки все поставил.
Получился такой винегрет
CUDA+cudnn 9.2
python 3.6.4
tensorflow-gpu 1.10.0
keras 2.2.4
jupyterlab 2.0.0
numpy 1.14.5, scikit-learn 0.22.2
Не пойму как заставить эту дрянь считать только на GPU, все равно лезет на мои драгоценные два ядра, которые я не хочу перегревать лишний раз.
Аноним 29/02/20 Суб 04:13:47 161856168
>>1618557
CPU готовит данные для видюхи в любом случае, но саму нейронку он обсчитывать не будет.
Если у тебя на MNIST ядра сильно греются, это потому что видюха быстро отрабатывает, а CPU не успевает, на реальной задаче (картинке хотя бы 200х200х3, а не 27х27х1) CPU будет простаивать большую часть времени
Аноним 29/02/20 Суб 04:38:53 161856969
>>1618561
Об этом я не подумал. Думал он просто распределил нагрузку на гпу и оба ядра цпу. Выглядит слишком горячим, с 40 до 60 градусов. У меня в играх так не всегда. Завтра проверю по времени обучения если гпу отключить. В целом первый день считаю успешным.
Аноним 29/02/20 Суб 04:46:36 161857170
>>1618569
Батчсайз увеличь до 10000 (или какой там максимум у датасета), тогда GPU захлебнется, а CPU будет хуи пинать
Аноним 29/02/20 Суб 09:50:08 161862771
>>1618569
Можешь во время выполнения чекать гпушку с помощью nvidia-smi
Аноним 29/02/20 Суб 10:12:29 161863772
image.png (35Кб, 690x661)
690x661
Антоны, есть у кого-нибудь какие-нибудь соображения, почему обучение идет вот так вот?
Аноним 29/02/20 Суб 10:29:34 161864773
>>1618480
> Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?
Как минимум для охуенного сжатия файлов.
Аноним 29/02/20 Суб 14:15:54 161878374
>>1618561
>но саму нейронку он обсчитывать не будет
Буквально в среду выяснил, что у некоторых операций в tensorflow 1.15 нет cuda-ядра (конкретно embedding_lookup_sparse).
Аноним 29/02/20 Суб 14:19:14 161878475
>>1618637
А что сложного? Тебе достаточно прочитать, что такое learning rate, чтобы понять
Аноним 29/02/20 Суб 16:09:35 161892576
image.png (23Кб, 306x565)
306x565
>>1618784
Я знаю, что такое learning rate) Как видишь, одноцикловая политика применяется.
Разобрался, тащемта, проблема была в том, как я подаю данные в модель, разбил один tfrecord файл на 32, теперь DatasetDataProvider перетасовывает источники данных вместе с обычным батч шаффлингом, и нет больше таких скачков.

Алсо, посоны, я все думаю, чего я сижу на старой InceptionV3 модели, как минимум в слиме есть Inception ResNet v2, у которого результаты лучше.
Но есть ли другие CNN, которые на данный момент выдают лучшие результаты и не жрут очень много памяти при обучении?
Аноним 29/02/20 Суб 16:32:11 161895977
external-conten[...].png (239Кб, 1666x1330)
1666x1330
>>1618925
>Разобрался, тащемта, проблема была в том, как я подаю данные в модель
А я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.
>Но есть ли другие CNN, которые на данный момент выдают лучшие результаты
EfficientNetB5
> и не жрут очень много памяти при обучении?
EfficientNetB0
Аноним 29/02/20 Суб 17:05:05 161900478
>>1618959
> А я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.
Да, ты изначально был прав, Анон, от твоего ответа я и отталкивался.
> Правда способ которым ты мешаешь какой-то странный.
Издержки либы, она хоть и устарела, но я уже привык.
> EfficientNetB5
Окей, тогда доработаю датасет до тех пор, пока нынешняя модель не будет выдавать хороший результат и уже потом перепишу.
Аноним 29/02/20 Суб 23:12:43 161939279
Допустим есть датафрейм с данными, которые потом будут переданы в нейросеть.
Что делать с значениями NaN в столбце? Столюец - тестовый, просто заполнить средним или 0 не канает.
Просто дропнуть?
Аноним 01/03/20 Вск 00:54:32 161951480
>>1619392
Заполнить средним/медианой или каким-то значением вне диапозона или выбросить весь столбец. В принципе деревья решений могут работать с нанами.
Аноним 01/03/20 Вск 01:37:40 161954381
>>1619392
>Столюец - тестовый
Что это значит? В тренировочных данных его нет или все заполнено? И то и то не будет работать, в тренировочных данных тогда тоже нужно добавить NaN.

Как вариант добавь еще одну ось, типа is_stolbec_nan, и заполняй его 1, если в столбце stolbec NaN. Тогда есть шанс, что нейронка выцепит что к чему.
Аноним 01/03/20 Вск 05:59:46 161960382
>>1619392
можешь попробывать псевдо лейблинг, это когда ты пропущенные значения предсказываешь другой моделью(обычным бустом) а потом заполняешь пропуски предсказаниями
Аноним 01/03/20 Вск 08:41:00 161962483
>>1619514
Окей, попробую.
>>1619543
>Что это значит?
Это значит, что в столбце указывается город. Для большей части строк он есть, для меньшей отсутствует. Причём, там где есть, данные не очищены - где-то просто город, где-то город и щтат, где-то город и страна, где-то город и индекс, в одном месте вообще просто континент указан.
>>1619603
Yo dawg, I heard you like model, I also heard you like predictions... so we put a model into model so you can predict while you predict.
Спасибо, посмотрю.
Аноним 01/03/20 Вск 18:01:37 162000884
Сяп аноны, пытаюсь классифицировать данные и возник такой вопрос. Кароч, я, как полагается, все категориальные данные перевёл в количественным с помощью one-hot-encoding, а потом понял, что колонка, где лежали классы, на основе которых нужно было обучать данные, тоже разбилась на несколько колонок. Соответственно тут возникает вопрос - так и должно быть? Результат от входных параметров может быть получен в виде нескольких колонок? Если нет, то как тогда правильно делать в этом случаи? Слышал, что есть ещё кодирование данных, но оно вносит ранжирования, которого среди моих классов нет.
Аноним 01/03/20 Вск 20:54:10 162023785
>>1620008
Это вопрос техники. Возможно, во фреймворке, с которым ты работаешь, предполагается, что на вход методы fit() модели ты передашь просто вектор ответов, тогда не надо - так работает sklearn. А может, предполагается, что передаётся уже двоичная матрица one-hot, и тогда надо - так работает keras. Короче, читай документацию, что там ожидается.
Аноним 01/03/20 Вск 21:44:50 162031486
405e68fcf485cd9[...].png (63Кб, 210x210)
210x210
Анон, подскажи, пожалуйста.
Есть одна задача по NLP. В принципе, я представляю, как её решать, вопрос в другом. Решил я посмотреть уже готовые решения, и вот один товарищ https://www.kaggle.com/gunesevitan/nlp-with-disaster-tweets-eda-cleaning-and-bert в пункте 4.2 очистку текста проводит, фактически, вручную. Это так и должно быть? Есть же техники лемматизации и стемминга для подобных целей. Или я чего-то не понимаю?
Аноним 01/03/20 Вск 21:58:01 162032987
>>1620314
как ты автоматически собрался разбивать "GOPDebate" на"GOP Debate" и "USAgov" на "USA government" ?
Ну и он в комментах пишет "I started NLP last month so I haven't done much research about those text processing libraries"
Аноним 01/03/20 Вск 21:59:53 162033188
>>1620329
А если там будут терабайты текстов, что их все вручную править?
Или индусов нанимать?
Аноним 02/03/20 Пнд 00:22:46 162050289
Хочу попробовать чего. Ваш тензорфлоу под питон и это меня поражает, можно сказать я в осадок выпал.
Мне в самом деле стоит использовать питон? Это точно не говно ебаное?


Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активации, и позволяет ли соединять нейроны произвольным образом, с обратными связями, связями через несколько слоёв, не полную связь слоя со слоем и всё в таком роде? Или просто сложный конструктор, где можно собирать блоки из деталей и учить это с графиками?
Пока не слишком разобрался что оно умеет, тыкаю методом тыка пример с грузовиками/самолётами/кошечками пытаясь какие-то принципы выбора структуры сетей выработать. Очень нравится, как ребёнку.

Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnn, но на процессоре всё работает? Или нужно переставлять?

Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?

Аноним 02/03/20 Пнд 00:38:06 162050690
>>1620502
>Если я хочу поэкспериментировать - эта штука
Какая штука, которую ты скрыл под спойлером? Писать научись сначала, чтобы читающий не ебал мозг с твоим художественным форматированием
Аноним 02/03/20 Пнд 00:39:59 162050791
image.png (47Кб, 1397x130)
1397x130
Так вот для чего нейроночки нужны на самом деле
Аноним 02/03/20 Пнд 00:41:55 162051092
>>1620502
> Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Нет, юзай плюсы, потом расскажешь как оно там.
> Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активации
Тебе нужен pytorch.
> Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnn
Нет.
> Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
В зависимости от задачи и данных естественно. Погугли.
Аноним 02/03/20 Пнд 04:15:18 162058293
Антоны, у меня вылетает ошибка
ValueError: Negative dimension size caused by subtracting 3 from 1 for 'AttentionOcr_v1/conv_tower_fn/INCE/InceptionV3/Mixed_7a/Branch_0/Conv2d_1a_3x3/Conv2D' (op: 'Conv2D') with input shapes: [64,1,42,192], [3,3,192,320].
С чем это может быть связано? Пытаюсь использовать самый глубокий слой, может у меня просто слишком маленькие картинки? На других слоях работает, на любом слое Mixed_7 вылетает подобная ошибка
Аноним 02/03/20 Пнд 09:41:40 162069294
>>1620582
Да, слишком маленькие картинки.
На входе картинка 1x42, он пытается применить к ней фильтр 3x3 с пэддингом valid и вылетает.
Аноним 02/03/20 Пнд 13:11:14 162094095
>>1620331
Очевидно, что чем больше данных, тем меньше их можно чистить, моделька все равно разберется.
Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решают. Там можно и терабайты поразбирать (например, брать самые частые слова в корпусе, которых нет в твоём словаре, а ля "USAgov")
Аноним 02/03/20 Пнд 13:15:07 162094496
>>1614936 (OP)
Аноны, есть приложуха на питоне которая считывает видеопоток с IP камеры и определяет лица. Хотелось бы сделать так, чтобы в режиме реального времени она могла определять принадлежит ли лица того/тех людей которых сейчас снимают мне(или какой-то определённой группе лиц), и если нет, то выдавало бы какое-то сообщение. Я совсем не представляю как поступиться ко второй части , возможно аноны знают какое-то готовое решение, или могут на правильный путь?
Аноним 02/03/20 Пнд 13:32:54 162096597
1474891204223.png (39Кб, 784x117)
784x117
Кто нибудь знает как называется такой график?
Аноним 02/03/20 Пнд 13:37:32 162096898
Аноним 02/03/20 Пнд 13:38:58 162097299
Аноним 02/03/20 Пнд 13:47:06 1620984100
>>1620968
>Не следует путать с «ящиком с усами».
Лольнул.
Аноним 02/03/20 Пнд 13:48:08 1620985101
>>1620692
Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае?
Авторы пейпера по схожей сети говорили
> We see that the accuracy improves for a while, and then
starts to drop as the depth increases. This trend holds for all three models. We believe the reason for this is that character recognition does not benefit from the high-level features that are needed for image classification. Also, the spatial resolution of the image features used as input for attention decreases after every max pooling operation, which limits the precision of the attention mask on a particular character. We don’t see any dependency between accuracy and the theoretical receptive field of the neurons in the last convolutional layer, but the effective field of view can be much smaller.

Но они работали на FSNS датасете, у меня же датасет с иероглифами, задача немного сложнее.
Вообще, со временем мне задача объединения сетей и использования CNN таким образом перестает казаться разумной, в мире существует множество шрифтов, почему бы не обучить CNN в качестве классификатора.
Аноним 02/03/20 Пнд 13:48:28 1620986102
>>1620985
Блять, таки проебал разметку.
Аноним 02/03/20 Пнд 14:26:57 1621011103
Аноним 02/03/20 Пнд 15:37:10 1621062104
>>162101
Благодарю
Аноним 02/03/20 Пнд 17:25:52 1621133105
>>1620965
Boxplot ака ящик с усами.
Аноним 02/03/20 Пнд 18:16:24 1621166106
>>1621011
>habr.com
Говноед, уходи.
Аноним 02/03/20 Пнд 20:07:37 1621249107
>>1621166
найди такую же по содержательности статью не на хабре
Аноним 02/03/20 Пнд 21:33:20 1621343108
>>1620944
https://pypi.org/project/face-recognition/

Вот тебе без хабра и без теории, просто бери 3 юзкейз и пользуйся.

>>1614936 (OP)
Аноны, наверное платина, но всё таки: у меня есть дохерища логов из разных систем. Есть целевая переменная для каждого файла, которая обозначает произошло определённое событие в этом лог файле, или нет. Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например) и выковыривать из них какие-то ключевые слова или нграммы? В такой задаче мне вряд ли помогут эмбединги, диплёрнинг и всё такое, правильно?
Аноним 02/03/20 Пнд 21:44:52 1621348109
>>1620940
>Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решают
Поэтому собственно блядский кагл и с его "топами" и не нужен. Превратили все ебучий спорт, где ты вместо того, чтобы набрать побольше данных, вилкой чистишь их датасет.
Аноним 02/03/20 Пнд 21:58:41 1621364110
>>1621343
Обученная нейронка на старых логах определит к какому классу относятся новые логи: с ошибками или без.
Аноним 02/03/20 Пнд 22:05:26 1621379111
>>1621364
Спасибо, буду использовать для этой задачи машинное обучение!

А если серьёзно то вопрос заключается в том, в каком виде мне подавать логи в нейронку? Bag of words, TF IDF, прогнать через каждое слово fasttext и усреднить? Все эти варианты выглядят бессмысленными для логов. Можно конечно попробовать построить LSTM и запихивать туда по одному слову, но у неё столько таймстепс будет, что я офигею это дело обучать.
Аноним 02/03/20 Пнд 22:08:33 1621387112
>>1621343
> Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например)
Да.
Аноним 02/03/20 Пнд 22:20:38 1621422113
>>1620502
> Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Юзаешь питон, чтобы поэкспериментировать и обучить модель, экспортишь результат в тензорфлоу лайт, дальше уже запускай чем хочешь, можно на мобилке, можно на плюсах.

> Если я хочу поэкспериментировать - эта штука позволяет ...
Всё позволяет.

> Пока не слишком разобрался что оно умеет, тыкаю методом тыка
Очень долго будешь тыкать, очень непродуктивно. Лучше почитай какие уже существующие архитектуры бывают, посмотри какие из них прямо в Керасе сразу заимплеменчены, когда нормально разберёшься с готовыми архитектурами начинай думать про свои какие-то улучшения (я ещё не дошёл до этого этапа, мои кривые руки делают только хуже обычно).

> Это норма, что при попытке использования gpu половина моделей вылетает с ошибками
Точно не норма, переставляй, ищи косяки.

> Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
Гугли в сторону трансфер лёрнинг, у меня получалось обучать (дообучать) и меньшим количеством примеров. Это кстати одна из причин, по которой лучше пользоваться предобученными архитектурами, для них сразу есть набор весов, обученных на каком-нибудь imagenet например, самостоятельно на imagenet без ГПУ ты ооочень долго будешь обучаться.

>>1618647
Вот не поверил сразу в это утверждение, подумал как это тензорфлоу может магически справляться со сжатием данных лучше, чем специализированные алгоритмы. Взял папку с некоторым количеством jpg файлов, 255 мб. Перегнал её в tfrecords -> 205 мб. Зафигачил её в 7z -> 177 мб. Мораль сей басни такова, что действительно сжимает, но назвать сжатие
охуенным скорее всего нельзя.
Аноним 02/03/20 Пнд 22:24:39 1621429114
>>1621422
Ну и чисто для полноты сравнения, zip тоже показывает примерно 205 мб.
Аноним 02/03/20 Пнд 22:39:45 1621449115
Собираю новую машину, стоит ли переплачивать за 2060супер или стоит взять 1660супер. сборка в бюджетная относительно, стоит ли переплачивать 14к за RTX?
Аноним 02/03/20 Пнд 22:42:59 1621454116
>>1621449
Сейчас бы насиловать свою машину, когда есть удаленные и даже бесплатные варианты.
Аноним 02/03/20 Пнд 22:43:22 1621456117
Аноним 02/03/20 Пнд 22:44:03 1621457118
>>1620985
>Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае?
Конечно. У тебя же есть пулинг-слои, которые понижают пространственное разрешение в два раза с ростом глубины. Классификатору на это дело насрать, а вот если ты передаешь сырые фичи с нужного слоя, там все будет гораздо сложнее.
Намного проще, если ты передашь информацию с того слоя, где пространственной информации достаточно. А RNN уже разберется с остальным. По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.
Аноним 02/03/20 Пнд 22:45:59 1621463119
>>1621457
Криво написал как-то.
Короче, для максимальной точности нужно правильное разрешение (и размер receptive field), не меньше, не больше. Если хочешь повысить точность, нужно стремиться к этому разрешению, и добавлять новые слои, не увеличивая пулинг
Аноним 02/03/20 Пнд 23:04:21 1621487120
>>1621454
Какие? Колаб же не сравнится даже с 1060?
Аноним 03/03/20 Втр 00:20:20 1621553121
>>1620507
кто платит дата саентологу, тот его и танцует
Аноним 03/03/20 Втр 00:32:16 1621554122
performanceRTX.png (22Кб, 1024x598)
1024x598
>>1621449
https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/
1660 для дипленинга отпадают, потому что у них 6 гб памяти. Это очень мало, многие модели будут обучаться, если им совсем урезать батчсайз. Для инференса на сервере поставить они норм.
2060 конечно заебись, но они оверпрайснуты из-за хайпа, поэтому если тебе не нужны расчеты в fp16, лучше смотреть на старую добрую 10xx серию.
30% прибавки по перформансу вообще ничего не значат, все равно модель ставить обучать на ночь. Имеет смысл задумываться об апгрейде, когда карта быстрее раза в два-три.

tldr если есть деньги на 2060, бери материнку с двумя слотами под GPU и ставь туда два 1070Ti с 11 гб памяти.
Если денег нет, бери один 1070ti.
Аноним 03/03/20 Втр 01:14:18 1621562123
Аноним 03/03/20 Втр 01:17:00 1621563124
>>1621554
Почему на пикрелейтед 10х0 настолько быстро работают с word RNN?
Аноним 03/03/20 Втр 01:17:22 1621565125
.png (106Кб, 1823x724)
1823x724
>>1621487
> Колаб же не сравнится даже с 1060?
Пикрил.
Ещё можешь взять гугл клауд
> Several GPU types available
> NVIDIA Tesla K80, P100, P4, T4, and V100 GPUs are available today, depending on your compute or visualization needs.
Аноним 03/03/20 Втр 01:23:12 1621571126
Аноним 03/03/20 Втр 06:01:09 1621616127
p100.PNG (19Кб, 682x348)
682x348
>>1621571
чел зачем тебе тратится на видеокарту когда колаб тебе бесплатно блять теслу п100 даёт, это мега мега йоба карта
Аноним 03/03/20 Втр 06:14:00 1621617128
>>1621616
Чел, зачем тебе тратиться на еду, в ночлежках бесплатно кормят
Аноним 03/03/20 Втр 09:35:52 1621663129
Аноним 03/03/20 Втр 09:47:34 1621667130
Аноны, за месяц нужно запилить нейросеть на питоне, подскажите литературу, желательно, чтобы по проще подавалась инфа. Лучше на русском, хотя и англ подойдет. Нейросеть если что по классификации кредитов.
Аноним 03/03/20 Втр 10:34:42 1621696131
>>1614936 (OP)
Так получилось, что я хотел в науку (фундаментальную математику), но работаю в энтерпрайзе и думаю о том, что у меня нет самореализации. Насколько связано реальное создание нейронок с математикой? Можно ли зарабатывать нейронками и чувствовать, что занимаешься именно математикой, а не прикладным говном? Душа хочет красивых знаний, а продакшена я наелся.
Аноним 03/03/20 Втр 10:56:09 1621715132
>>1621696
Там же просто какой-то ебучий калькулюс. Даже про идеалы алгебраических многообразий и эллиптические кривые, кривые Эдвардса, многообразия Веронезе ничего нет. Пацаны, стоит ли вкатываться в ваше говно за самореализацией?
Аноним 03/03/20 Втр 10:58:18 1621719133
Вот я изучаю такой многообразия с глубоким внутренним миром, а поделиться этим знанием не с кем. В энтерпрайзе душно, в нейронках, походу, хипторы, уверенные в том, что калькулюс это и есть математика.
Аноним 03/03/20 Втр 11:10:43 1621740134
>>1621696
>фундаментальную математику
Надеюсь не за мои налоги и так дармоедов развелось.
Аноним 03/03/20 Втр 11:17:19 1621746135
>>1621696
Основа - матстат. Если копнуть внутрь - линал.
Аноним 03/03/20 Втр 11:17:20 1621747136
>>1621740
Либеральная мразь, ты?
Аноним 03/03/20 Втр 11:18:29 1621749137
Путен, депортируй либерах принудительно на запад
Аноним 03/03/20 Втр 11:31:40 1621761138
Аноним 03/03/20 Втр 12:04:45 1621786139
Аноним 03/03/20 Втр 12:15:43 1621797140
cover[1].jpg (14Кб, 220x312)
220x312
Аноним 03/03/20 Втр 14:46:50 1621920141
Я не смогу вкатиться в кагл, если у меня вместо компьютера некроноут?
Аноним 03/03/20 Втр 14:56:53 1621935142
>>1621920
можешь в kernel-only соревнованиях участвовать или пользоваться колабом
Аноним 03/03/20 Втр 15:46:15 1621951143
>>1621935
С колабом можно каких-нибудь результатов добиться?
Аноним 03/03/20 Втр 16:28:27 1621981144
>>1621920
Да, на кеггле ты можешь запускать нотебуки на их железе.
Аноним 03/03/20 Втр 16:56:18 1622018145
programming.jpg (32Кб, 400x284)
400x284
>>1615782
>>1616165
>>1618511

сорян, я просто только начал вкатываться, смотрю всё на ангельском, там терминология другая, и также я слегка заёбан и поэтому всё бесит
Аноним 03/03/20 Втр 19:00:31 1622130146
>>1621565
Там же вроде только т80? Как выбрать v100?
Аноним 03/03/20 Втр 20:00:46 1622221147
>>1620510
>Тебе нужен pytorch
Действительно. Спасибо, посмотрю его попозже, надо в тензор всё-таки вникнуть для начала, чтобы понимать код его примеров - потом полезу в торч и сравню производительность, вдруг он в два раза хуже работает.

Хм, переставил те же версии куды, тензора, cudnn и теперь нормально работает. Странная фигня.


>>1621422
>очень непродуктивно
Как знать. Конкретной задачи то нет, да и я более-менее знал про имеющиеся. Да и всего часов десять потыкал, не так уж и много.
Книжку начал читать, хотя бы просто чтобы имеющиеся в тензоре типы слоёв узнать, а то на сайте довольно скудное описание.

>лучше пользоваться предобученными архитектурами
Логика то понятна, свёрточные слои уже научилось выделять какие-то полезные признаки и достаточно лишь верхушку сети переучить, так как скорее всего те полезные признаки более-менее универсальные.


>>1621565
>NVIDIA Tesla
Посмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?
Видно только, производительность 64-битных отличается более чем в десять раз (которая невероятно сильно проседает на видеокарточках). Производительность половинной точности указана только для вычислительных карт - она проседает так же как и двойная точность по сравнению с теслами что ли?
Аноним 03/03/20 Втр 21:06:11 1622306148
>>1621920
Смотря какую цель ты преследуешь, если просто немного подкачаться, то можешь, если хочешь сражаться за призовые места то маловероятно.

>>1621935
kernel-only это чаще всего сабмишен кернел онли, а обучаться нужно на своём железе, чистых кернел онли, где вообще даже данные не дают отдельно я что-то не припомню (но я не особо часто слежу).

>>1621951
Гугловый колаб в пользовательском соглашении пишет, что использовать можно только чтобы шарить ноутбуки с другими датасаентистами, немного что-то считать в обучающих целях и всё такое. На практике это значит что они могут раз примерно в 3-4 часа ложить твоё ядро. Если они заподозрят что ты майнишь крипту, положат сразу. Такого, чтобы можно было на ночь колаб оставить, а утром просто проснуться и посмотреть результат у меня ни разу не получалось.

>>1622221
>Тебе нужен pytorch
Если учишь тензорфлоу то не не сказал бы что так уж нужен. Лучше сначала почитай статей, посмотри сравнения что с какой скоростью работает и для каких задач подходит и потом во что-то одно поинты кидай. Учить сразу и то, и другое смысла не очень много как мне кажется.

>Посмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?
Основная суть в том, что нвидиа хочет больше золота. Официально консумерские ГПУ типо 1080 и 2080 запрещено использовать в датацентрах, только дорогие теслы. При желании можно найти кучу хостингов, которые сдадут 1080 в аренду, но вообще по лицензии так нельзя.
Я слышал мнение что это потому, что у Теслы пассивное охлаждение и она лучше приспособлена для длительных нагрузок, но считаю что это бред, потому что на обычных видяхах люди неделями гоняют нейронки и майнят и тоже всё прекрасно работает.
На некоторых задачах тесла действительно решает, но для диплёрнинга обычные видяхи лучше.


Аноним 03/03/20 Втр 22:52:56 1622389149
>>1622306
> но для диплёрнинга обычные видяхи лучше
Наоборот же, обычные дискретки для бытовых задач (игори, фотожоб и тд), а теслы для диплернинга специально.

> Если учишь тензорфлоу то не не сказал бы что так уж нужен
Если человек хочет разбираться как и что работает, чтобы всё было прозрачно, то ему нужен pytorch очевидно.

> если хочешь сражаться за призовые места то маловероятно
Бронзу, серебро можно взять, запуская нотебуки на кэггле. Почему нет
Аноним 04/03/20 Срд 00:42:55 1622524150
>>1622389
> Наоборот же, обычные дискретки для бытовых задач
https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
Вот тебе первое сравнение из гугла, тесла в100 всего в 2 раза быстрее, чем ртх2080 (даже не в 2, а меньше), при этом стоит в 7.5 раз дороже. Специально для диплёрнинга сделали ТПУ, а теслы были ещё до хайпа и до нейронок на ГПУ. На теслах хорошо решались и решаются другие вычислительные задачи. Если не веришь бенчмарку из гугла, зайди напрмер на vast.ai (это сайт, который ГПУ в аренду сдаёт), там есть DLscore, что является примерной оценкой производительности карточки на задачах диплёрнинга, и посмотри какая карточка сколько показывает и сколько стоит, офигеешь от разницы.

> ему нужен pytorch очевидно
Мне это не очевидно, на тензорфлоу тоже можно прекрасно разбираться что и как работает и всё тоже в некотором роде прозрачно. Навязывать людям фреймворки, пользуясь выдуманными аргументами это так себе затея, начал человек с тензорфлоу, пусть себе работает с ним, прекрасно с ним и разбираться можно и кастомный лосс писать, никаких проблем.

> Бронзу, серебро можно взять, запуская нотебуки на кэггле.
Чисто теоретически можно градиенты посчитать на листике в клеточку, зафигачить сабмишен в виме и взять голд, почему нет?
Чисто практически я хз, может ты и прав, может ты и не прав, но в любом случае кэггл ноутбуки это более напряжно, чем собственное железо под рукой. Сейчас на каггле довольно жёсткая конкуренция, много сильных спецов. Я думаю что к моменту, когда человек по скилам становится готов занимать призовые места, он уже трудоустроен так, что о ноутбуках и аренде серверов особо не парится.
Аноним 04/03/20 Срд 00:54:52 1622542151
>>1622524
В кэггловские нотебуки легко подгружать датасет с контеста. Супер профит, не нужно засирать комп гигабайтами данных
Аноним 04/03/20 Срд 05:26:39 1622620152
Что блядь с тредом случилось, где шизики, откуда здесь нормальное обсуждение, вы там охуели что ли
Аноним 04/03/20 Срд 06:44:31 1622635153
изображение.png (93Кб, 1738x810)
1738x810
изображение.png (6Кб, 410x163)
410x163
>>1622306
>Основная суть в том, что нвидиа хочет больше золота.
Я потыкал вычислительный шейдер и opencl (прихотливую куду запускать не умею).
1660ti проседает почти в 50 раз на fp64, по сравнению с fp32, хотя должна всего в 32 (если верить этому сайту для домохозяек). Ускорение на fp16 в два раза.

Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32. А на тьюрингах они прикрутили х2 ускорение для fp16. fp64 в ауте во всех случаях.
На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.


Да, кроме этого, в самом тупом тесте по перемножению матриц скорость только 300 гигафлопс в секунду (считал, что перемножение двух матриц 4х4 = 64 флопса). Простое C=AxB в цикле. И если извлечь корень из каждой компоненты матрицы - время выполнения никак не меняется, походу оно в доступ к памяти упирается.
С другой стороны, если не обращаться к глобальной памяти, а забрать из него матрицы и в цикле перемножать их друг на друга возводя в громадные степени, а потом один раз записать результат, то оно достигает почти 7 терафлопс в секунду, что выше теоретической производительности с сайта нвидии. Что любопытно, такое в состоянии сделать только вычислительный шейдер, аналогичный opencl код работает почти в два раза дольше, хотя все размеры локальных групп такие же и всё остальное такое же - такая же проблема была в 2013 на древней карточке, думал они пофиксят со временем и это из-за необкатанности opencl, но ничего не поменялось - даже усугубилось.
Хрен его знает, как оценивать производительность в общем, нейронки же как раз про доступ к глобальному массиву, и за 50 кб локальной памяти они в любом случае выйдут.
Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
Аноним 04/03/20 Срд 08:41:36 1622657154
>>1622635
>Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32.
На твоей картинке видно, насколько 1080 Ti сосет на fp16, падает на два порядка. По сути fp16 оно может только эмулировать, отсюда и проблемы. С другой вместо 26 терафлопс 2080 Ti на fp16 ты можешь купить 2 1080 Ti и получить те же 26 терафлопс на fp32. Учитывая огромное количество сбывающих подешевке ставшими убыточными карт майнеров, 10xx серия еще как минимум год будет самой конкурентной.
>На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.
Главное преимущество тесл - это стабильный результат. Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают, и т. п. Для гейминга это нормально, а для научных расчетов нвидия ничего не гарантирует. Дипленинг в этом плане не ядерные взрывы считать, при тренировке специально все замусоривается.

> аналогичный opencl код работает почти в два раза дольше
Нвидия специально нерфит opencl, чтобы разрабы не могли поддерживать кроссплатформенный код и поднасрать AMD. Из-за этого нам в одном проекте приходится держать 2 одинаковых кода - под cuda для нвидиевских карточек, и под opencl для amd и intel. Разница между opencl и cuda на одном железе - в 2-3 раза. Правда эпл пообещала opencl убить в пользу metal, поэтому все еще грустнее.

>Хрен его знает, как оценивать производительность в общем
Нейронки - это ехал GEMM через GEMM, почти все считается через умножение матриц, которое, в свою очередь, выполняется через активное использование shared memory https://www.quantstart.com/articles/Matrix-Matrix-Multiplication-on-the-GPU-with-Nvidia-CUDA/ , матрицы делятся на блоки, которые помещаются на одном CUDA-ядре, затем все мерджится. Быстрее cudnn ты все равно не сделаешь, и все фреймворки в конечном счете вызывают cudnn.
Соответственно оценивать производительность несложно, берешь любую классическую сетку типа ResNet и вычисляешь время либо forward либо forward+backward проходов, желательно с максимально толстым батчасайзом, чтобы учесть еще и то, что карточка на 12 гб лучше, чем на 6.
Если не хочешь учитывать размер памяти, сравниваешь на одном bs.
Собственно здесь чел это сделал https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
>Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать, что ты родишь код быстрее инженеров nvidia.
Аноним 04/03/20 Срд 12:41:46 1622789155
>>1621457
> По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.
Окей, можно попробовать переписать сеть без лишних пулингов.
Но думаю более эффективно будет перейти от Inception к другой, более эффективной архитектуре EfficientNetB5. Осталось ее только имплементировать, единственную реализую я видел под keras-tpu, ну да ладно, не думаю, что это будет проблемой.
Аноним 04/03/20 Срд 12:50:09 1622795156
Аноним 04/03/20 Срд 13:34:15 1622847157
А есть какой-то чит-лист с мейнстримовыми вопросами на собесах на позицию джуна/мидла DS/ML?
Аноним 04/03/20 Срд 15:46:18 1622943158
Аноним 04/03/20 Срд 15:50:00 1622947159
Какая душная эта ваша ебучая статистика
Аноним 04/03/20 Срд 16:33:27 1622983160
>>1622657
>сосет на fp16, падает на два порядка
Такая цифра смысла не имеет же.
>Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают
Во-первых, можешь показать пример? Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре. Из сложных операций были скалярные произведения, корни, быстрые инверсные корни и деления.
Во-вторых, разве это критично для машинного обучения?

>opencl и cuda на одном железе - в 2-3 раза
>Нвидия специально нерфит opencl
Ну это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?
>Собственно здесь чел это сделал
А какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?

>Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать
Это вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?
Я не хочу быстрее, я хочу сравнить. Взять линейную сеть, написать код в лоб без оптимизаций и посмотреть насколько быстрее её обучает тензор. Если там будет х1.3 и оно не скейлится от размера, то можно считать что скорость такая же и они просто оптимизировали мелочь. А если там будет х8 всё увеличивающийся отрыв, то значит они что-то принципиально другое придумали.
Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно.
Аноним 04/03/20 Срд 16:50:34 1622989161
>>1622947
Душнее статистики только теория множеств и конечные автоматы. Весь сок - в алгебраической геометрии
Аноним 04/03/20 Срд 16:51:33 1622990162
>>1622989
Вы оба душные дауны, которые зачем-то пришли в ML-тред рассказывать о душности стастики. Создайте себе тред и дрочите там друг другу
Аноним 04/03/20 Срд 16:58:36 1622992163
>>1622983
>Такая цифра смысла не имеет же.
Почему, вполне реальная цифра: о fp16 на 1080Ti лучше забыть и оно годится только протестить инференс.
>Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре.
Сутками надо считать. А потом еще две недели проверять на процессоре.
>Во-вторых, разве это критично для машинного обучения?
Не критично, я об этом прямо написал. Для машинного обучения достаточно геймерских карт
>Ну это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?
Компилятор opencl работает хуже и nvidia не будет тратить деньги на его оптимизацию
>А какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?
Nvidia нужно продавать 20xx
>Это вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?
Чтобы верить в производительность cudnn, тебе нужно взять cudnn и сделать например GEMM пары матриц 4096х4096, у которых известно число флопсов. Производительность должна быть близка к пиковой
>Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно.
У тебя код какой-то совсем хуевый, тебе нужно поучиться писать под видюхи. Я получал пиковые терафлопсы на своем коде. Выжимать скорость из x86 лично мне сложнее - чуть пукнешь и у тебя cache miss и производительность падает в 2 раза. Видюхи в этом плане как-то попроще.
Аноним 04/03/20 Срд 17:14:51 1622998164
Аноним 04/03/20 Срд 17:17:31 1623000165
>>1622992
>А потом еще две недели проверять на процессоре.
Угу, я только день осилил. Мне не было это нужно, но было любопытно. Ошибку не нашёл.
Может быть там ошибки только при денормализованных числах каких-нибудь происходят, которые никому не нужны, и тебе лишь не повезло?

>У тебя код какой-то совсем хуевый
Я про тензорфлоу вообще-то, лол.
Поучиться энивей надо, но я не могу найти работу где нужны видеокарты, а дома в рамках хобби довольно-таки посредственные задачи получаются - я их изначально придумываю зная какие смогу ускорить в 100 раз, не считая что они все из пальца высосаны.
Аноним 04/03/20 Срд 17:25:35 1623005166
>>1622998
Дело не в том, что мышление это боль, а то, что вот эти пункты

- Математика, за которую платят
- Математика, которая внутренне красива

это разные области математики. Статистика, графы, множества и конечные автоматы это говно.
Аноним 04/03/20 Срд 17:45:46 1623015167
>>1623005
Давай ты назовешь эти области, которые внутренне красивы, и если они применяются в теории струн, я тебя обоссу
Аноним 04/03/20 Срд 17:47:23 1623019168
>>1622998
Какое же говнище, для швабропиларах наверное как раз
Аноним 04/03/20 Срд 17:48:50 1623022169
>>1623015
Алгебраическая геометрия применяется не только в теории струн, но еще в криптографии, и благодаря ней ты можешь совершать платежи из дома
Аноним 04/03/20 Срд 17:54:14 1623029170
>>1623022
>совершать платежи из дома
Ололо, вот это прогрессс, вот это математика дает111
Аноним 04/03/20 Срд 17:55:01 1623032171
>>1623029
>расчет кредитного скоринга нейронкой
Ололо, вот это прогресс, вот это математика дает111
Аноним 04/03/20 Срд 18:21:56 1623065172
Платон считал математику высшей формой прекрасного. Быдло отвергает красоту и выбирает то, что "в жизни пригодится" из-за того, что социальный строй сделан так, чтобы люди въебывали ради выживания и не имели времени на то, чтобы думать и заниматься тем, чем хотят.
Аноним 04/03/20 Срд 18:25:05 1623068173
Посмотрите на любую книгу по матстату в нейронных сетях. Видите эти уродливые многомерные суммы и громоздкие индексы, от которых исходит неприятный запах? Разве в этом есть красота? Алгебраическая геометрия даже проще. В ней поверхности описываются системами полиномов, а полином - это простой объект, проводить с ним вычисления и диффиренцирвоать - сплошное удовольствие.
Аноним 04/03/20 Срд 18:27:00 1623070174
Жизнь когда-нибудь закончится, а свободного времени из-за работы мало. Вы хотите потратить жизнь на улучшение чужого бизнеса, на написание говнокода, а не на красоту? Вы хотите потратить жизнь на говно?
Аноним 04/03/20 Срд 18:27:52 1623072175
Самое важно в жизни — заниматься тем, что тебе больше всего интересно и с чем ты справляешься, а не идти учиться на какую-то профессию, потому что с ней легче будет найти работу или потому что кто-то так сказал. Ведь работать 40 лет на работе, которая тебе не интересна, — это катастрофа.
Аноним 04/03/20 Срд 18:44:42 1623085176
>>1623065
>Платон считал математику высшей формой прекрасного
Платон говорил о маняматике своего времени, а не об это говнище что она представляет сейчас. Да и много чего этот педераст говорил.
Аноним 04/03/20 Срд 18:45:46 1623086177
>>1623032
>кредитного скоринга
Ой ой, а как же кредиты сто лет назад то выдавали?
Аноним 04/03/20 Срд 18:56:33 1623092178
>>1623086
Ну то есть нейронки переоценены и на самом деле их можно заменить людьми, заодно больше рабочих мест будет.
Аноним 04/03/20 Срд 19:44:25 1623150179
>>1623000
Чувак, юзай гугл колаб и не парься, на процессоре ты месяц будешь считать то, что колаб тебе посчитает за день-два
Аноним 04/03/20 Срд 19:46:43 1623152180
>>1623092
Нейронка может работать круглосуточно, не требует рабочего места, условий труда, инфраструктуры.
Аноним 04/03/20 Срд 20:17:01 1623173181
>>1623152
Угу вот только энергопотребление у мозга ниже.
Аноним 04/03/20 Срд 20:18:58 1623175182
Аноним 04/03/20 Срд 20:44:42 1623208183
>>1623173
Я бы не сказал, человеку нужен компьютер, человеку нужно есть, скорее-всего в офисе он будет пользоваться электрочайником, принтером, микроволновкой, плюс нужно считать энергопотребление на производство еды для человека, ее доставку, человеку также нужно освещение.
Все это в итоге будет жрать столько же света, сколько и нейронка, если не больше.
Аноним 04/03/20 Срд 22:58:56 1623384184
>>1623150
Деньги платить надо же?
Аноним 05/03/20 Чтв 02:13:44 1623468185
>>1623384
Не надо, тебе выдают нотбук на 12 часов с 25 гб оперативы
Аноним 05/03/20 Чтв 02:14:09 1623469186
>>1623468
Да, файлы можешь загружать куда-нибудь или сохранять себе на гугл диск.
Аноним 05/03/20 Чтв 05:27:06 1623496187
>>1623208
Даже по чистым ваттам человек сосет. Человек потребляет 100 Вт, при этом работает максимум 16 часов в сутки. То есть 150 Вт на рыло. Пека с современной картой потребляет где-то 350 Вт. То есть, чтобы обогнать человека, нужно всего лишь в 2 раза быстрее выдавать результаты инференса. Но топовые карты работают сильно быстрее даже на сетках типа BERT, не говоря уже о сетях из 2016.
Единственное, что дорого по потреблению энергии - это обучение, но его энергетический вклад размазывается на количество инстансов. Человека нужно учить каждый раз заново.
Аноним 05/03/20 Чтв 07:11:27 1623515188
>>1623072
> Самое важно в жизни — заниматься тем, что тебе больше всего интересно и с чем ты справляешься, а не идти учиться на какую-то профессию, потому что с ней легче будет найти работу или потому что кто-то так сказал. Ведь работать 40 лет на работе, которая тебе не интересна, — это катастрофа.
Вот это пример измышлений, которыми так любят пичкать людей. На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет. Поэтому надо идти туда, где больше заработаешь.
Аноним 05/03/20 Чтв 07:27:12 1623517189
>>1623496
Можешь посчитать, сколько стоят колясочки и содержание человеческой личинки в первые 6 лет.
Выйдет куча миллионов
Аноним 05/03/20 Чтв 07:54:59 1623524190
>>1623517
Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Ты просто нанимаешь человека, так же как и покупаешь карточку. За столько, за сколько оно покупается/нанимается. О том, сколько было затрачено миллионов на разработку человека и карточке тебе вообще не интересно ничего знать.
Аноним 05/03/20 Чтв 07:59:59 1623525191
изображение.png (17Кб, 831x183)
831x183
>>1623517
А ещё у человека может быть плохое настроение, и он будет на одних и тех же данных выдавать разные результаты. Можешь посмотреть ситуацию из "думай медленно - решай быстро" - если не ошибаюсь, даже когда их прямо спрашивали, судьи говорили что "не-не-не, мы всё всегда объективно оцениваем" и перерыв никакого влияния не оказывает. Такая же ситуация в других примерах из книги, дичь невероятная.
Нейронка такому не подвержена.
05/03/20 Чтв 08:11:56 1623529192
>>1623524
>Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Архитектура одна на миллионы экземляров процессоров, человек же уникален.
Аноним 05/03/20 Чтв 10:38:32 1623598193
>>1623524
>Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Человеку тоже нужен компьютер) Да, оборудование у него дешевле будет.
Аноним 05/03/20 Чтв 11:33:17 1623657194
>>1623515
>На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет.
Ты так скозал? Ну и ковыряй говнокод всю жизнь, пока кто-то работает с кэлеровыми многообразиями
Аноним 05/03/20 Чтв 12:21:57 1623722195
>>1623657
>кэлеровыми многообразиями
Эклеровое
Аноним 05/03/20 Чтв 12:49:22 1623748196
>>1623657
Говнокодером твой софт могут юзать миллионы, а с математикой скорее всего ты родишь какой-то невнятный высер, которым никто не воспользуется
Аноним 05/03/20 Чтв 13:23:36 1623788197
>>1623748
Думай о своей жизни, а не о том, кто чем воспользуется.
Аноним 05/03/20 Чтв 13:35:20 1623793198
>>1623788
Сейчас бы маньку какую-то с двачей слушать, о чем мне думать
Аноним 05/03/20 Чтв 14:54:46 1623873199
>>1623525
Я не понимаю, что тут удивительного. Голодный и усталый человек склонен к более суровым решением, это ожидаемо.
Аноним 05/03/20 Чтв 17:23:37 1624031200
>>1623873
Предполагается, что человек много лет работающий в этой сфере вырабатывает хоть какую-то непредвзятость и объективность (причём не просто где-то, а в сравнительно важных решениях), или хотя бы сам начинает отдавать себе отчёт в таком эффекте. Не знаю что там в конце, но 65% в начале и 35% в среднем (это около 10% в конце, если равномерно снижается?) - это перебор. Ладно бы было 65/50 хотя бы. Если предположить, что врачи так же работают, то не очень радостная картина получается.
Аноним 05/03/20 Чтв 18:45:38 1624155201
>>1623525
>и он будет на одних и тех же данных выдавать разные результаты.
Прям как нейронка.
Аноним 05/03/20 Чтв 18:47:03 1624157202
>>1624031
В важных решениях всегда есть консилиумы и дублирование функций, то, что на зеков всем похуй - совершенно не удивительно.
Аноним 05/03/20 Чтв 19:07:24 1624175203
>>1623793
Похоже на то, что ты один из несчастных лузеров в этой стране, которые отчаянно пытаются найти себя в жизни. Видимо, миллионы юзеров это единственное, что у тебя есть в жизни. Вот только все эти миллионы юзеров не скрасят твое печальное существование в жизни, в которой тебя никто не любит. Из-за работы ты даже пожить для себя не можешь. Возьмешь год отпуска, и эйчарки уже будут воротить нос от тебя.
Аноним 05/03/20 Чтв 19:23:00 1624185204
17-S1xIW4a4[1].jpg (83Кб, 670x455)
670x455
Аноним 05/03/20 Чтв 22:10:47 1624523205
d
Аноним 06/03/20 Птн 16:25:27 1625127206
>>1624175
Ну что ты начинаешь..
Аноним 06/03/20 Птн 16:50:46 1625142207
Знакомая шлюхенция вкатилась в машоб, просто зная поверхностно математику, умело кидая пыль в глаза, что она умная + постоянно обтягивающие платья и шлюшье поведение )) Пока учится, работает 10 часов в неделю = платят 10к, как закончит будут 40-50к, мб больше (не Масква, у нас 25к ср. запралата.. или 30к, где-то так) )) А вы дальше сидите зубрите свою матешу сутками и вьебывайте, для того, чтобы просто вкатиться)) Достаточно просто жопой и сиськами трясти на каждой конференции, посвященной машинному обучению, пока тебя не заметят и не предложат работу )
Аноним 06/03/20 Птн 16:54:16 1625143208
>>1625142
С чего мы должны тебе верить? Это похоже на батхерт неудачника, завидующего более умной и успешной женщине просто по причине того, что она женщина
Аноним 06/03/20 Птн 17:01:19 1625148209
>>1625143
Да не, я вообще не из машоба)) Просто зашел почитать/сравнить, как вы вкатываетесь и как вкатывается знакомая шлюхенция(точнее уже вкатилась) и вкинуть это сюда. Но на самом деле это так, хотите верьте, хотите нет)
Типо она ходила на каждую конференцию машинного обучения и занала теорию по матеше, чисто в кругах общалась математических, поэтому могла поддержать разговор.. Одевается как шлюха, ведет так же, ходит в зальчик для этого.. Ну ее заметил какой-то куколд и предложил ей работу и еще поездки в финляндюи на халяву )) (Хз мб кто-то таким же путем захочет пойти.. вдруг тут есть телочки, только у них должны быть сиськи и жопа и мало жира, а то не заметят)
Ну да ладно.. Типо понятно что бабам легко вкатиться в любое место, используя свой пирожок, но самое потешное, что я ей сказал, что мол ее заметили только из-за жопы и сисек.. на что получил лютый баттхерт, что ее заметили прежде всего из-за УМА! Оценили только лишь ее УМ! И вообще она топ машинный обучатель и много чего может...
Я попросил при мне обучить машину, она сказала что там на джюпитере 3 часа ее машина будет (хз как это на вашем языке, но я понял что типо компилировваться или загружаться) ..
Вот такая кул стори))
Аноним 06/03/20 Птн 17:03:08 1625149210
>>1625148
>Ну ее заметил какой-то куколд
Очень странно, поскольку среди математиков зашкаливающий процент пидоров.
Аноним 06/03/20 Птн 17:05:53 1625151211
>>1625148
>Да не, я вообще не из машоба
Тогда откуда у тебя уровень экспертизы, позволяющий оценить ее ум? Ты же как последнее быдло оцениваешь человека, по тому, как он одевается. Фу таким быть.
Аноним 06/03/20 Птн 17:08:48 1625154212
Аноним 06/03/20 Птн 17:11:34 1625160213
>>1625151
Ну хз) Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ? Сейчас правда после вката перестала.
Или быть может умный человек учиться на одни пятерки не своим трудом, а чужим? просто подлизывая всем и прося сделать за нее.. А потом всем говорить, что она САМА всего достигла и добилась..Да, типо заставлять других делать за тебя, даже если ты баба это круто, но это не ум)) Просто повезло с телом, вот и пользуется им..
Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..
Или может быть умный человек будет орать на весь кабинет, что она девственница и гордится этим?
Аноним 06/03/20 Птн 17:12:57 1625163214
>>1625160
>что она девственница и гордится этим?
Ну это круто. Нецелки нинужны.
Аноним 06/03/20 Птн 17:14:30 1625167215
>>1625163
Только лично мне она рассказывала давно, что ее школьный парень трахал и она нецелка ) (Я просто топ подружка для девчат, мне они доверяют тайны.. зря )))))) )
Аноним 06/03/20 Птн 18:13:07 1625247216
>>1625160
>Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ?
Конечно. Даже если человек от природы скромный, но умный, он будет перебарывать свою скромность, потому что это ключ к успеху в информационном мире. Скромные на длинной дистанции проигрывают. Если же умный человек сам по себе нарциссичен, в чем проблема вообще - я имею в виду для него. Полно умных людей является неприятным говном, но тупыми от этого они не становятся.
Вообще такие стереотипы думают обычно туповатые лузеры, которые, естественно, считают себя гениальными, но их удел быть штатными шизиками на анонимных бордах. И это я не про тебя (потому что на тебя мне похуй), но тут в треде есть несколько таких.

>Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..
То есть все претензии в том, что нужно, подобно тебе, засунуть язык в жопу и не высовываться. У тебя ментальность крепостного крестьянина, которому барин может пиздюлей выписать за лишние слова. Воспитывается она в дурной совковой школе. Умные люди это перерастают, глупые нет.

Вообще же для тянок в ML действительно есть определенная скидка к их уму, но это фича, а не баг. Во-первых, банально приятнее работается, когда в отделе у тебя не одни носители сосисек, особенно когда тянка достаточно умна, чтобы понимать, насколько умнее ее ты. Во-вторых, разного рода тестирование и прочую рутину тянки делают лучше. Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
Аноним 06/03/20 Птн 18:29:44 1625255217
>>1625247
>Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
Какая же жизель. Такое вообще сильно заметно окружающим людям, когда ты этот самый тупой самец?
Аноним 06/03/20 Птн 18:43:15 1625268218
Ну вы же все понимаете, каких прорывов в машобчике можно ожидать от зумеров тайдменов, не могущих даже в Гугл и малолетних профурсеток типа таких:
>>1625142
>>1625148
>>1625160
В Блинолопатии машобчик вообще существует только милостью доброго американского барина, позволяющего пастись у этой темы всяким папуасам. Достаточно ввести эмбарго на такие технологии, и пизда рулю. Даже коровавирусные кетайсы не смогут анально угнетать своих уйгуров всякими социальными рейтингами.
Аноним 06/03/20 Птн 18:46:35 1625269219
>>1625268
>Достаточно ввести эмбарго на такие технологии, и пизда рулю.
Здесь поподробней пжлст, подпендоха, объясни что изменится? Исчезнет говнореклама и всратые котики?
Аноним 06/03/20 Птн 19:12:06 1625280220
Всё, зумерки-вкатывальщики. Халява кончилась: попугаи кеа знакомы с азами теории вероятности
https://nplus1.ru/news/2020/03/04/parrotstatistics
Теперь демпингуют рыночек - будут работать за кормушку корма.
Аноним 06/03/20 Птн 19:21:53 1625291221
>>1625268
А вот и главный лузер треда приперся. Нихуя про тянку не знает, но уже готовы выводы - он самый умный, остальные тупые
Аноним 06/03/20 Птн 20:38:35 1625336222
>>1625280
Так для нейронок не нужно знать азы тервера. Умеет ли этот попугай стакать слои?
Аноним 07/03/20 Суб 02:25:49 1625863223
>>1625291
> Нихуя про тянку не знает, но уже готовы выводы -
Знаешь одну селёдку = знаешь всех. Там кроме массогабаритных характеристик и паспортных данных разница стремится к нулю.
> он самый умный, остальные тупые
По сравнению с местными зумерами вкатывальщиками и всяким плоскоземельным шизлом я вообще гений так-то.
Аноним 07/03/20 Суб 03:41:28 1625879224
15816813740980.jpg (91Кб, 703x1080)
703x1080
>>1625142
допустим
но только вряд ли это сильно отличается от любого вката через конференции и работу/стажировку студентом, мальчиком надо казаться серьезным и перспективным, девочкой милой и перспективной
Аноним 07/03/20 Суб 04:23:52 1625885225
15815194824640.gif (489Кб, 500x386)
500x386
>>1625879
Ну и где тысячи этих "перспективных" зумеров? В чем перспективность, где результаты хоть какие-то? В Яндексе научились стандартно установленный адблок обходить, ебать достижение, снимаю шляпу и апплодирую стоя.
Аноним 07/03/20 Суб 10:10:50 1625975226
>>1625863
>я вообще гений так-то
И сколько вас таких непризнанных шизогениев на бордах? Кроме самоподдува у тебя нихуя нет, при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые". Был бы ты чуть умнее, тебе бы хватило ума это отрефлексировать.
Аноним 07/03/20 Суб 10:25:48 1625990227
Аноны, где можно заказать данные на разметку?
Аноним 07/03/20 Суб 11:57:01 1626068228
Аноним 07/03/20 Суб 13:57:41 1626207229
>>1625975
> Кроме самоподдува у тебя нихуя нет,
Есть )
> при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые".
Это не так. На самом деле:
- это не самоподдув
- "группа Х тупые, потому что это доказуемый факт".
Аноним 07/03/20 Суб 17:03:33 1626409230
Безымянный.png (149Кб, 290x643)
290x643
Аноним 07/03/20 Суб 17:09:41 1626421231
>>1626409
Сейчас бы матанопетушню всеръез воспринимать.
Аноним 07/03/20 Суб 17:46:39 1626450232
>>1626421
Еще какие-то стихи вначале.
Аноним 07/03/20 Суб 18:17:18 1626463233
>>1625268
Нейроночки не только в Америке делают, так что вводить эмбарго придётся не одной стране. А это как-то малоправдоподобно сейчас выглядит.

Да и в Китае ничего сверхъестественного для социальных рейтингов не нужно, к тому же там тоже есть кому этим заняться.
Аноним 07/03/20 Суб 21:47:10 1626657234
>>1626068
Как думаешь, картинки с японским текстом смогут разметить? Там же русские
Аноним 07/03/20 Суб 22:25:16 1626736235
Сап, где можно найти качественные датасеты каких-нибудь котировок акций, форекса, в часовом таймфрейме бесплатно естественно я и сам погуглю естественно, но вдруг
хочу отдрочить нейронку на всем подряд, и потом затрансферить на биткоин
Аноним 07/03/20 Суб 22:49:42 1626794236
а, еще вопрос - имеет ли вообще смысл обучать предсказывающую модель на различных таймфреймах, а потом файн-тюнить на специализированном датасете с другим таймфреймом
типа, в современных работах по распознаванию образов от гугла, например https://arxiv.org/pdf/1912.11370v1.pdf делалось то же самое, но с изображениями - обучали сеть на одном разрешении, а потом файн-тьюнили до целевого перед тестированием (разница образовывалась из-за аугментации)
если так можно с картинками, то с временными рядами может тоже?
может таймфрейм как входной параметр добавить вообще
Аноним 07/03/20 Суб 22:56:08 1626806237
>>1625863
>знаешь одну селедку - знаешь всех
>разница стремится к нулю
значительность различия определяется выборкой, если разница не нулевая, то то, что тебе разница кажется незначительной означает только одно - ты ошибся при выборе масштаба при сравнении характеристик
иначе сравнение просто не имеет ценности и следствий
Аноним 08/03/20 Вск 02:43:00 1627004238
15835586493840.png (1350Кб, 1080x1082)
1080x1082
>>1626736
>>1626794
>>1626806
Не, зумерок, миллиардером ты так не станешь. Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций, либо просто случайное блуждание. Алсо, какой из тебя вкатывальщик, если ты датасеты нагуглить не можешь, лол. Тут и гуглить нечего, бери метатрейдер4, там все данные за выбранный период можно в csv импортировать.
Аноним 08/03/20 Вск 03:16:42 1627021239
>>1627004
>миллиардером не станешь
не стану, мне делай нехуй, машоблю вместо просмотра аниме
>не предсказываются
ну у меня были раньше какие-то (кажущиеся?) результаты, была обученная предсказывать следующий фрейм нейронка, потом весь временной ряд прогонялся через нее чтоб получить некие абстрактные признаки, потом RL (да да прихуярил еще и не самую развитую область машоба) агент обучался действовать в простой торговой среде, покупка и продажа какого-то не помню какого типа актива с коммисией за операции
завис на том, что агент справлялся без и с очень низкой коммисией, но на взятой с биржи проебывался в ноль консистентно, мне казалось что это решаемо исправлением каких-то ошибок моих именно, которые к этому привели, но к тому моменту я так заебался этим заниматься что забил на несколько месяцев
я тогда все на 1m таймфрейме делал, с часовым не получалось особо (да и вообще пока в тренировочной выборке меньше пары лямов фреймов было), вот думаю может повторю хотя бы то что было, если достану данных побольше для 1h и затрансферю
вообще, я просто не додумался до этого до схемы обучения на большой сторонней выборке + файнтьюнинга на бтк, ну тупой мейби
>метатрейдер
спасибо, чекну, я по некоторым причинам подумал, что в нем самом по себе готовых данных нет
Аноним 08/03/20 Вск 11:35:21 1627147240
>>1627004
> Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций,
То есть всякие датакванты хуйнёй занимаются?
Почему же они такие зарплаты платят? Откуда бабло?
Аноним 08/03/20 Вск 12:05:33 1627167241
>>1627147
Венчурное инвестирование от бизнес-ангелов.
Аноним 08/03/20 Вск 12:06:26 1627169242
>>1627147
В квантитатив ресёрче нет мл как такового, ну максимум логрегрессия и эконометрические модели разные.
Аноним 08/03/20 Вск 12:12:45 1627172243
>>1625247
>Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
Так это, как и 99% проблем на рынке, проблема хайринга.
Не надо просто искать "математиков с минимум 5 публикациями за последние полгода и топ-100 на каггле" шоб потом они сидели селектами фичи собирали, и никакие тянки будут не нужны.
Аноним 08/03/20 Вск 12:38:56 1627203244
>>1627147
Бизнес-воротилы платят за то, что их успокаивают, мол, вы не просто хуячите рандомом или по примитивным правилам (периодически проёбываясь и утягивая за собой рынок), а согласно хитрому анализу данных.
Аноним 08/03/20 Вск 13:48:44 1627276245
>>1627167
>>1627169
>>1627203
То есть с конторами, которые занимаются машобом в области финансов и трейдинга, лучше не связываться?
Аноним 08/03/20 Вск 13:50:12 1627277246
Как вы находите каггл соревы, в которых можно одному зарешать?
Аноним 08/03/20 Вск 14:43:55 1627344247
Аноним 08/03/20 Вск 16:09:26 1627526248
>>1627276
Насколько я понимаю, кроме предсказания ряда есть еще много финансовых показателей, которые уже лучше поддаются машобу, всякие анализы рисков, волатильность etc
Аноним 08/03/20 Вск 19:24:21 1627746249
>>1627277
буквально любое соревнование не от гугла
Аноним 08/03/20 Вск 19:31:04 1627753250
>>1627746
Разве соревнование, например, с призом в миллион баксов можно успешно в одно лицо решить?
Аноним 08/03/20 Вск 19:33:52 1627759251
>>1627753
Зайди на прошедшие соревнования и посмотри топ лб. Ещё учти, что многие из топа объединяются в самом конце соревнования.
Аноним 08/03/20 Вск 20:08:24 1627800252
Какой макбук купить для ml?
Старый эир совсем перестал устраивать. Для своей джавы я бы просто взял 13" прошку со встроенной графикой.
Но вкатываюсь в ml (курсы прохожу), и как я понял без полноценной видюхи я ничего не смогу делать локально.
Аноним 08/03/20 Вск 20:29:44 1627872253
В 26-27 лет не поздно из крестов вкатываться в машобчик и кампутер вижн в ДС? С выпускниками ШАДов и ВШЭ по профильному направлению вообще реально конкурировать?
Аноним 08/03/20 Вск 21:25:20 1627953254
>>1627276
вроде как крединый скорринг и обнаружение фрода как раз машобчиком и делается
Аноним 08/03/20 Вск 22:24:36 1627994255
Вот вы спорите на десятки+ тредов, а что уникального конкретно вы реализовали на этих ваших нейроночках?
Аноним 08/03/20 Вск 22:28:39 1627998256
>>1627994
Это неудобный вопрос.
Аноним 08/03/20 Вск 22:54:03 1628032257
>>1627994
Им это не нужно. Для них нейронки это способ уйти от жестокой действительности.
Аноним 08/03/20 Вск 23:18:01 1628063258
Вопрос по очистке текста для модели: можно ли привести слова типа "aaand", "aannnnnndddd", "anddddd" к их основной форме "and"?
Лемматизация и стемминг тут, вероятно, не помогут.
Аноним 08/03/20 Вск 23:30:54 1628072259
Аноним 08/03/20 Вск 23:31:40 1628074260
>>1628072
Да - можно привести или да - не помогут?
Если первое, то как?
Аноним 08/03/20 Вск 23:33:11 1628077261
>>1628074
>Если первое, то как?
Как и всегда, ведешь базу с типичными опечатками.
Аноним 08/03/20 Вск 23:35:15 1628081262
>>1628077
Ну т.е. ручками, правильно?
Автоматизированных решений в данный момент нет?
Аноним 08/03/20 Вск 23:36:34 1628083263
Аноним 08/03/20 Вск 23:38:29 1628089264
>>1628081
>Автоматизированных решений в данный момент нет?
Ну есть там дистанция Левенштейна и прочие хитрые изъебоны, но это такое себе
Аноним 08/03/20 Вск 23:51:41 1628110265
>>1628032
двачую, я вылетел из реальности на полгода+ из-за ваших ебучих нейронок, лучше бы в доту играл
Аноним 08/03/20 Вск 23:52:28 1628111266
>>1628110
Сделал бы бота для доты на нейронках
Аноним 08/03/20 Вск 23:57:18 1628116267
>>1628111
Пусть уж лучше в покер, перспективней
Аноним 08/03/20 Вск 23:58:33 1628121268
>>1628116
>покер
А там до трейдинга на срыночке рукой подать, лол
Аноним 08/03/20 Вск 23:58:40 1628122269
>>1628111
у меня таких мощностей нет
Аноним 09/03/20 Пнд 00:01:11 1628127270
Ща посмотрел стоимость аренды серверов, ебануться косарь за день работы 1080ti, моя 1080ti с авито за 20к уже за год себя окупила
Аноним 09/03/20 Пнд 00:02:36 1628131271
>>1628122
А какие тебе нужны?
Аноним 09/03/20 Пнд 00:49:27 1628166272
Аноним 09/03/20 Пнд 02:26:04 1628206273
Челы, какой метод нормализации не дает протечки информации между разными точками образца по пространственным измерениям? Типа, что было бы окей при работе с изображениями, и не окей при работе с временным рядом. Я чтоб быстрее по времени обучать оптимизировал типа так, что одним образцом в батче является не
[x(0), x(1), ... x(n)] -> x(n+1)
, а сопоставление входного массива к сдвинутому на один элемент:
[x(0), x(1), ... x(n)] -> [x(1), x(2), ... x(n+1)]
ну там немного по другому, но суть такая
короче, какие современные нормализации не дадут какого-то усреднения по пространственному слою например, что даст протечку из будущего в прошлое в моем случае
Аноним 09/03/20 Пнд 02:34:32 1628210274
все, узнал уже, не знаю нахуя спрашивал
Аноним 09/03/20 Пнд 09:19:35 1628272275
Антоны, а какой прикол делать многослойную seq2seq модель? Какой от этого существенный профит может быть?
Аноним 09/03/20 Пнд 10:32:11 1628298276
Я РУБИСТ Я РУБИСТ Я РУБИСТ
Аноним 09/03/20 Пнд 10:34:58 1628300277
Аноним 09/03/20 Пнд 11:57:37 1628358278
Поясните за word2vec: если у меня обучающая и тестовые выборки различаются словами, мне надо их приводить к "общему знаменателю"?
Аноним 09/03/20 Пнд 15:01:11 1628534279
>>1628358
в word2vec все незнакомые/редкие слова обычно помечаются отдельным токеном.
Но лучше используй fastText, там слова на символьные н-грамы разбираются и проблема сама собой решается.
Аноним 09/03/20 Пнд 18:29:12 1628772280
Стоит ли вкатыватья в магу НГУ, если сейчас учусь в 5 часах езды от Новосиба и может быть смогу попасть туда без выступительных испытаний? Там какое то дотасаенс мошналернинг направление есть.
Аноним 09/03/20 Пнд 18:46:02 1628805281
>>1628772
Хуй знает, я вот вообще самостоятельно учился на машин лернинг, параллельно учась в местном пту-универе, ибо стипуха большая, по лабам нет напряга вообще (лабы уровня сортировка на сиплюсах). Единственное, что получил оттуда - багаж знаний по матану. Каеф.
Аноним 09/03/20 Пнд 20:00:04 1628911282
>>1628805
И к чему пришел на данный момент?
Аноним 09/03/20 Пнд 22:42:16 1629036283
>>1628772
Учиться с учителем проще, чем самостоятельно. Тебе общагу дадут.
Аноним 09/03/20 Пнд 22:44:46 1629042284
>>1627800
бери 13, для вката достаточно google-colab
Аноним 09/03/20 Пнд 23:29:34 1629069285
>>1629036
>Учиться с учителем проще, чем самостоятельно.
лол, не прочитал пост выше и подумал, что это срач про supervised learning, только на моменте с общагой понял, что что-то не так
Аноним 10/03/20 Втр 08:12:31 1629220286
анончики, подскажите пожалуйста, может есть какие-то нейроночки которые бы откорректировали грамматику текста. Превратили бы "сегодня я ходить в работа" -> "сегодня я ходил на работу".
Аноним 10/03/20 Втр 15:11:36 1629434287
Делаю диплом с нейросеточкой, суть такая: вводишь текст -> из него выделяются ключевые слова -> по этим словам подбираются изображения. Нужно найти альтернативные системы с тем же функционалом (пишешь текст -> ищет картинки). Гугл картинки и подсказки со стикерами вк и в телеге не совсем то. Помогите, пожалуйста
Аноним 10/03/20 Втр 15:43:03 1629454288
>>1629220
google translate rus->eng->rus превращает твой пример в "сегодня я иду на работу"
Аноним 10/03/20 Втр 15:44:28 1629455289
>>1629434
Вообще-то гугл картинки это то, особенно последние годы, когда стало больше нейронок и меньше поисковой статистики
Аноним 10/03/20 Втр 15:59:48 1629463290
Аноним 10/03/20 Втр 16:50:27 1629505291
Аноним 10/03/20 Втр 19:28:52 1629594292
>>1618123

>>1618123

Всё же попробовал поработать с бертом и у меня 3 вопроса:

1) Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?

Тензоры десяти отзывов весят 8 Мб если я через pickle их сохраняю, таких отзывов у меня 65к, т.е около 50 gb будет весить. В каждом тензоре N слов( по длине отзыва) с размерностью M.


2) Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?


3) Как мне делать Kmeans на таких больших данных?
Подозреваю что нужно будет по одному считывать и делать перерасчёт KMeans каждую итерацию, а не грузить сразу всё в память. Ну или батчами считать, сделать Kmeans, считать снова и так пока не пройду по всей коллекции.
Аноним 10/03/20 Втр 21:44:21 1629670293
>>1629594
>Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?
Зачем? Она настолько долго работает, чтобы это делать?
>Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?
Это было бы слишком охуенно, чтобы подбный линейный предиктор поверх BERT работал бы.
Тебе нужно отфайнтюнить BERT под свою задачу, то есть поверх всей этой сетки добавить несколько своих слоев, которые бы делали уже твою задачу.

Смотри
https://yashuseth.blog/2019/06/12/bert-explained-faqs-understand-bert-working/

https://github.com/nlpyang/BertSum

Ну и погугли finetuning bert, там что-то будет
Аноним 10/03/20 Втр 21:57:08 1629676294
>>1628206
Через твою шизофазию очень трудно пробраться. Ты не casual convolutions ищешь случаем?
Аноним 11/03/20 Срд 05:58:00 1629858295
Посаны, хочу обучить алгоритм по типу вайфы, но не хочу изучать высшую математику.
Возможно, даже не апскейлер, а просто фильтр. Желательно чтобы и так и так, как вайфу, но похуй. Устроит в любом виде.
Материал для обучения подготовить могу, но что дальше делать не знаю.
Советы? Обломаться?
Аноним 11/03/20 Срд 09:47:25 1629921296
Аноним 11/03/20 Срд 11:36:34 1629978297
Анон, нужно для диплома написать нейронку для оценки кредитов в банке. Планирую использовать lending club loan dataset. Писать буду на python, следовательно логичнее всего использовать tensorflow? Тогда киньте гайд по нему, желательно на русике, но можно и на инглише. Хотел бы сделать не бинарную классификацию (хороший, плохой кредит), а хороший, рисковый, плохой. На сколько это труднее?
Аноним 11/03/20 Срд 13:40:11 1630083298
>>1614936 (OP)
Ученные, ответьте, почему вы решили вкатиться в ML/DS, вместо того чтобы пилить сайтики/разрабатывать приложения на джаве? Там ведь и денег больше и востребованность и знаний нужно меньше. Я не троллю, просто пасую вас вопрос который задали мне.
Аноним 11/03/20 Срд 17:31:21 1630311299
>>1630083
>DS
Размытое понятие. От математика с экселем до одмина с хадупом.
Аноним 11/03/20 Срд 17:51:28 1630337300
>>1630311
Ну DS области связанные именно с обучением машин, вопрос тут достаточно обширный конечно, типа прогнозирования покупок, рекомендаций и прочего такого. Но как вообще люди понимают что они именно в это хотят вкатиться? Мне к примеру просто интересно изучать и работать с чем-то, что требует интересного мыслительного процесса, интересно находить взаимосвязи и предсказывать будущее. Но тут чел с курсов приложил меня вопросом о том, может мне лучше сайты изучать, или приложения, а то и геймдев, типа первые 2 направления уж точно выше оплачиваются и адово востребованные, и в целом вел к тому - а нахуй тебе оно вообще нужно? Но вот мне сайты вообще ни разу не уперлись, с приложениями так же, плюс джава мне просто эстетически как-то не понравилась едва я её увидел. А в геймдеве я уже работаю как дизайнер, и в рот это всё ебал. Скучнешие задачи, унылый ноубрейн дроч уровня разнорабочего на стройке, это все только выглядит красиво и весело
Аноним 11/03/20 Срд 18:34:42 1630379301
>>1630083
>Там ведь и денег больше и востребованность и знаний нужно меньше
Большое заблуждение по всем трем пунктам.
Я пару раз в жизни пробовал вкатываться в веб, и не осилил. Потому что это примерно как стать автослесалем - ну да, ничего сложно, и да, каждый раз делаешь одно и то же, но первоначально осилить все нужные технологии не так уж и просто. Неспешный вкат и там и там 1-2 года занимает.
Востребованность - зависит от твоего опыта. Веб-сеньер с опытом 10 лет - это, ну, сеньер. ML-спец с опытом 10 лет - это бог рынка труда. Ты как минимум не будешь идиотские собеседования проходить на ту же зарплату.
Знаний меньше не нужно, просто знания не устаревают, в отличие от. Условно, в 2008 году я занимался всем подряд, и, с одной стороны, я по просьбе препода написал нейронку SOM для его книги. С другой, сверстал сайт для батиной фирмы. Ну что по итогу. Знания о SOM мне до сих пор пригождаются. А табличная верстка сайта в ту добустрепную эру? Нахуй оно не нужно сейчас. Разве что логи генерить может быть удобно.

Грубо говоря знания ML это как хранить деньги в баксах, а веб - в рублях. Иногда тебе везет, но на длинной дистанции ML всегда выиграет.
Аноним 11/03/20 Срд 19:02:05 1630409302
>>1614936 (OP)
Я конечно все понимаю, но есть какие-то базовые курсы/книги для того чтобы освоиться хотя бы на базовом уровне? А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко. В этой области вообще существует какой-то базовый уровень? Нашел пока что книгу https://www.amazon.com/gp/product/1491957662 , если ничего лучше не найду, то по ней стартану и еще курс на udemy. И может кто-то из вас знает что по поводу всяких курсов по DS на яндексе/skillbox/skillfactory? А то там только слышплоти и почти нихуя нет инфы о том, что собственном курс из себя представляет, только у яндекса вроде бы есть парочка вводных уроков, но пока не разбирался что там.
Аноним 11/03/20 Срд 19:33:53 1630433303
>>1628534
> fastText
Я так понял в модель просто пихаешь обработанный текст и он сам всё делает?
Текст этот в файл надо сохранять? Или можно из датафрейма?
А что насчёт меток, если обучение с учителем?
Аноним 11/03/20 Срд 19:39:52 1630439304
>>1630409
>А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко.
Тогда это не для тебя
>В этой области вообще существует какой-то базовый уровень
Да, учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузе
Аноним 11/03/20 Срд 19:43:58 1630443305
Ебанутый мир.
Презумпция о невиновности нихуя не значит
В одних странах ворьё, мерзавцы и охуевшие малолетки считающие себя умнее и лучше их. В других муслимы/муслимы-беженцы. В третьих куколды, каблуки открывающие рот, когда представители "меньшинств" расстегивают ширинку.
Ублюдские люди, ублюдское общество куда не плюнь.
Сука.
Может кто нибудь знает ответ, где находится нормальная страна с более-менее вменяемыми людьми?

Если ты ответишь-Польша, я харкну тебя в ебало, потому что польша притон ичкерийцев
Аноним 11/03/20 Срд 19:44:24 1630444306
>>1630439
> учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузе
Сильное заявление.jpeg
Только чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.
Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.
Ты ещё скажи, чтобы стать смуззихлёбом, надо кандидатский минимум сдать по физике полупроводников.
Аноним 11/03/20 Срд 19:47:14 1630450307
>>1630444
>Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.
Это не математика, а вторая культура.
Аноним 11/03/20 Срд 19:48:14 1630453308
>>1630409
Поддерживаю оратора выше, без уверенного знания матана тебе даже вёрстке делать нечего. Рекомендую тебе не тратить на это время, это не для таких как ты. Тут тебе даже программирование по сути не нужно и всё это вторично. Главное глубокое знание матана в идеале. Вчерашним домохозяйкам тут не место.
Аноним 11/03/20 Срд 19:50:48 1630455309
Аноним 11/03/20 Срд 19:50:55 1630456310
>>1630453
Ох интегралы сладкие, обожаю брать интегралы под водовку и махорку. А эти ваши модули, торические многообразия, гомологии и гомотопии это что вообще такое?
Аноним 11/03/20 Срд 20:02:25 1630472311
Мы с коллегой по кафедре недавно душевно посидели, попили водки с пепси, поели то, что он приготовил - отборный картофан, каждый взял на закусь несколько интегралов - неопределенные, поверхностные второго рода, после второй бутылки взяли даже неберущийся в элементарных функциях интеграл. А листочками по алгебраической геометрии вытирали руки.
Аноним 11/03/20 Срд 20:08:06 1630479312
>>1630409
На степике есть хорошие курсы по CV и NLP от Samsung Research
Аноним 11/03/20 Срд 21:39:16 1630525313
>>1630456
>обожаю брать интегралы
ооо, шалун
Аноним 11/03/20 Срд 21:49:58 1630531314
>>1630472 >>1630456 >>1630450
Нихуя себе вербитошизика триггернуло

Самые уебищные люди - те, которые считают, что есть правильная математика и неправильная. При чем правильная - это та, подо что выбивают гранты лично они
Аноним 11/03/20 Срд 22:03:49 1630540315
>>1630531
Мы тебе не мешаем заниматься твоим протухшим говном, по которому нет актуальных исследований и которое изучено вдоль и поперек в 30-м году
Аноним 11/03/20 Срд 22:06:59 1630543316
>>1630540
> нет актуальных исследований
Так маняматика говно без задач, какие там исследования?
Аноним 11/03/20 Срд 22:10:39 1630545317
>>1630444
>Только чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.
>Это тем кто исследования ведёт
Эта дихотомия - самоподдувный миф вкатывальщиков. Если ты устраиваешься на вакансию DL-сеньера, ты именно что ведешь исследования. Разница с наукой только в том, что публиковаться не обязательно, а то и вредно. Ну и еще по мелочам, например, рост перформанса в 1% в науке может быть сенсацией, а в бизнесе будут доводить до ума существующие модели. Что, кстати, тоже нихуя не то, как ты себе это представляешь.
Аноним 11/03/20 Срд 22:13:47 1630548318
>>1630545
>что ведешь исследования
Там еще исследования ведутся? То есть вот за этим всем неработоспособное МЛ говнищем, за ним стоят исследования и человекочасы неглупых людей хоть и матанопетухов? Ой, вей
Мимо
Аноним 11/03/20 Срд 22:14:45 1630550319
>>1630540
>Мы тебе не мешаем заниматься
Как минимум ты очередной раз протек в ML-тред.
>протухшим говном, по которому нет актуальных исследований
Протухшим говном является М-теория, теория струн и прочая отрыжка математиков, которая оказалась соврешенно неприспособленной к описанию реального мира. То есть эти уебки хотели стать новыми миньковскими, а оказались просто долбоебами. А дальше начали делать вид, что не больно-то и хотелось, мы же фундаментальная математика епт.
В интегральчиках же дохуя работы и неизвестного, до сих пор нормальный симулятор всего не написан, везде какие-то частные случаи и ухищрения.
Аноним 11/03/20 Срд 22:16:28 1630551320
>>1630543
>Так маняматика говно без задач, какие там исследования?
Как раз таки ЗАДАЧ там очень много. Может быть ты, быдло, хотел сказать, что за это тебе не заплатят 300к в секунду? Ты настолько увяз в коммерс системе, что уже не понимаешь, что и для чего тебе нужно. Вся цивилизация построена на интересе, наука развивалась благодаря интересу. А у таких как ты тристакавсекундышей нет ни цели, ни смысла, убогое быссмысленное существование
Аноним 11/03/20 Срд 22:17:09 1630552321
>>1630548
>Мимо
Очень смешно, нечеткий петух. Придумай что-нибудь еще
Аноним 11/03/20 Срд 22:19:58 1630554322
photo2020-03-10[...].jpg (88Кб, 1279x719)
1279x719
Аноним 11/03/20 Срд 22:23:36 1630556323
>>1629594
>Как мне делать Kmeans на таких больших данных?
А в чём проблема, зумерок, эффективных алгоритмов поиска ближайших выше крыши, не говоря уже о приближённых. Понаизучают свои няронки, а простейшего компьютер саенса уже и не знает никто.
Аноним 11/03/20 Срд 22:24:49 1630558324
>>1629670
Вопрос в сторону, а есть берт на русский язык предобученная?
Аноним 11/03/20 Срд 22:26:48 1630559325
>>1630556
Когда очень хочешь выебнуться в ML-треде, а нечем
Аноним 11/03/20 Срд 22:28:42 1630560326
Аноним 11/03/20 Срд 22:38:48 1630564327
>>1630551
>Как раз таки ЗАДАЧ там очень много
Ну так давай по простому, вот задача, вот ее решение, вот невероятный профит для человечества, примеры пазязя.
Аноним 11/03/20 Срд 22:43:15 1630567328
>>1630564
>вот невероятный профит для человечества
У тебя стадная когнитивка, тебе жизненно важна работа на публику. Так, например, у всех чинов происходит, им нужен пиздеж и публичность. Смысл математики есть для самого математика. Ты его не видишь потому, что у тебя нет понятия самого "я", твоя личность смешана со всей окружающей биомассов. Если эта биомасса не одобрит твои увлечения или даже твое существование, то это твое существование как бы не имеет смысла.
Аноним 11/03/20 Срд 22:44:30 1630570329
У тебя даже нет такого понятия как "интерес", есть только социальный заказ и твои потуги его удовлетворить ради похвалы
Аноним 11/03/20 Срд 22:51:23 1630574330
И М-теория и теория струн это теоретическая физика, а не математика. Математика - это разработка самой математики. Работа математика - доказательства теорем и создание теорий. Пример математики - деятельность Рамануджана.
Аноним 11/03/20 Срд 22:51:41 1630575331
>>1630567
>Смысл математики есть для самого математика
Ну, ок, я согласен, только почему я его должен кормить со своих налогов, а их не одна сотня тащемто? Почему мне за мои увлечения не платят, несправедливости ты не видишь?
Аноним 11/03/20 Срд 22:53:01 1630576332
>>1630574
>деятельность Рамануджана
>говно без задач
Ну все правильно.
Аноним 11/03/20 Срд 22:57:17 1630578333
>>1630575
>только почему я его должен кормить со своих налогов
Потому что социальная справедливость. Учитель, врач и воспитатель платят налоги и не бухтят, только убогие типа тебя возмущаются тем, что от своей зарплаты 300к они платят 5к налогов. Я бы еще ввел прогрессивный налог, чтобы такие как ты отчисляли от своей зп 50-60к налогов на благо социума.
Аноним 11/03/20 Срд 22:59:56 1630581334
>>1630545
>вкатывальщик
>сеньер
Ещё толще.
Аноним 11/03/20 Срд 23:01:06 1630582335
>>1630578
>Потому что социальная справедливость
>Учитель, врач и воспитатель
Ох лол, вот последние приносят реальную пользу человечеству, а матанопетушнят нет. Тебе не кажется что математики это паразиты?
Аноним 11/03/20 Срд 23:06:32 1630585336
>>1630567
>У тебя стадная когнитивка, тебе жизненно важна работа на публику.
Ты это только чато на публику высрал. Я уже говорил, что вербитоблядки - это худшая порода людей.
Тут та же самая хуйня. Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрение. Ебаные лицемеры.
Аноним 11/03/20 Срд 23:08:49 1630586337
>>1630582
Деточка, твой компьютер работает на математике.
Выйди из интернета и больше в нём никогда ничего не пиши.
Аноним 11/03/20 Срд 23:13:59 1630587338
>>1630586
>твой компьютер работает на математике
Куча транзисторов с примитивной двоичной логикой, это ты в заслугу ставишь? Помнишь того, кто первый программируемый ткацкий станок изобрел, а?
>Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрение
Мысли научись выражать.
Аноним 11/03/20 Срд 23:15:23 1630588339
>>1630587
>Мысли научись выражать.
Доказательство теорем лучше всего развивает способность выражать мысли.
Аноним 11/03/20 Срд 23:17:28 1630590340
>>1630588
>Доказательство теорем
Еще разгадывание кроссвордов.
Аноним 11/03/20 Срд 23:19:01 1630592341
>>1630587
>Мысли научись выражать.
Ты туповат просто, вот тебе и не понятно
Аноним 11/03/20 Срд 23:20:34 1630594342
>>1630590
А спам на дваче развивает мышление?
Аноним 11/03/20 Срд 23:21:32 1630596343
>>1630592
>Ты туповат просто, вот тебе и не понятно
Ясно, но вас математических говноедов, я деньгами кормить не буду.
Аноним 11/03/20 Срд 23:21:36 1630597344
>>1630586
>Деточка, твой компьютер работает на математике.
Компьютер создан инженерами за миллионы человеколет проб и ошибок с использованием открытий физики.
Математики тут седьмая вода на киселе. Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.
Аноним 11/03/20 Срд 23:23:23 1630600345
>>1630594
>А спам на дваче развивает мышление?
Конечно, я все больше убеждаюсь в своей правоте, поскольку вы не можете внятно объяснить какая мне от математиков польза.
Аноним 11/03/20 Срд 23:23:33 1630601346
>>1630587
> с примитивной двоичной логикой
Оно работает, маня. Сделай лучше, если сможешь - это первое.
Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
Математика везде.
Аноним 11/03/20 Срд 23:24:14 1630603347
>>1630597
>Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.
Это не проблема фундаментальной науки.
Аноним 11/03/20 Срд 23:24:15 1630604348
>>1630596
Ты совсем тупой, если не понял, что нас тут минимум трое.
Вербитошизик, вылетевший из универа за токсичность, ты (нечеткий петух, кефирщик и далее по тексту), и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношение. В плане "компьютер работает на математике" я скорее на твоей стороне, подобное только вербитошизик может высрать.
Аноним 11/03/20 Срд 23:25:23 1630605349
>>1630597
>Самое уебищное это конечно одержимость доказательствами
Предлагаешь веровать?
Аноним 11/03/20 Срд 23:26:47 1630607350
>>1630601
>Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
сначала: ИНТЕГРАЛЫ КАРТОФАН КАРФТОФАН ВТОРАЯ КУЛЬТУРА
через пару часов: Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.

Лицемеры-первокультурщики как есть.
Аноним 11/03/20 Срд 23:27:22 1630608351
>>1630601
>Математика везде
Что вы изобрели нового?
> фотошопы и различные фильтры
Это пиздец без комментариев
>расчёты самолётов, ракет и кораблей, моделирование процессов
Все это было придумано до вас, да и после каждого проектирования идут тысячи часов допиливания напильником реальной модели. Математику на хуй.
Аноним 11/03/20 Срд 23:29:04 1630609352
>>1630604
>и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношение
И я тебя уже много раз просил похвастаться твоими достижениями, но увы...
Аноним 11/03/20 Срд 23:30:03 1630610353
>>1630608
>Это пиздец без комментариев
А что, обработка изображений и видео магией происходит?
Аноним 11/03/20 Срд 23:35:30 1630612354
Аноним 11/03/20 Срд 23:36:58 1630614355
>>1630610
>обработка изображений
О кей, есть задача детектить 2д геометрические фигуры на плоскости с определенной скоростью, только вся ваша магия нихуяшеньки с этим не справляется, объсни?
Аноним 11/03/20 Срд 23:38:59 1630615356
>>1630614
> ваша магия нихуяшеньки с этим не справляется,
Проблема инженеров, а не математиков.
Аноним 11/03/20 Срд 23:44:05 1630616357
>>1630615
>Проблема инженеров, а не математиков.
Ясно, поэтому математики на хуй не нужны.
Аноним 11/03/20 Срд 23:45:12 1630617358
>>1630586
Мой работает на процессоре.
Аноним 11/03/20 Срд 23:47:06 1630619359
>>1630616
Ты тоже.
Иди убейся.
Аноним 11/03/20 Срд 23:49:09 1630620360
>>1630619
>Иди убейся.
Возразить по делу то нибудь можешь?
Аноним 11/03/20 Срд 23:51:26 1630622361
>>1630620
>сейчас бы доказывать что фанатику
Извини, попробуй в /b
Аноним 11/03/20 Срд 23:51:34 1630623362
Как печёт-то умственным карликам что им мозгов только керас импортить и датафреймы перекладывать хватает а кто-то более изощрёнными вещами занимается, любо-дорого :3
Аноним 11/03/20 Срд 23:52:53 1630624363
>>1630609
Пару раз ты просил, последний раз это было еще в прошлом году, а мы на рынок вышли только в январе. Сотни установок (с ценой установки в сотню баксов) в неделю от живых людей - это достижение или нет? Или эти люди тоже оболванены маркетингом? Ты же шизик и всегда придумаешь объяснение, почему конкретно в этот раз нейронки сосут.
Аноним 11/03/20 Срд 23:56:00 1630626364
>>1630624
> а мы на рынок вышли только в январе
Так что вы там такое делаете, расскажи?
Аноним 12/03/20 Чтв 00:01:40 1630629365
Аноним 12/03/20 Чтв 00:17:28 1630633366
>>1630629
>обработка аудио
Ты это уже говорил, ну ты же понимаешь что это так себе, говно для тех кто в теме? Где прогресс?
Аноним 12/03/20 Чтв 00:59:51 1630638367
А можно на каком-нибудь бесплатном хостинге с кроном сделать скрипт который раз в три-четыре часа ходит и пинает ноут на коллабе чтоб обойти ограничение по времени выполнения? Не отслеживают такое?
Аноним 12/03/20 Чтв 02:04:23 1630668368
>>1630633
>Где прогресс?
Заранее манипулятивный вопрос. Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нет
Аноним 12/03/20 Чтв 04:08:09 1630694369
>>1629858
Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная. И подозреваю, что с задачей отличной от шумодава она справится очень хуёво.
Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?
Пиздец.
Аноним 12/03/20 Чтв 04:30:32 1630700370
>>1630694
>Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная.
Это просто софтина, гоняющая разные модели, есть быстрые, есть медленные. Совсем быстро будет что-то типа unet mobilenet или вообще типа https://www.paperswithcode.com/paper/190807985 (2 секунды в гугле по запросу mobile super resolution)
Обучение медленно всегда, покупай видюху или пиздуй на google colab нищенствовать
>Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?
У даунских вопросов как раз мало шансов на ответы. Лично я не нашел у тебя в посте вопросов, кроме "я даун и не прочитал ридми у waifu2x", да и то после дешифровке, за такие формулировки даже на малотоксичном stackoverflow пиздят.
Аноним 12/03/20 Чтв 05:12:56 1630709371
>>1630700
2070s присутствует. Наверное, приемлемо?
Ну, "читай ридми вайфу" — тоже ответ.
Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинках. Сорт оф дизеринг.
Могу ради этого запилить дохуя примеров изображений с шумом и без.
И вот, прежде чем вникать, пришёл к вам с вопросом стоит ли это того вообще.
То есть, если вкатываться пол года самому и обучать ещё пол года сеть после этого — оно того явно не стоит.
Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.
Волнует скорость обучения. Скорость обработки не так сильно.
Пока всё прочитанное намекает, что короткого пути нет.
Аноним 12/03/20 Чтв 05:34:32 1630716372
>>1630709
>2070s присутствует. Наверное, приемлемо?
Наверное, особенно если fp16 для твоей задачи заведется
>Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинках
Покажи
>Могу ради этого запилить дохуя примеров изображений с шумом и без.
Если ты можешь запилить дохуя примеров, ты видимо их генерируешь. Нахуя тогда тебе нейронка
>Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.
Пара недель - это что-то из 2015. Сейчас самая первая сетка вайфу, которая SRCNN называется, должна обучаться за несколько часов (и то я дохуя загнул). Сетки со скипконнекшенами с тем же числом параметров еще быстрее обучаются
Тут скорее вопрос в том, что из себя представляет шум, какой receptive field тебе нужен, чтобы модель полно его воспроизводила, сколько слоев настакать, и так далее.

waifu2x тут конечно нахуй не нужен, во-первых, lua, во-вторых, там слишком много хуйни для юзеров. https://medium.com/datadriveninvestor/using-the-super-resolution-convolutional-neural-network-for-image-restoration-ff1e8420d846 вот например туториал индуса какого-то с той же самой SRCNN
SRCNN это конечно древняя хуйня я ебал, она появилась до массового использования скипконнекшенов, которые очень сильно облегчают жизнь, поэтому в принципе ее лучше не юзать. Но найти человеческий индусотуториал я не могу. Например вот отсюда https://github.com/ChaofWang/Awesome-Super-Resolution вот в этой репе https://github.com/titu1994/Image-Super-Resolution есть DSRCNN, вот что-то подобное выглядит не сильно тяжелее DSRCNN и при этом уже со скипконнекшенами. Вообще найди Awesome-Super-Resolution репу по вкусу и используй.
Аноним 12/03/20 Чтв 06:31:46 1630722373
1583983903241.png (251Кб, 512x512)
512x512
1583983903247.png (541Кб, 512x512)
512x512
>>1630716
> Покажи
Что-то такое. Хочу имитацию "полезного" шума.

> ты видимо их генерируешь
Могу генерировать при наличии хайреза и на определённых исходниках. Иначе заёбно. Хочу чтобы комплюхтер заёбывался вместо меня.
Аноним 12/03/20 Чтв 06:46:21 1630727374
>>1630722
Такое за пару дней сделать должен. Возьми индусотуториал, убедись, что обучение идет на родном датасете, затем подмени датасет на свой и ебашь. А там посмотрим, интересная задача, пиши как что
Аноним 12/03/20 Чтв 06:53:31 1630733375
>>1630727
Большое спасибо. Буду пробовать.
Аноним 12/03/20 Чтв 08:02:11 1630749376
Математиков полон тред, а на мой вопрос >>1626409 так никто из них не ответил.
Аноним 12/03/20 Чтв 09:06:23 1630763377
>>1630749
Ты кинул ссылку на длинное видео без таймкода, это зашквар тебе отвечать
Аноним 12/03/20 Чтв 09:33:56 1630770378
>>1630763
>18:55
>длинное видео
Из тик-тока не вылазишь?
Аноним 12/03/20 Чтв 10:07:50 1630784379
153055668116758[...].jpg (50Кб, 700x366)
700x366
>>1630668
>Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нет
Ну вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф. Сейчас собственно технологический тупик уже как лет 50, оптимизация технологий. Все становится чуть меньше, надежней, дешевле, но это не прогресс.
Аноним 12/03/20 Чтв 10:09:21 1630786380
>>1630770
кто-то должен тратить 20 минут своей жизни на ответ тебе?
Аноним 12/03/20 Чтв 10:33:00 1630806381
>>1630784
>Ну вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф.
Сколько лет прошло между паровым двигателем и железной дорогой между двумя городами? Между локальной железной дорогой и региональной? Между региональной и транссибом?
Если ты безграмотная манька, не знающая истории - то хуяк, и 200 лет истории развития - это короче, чем год сейчас, ведь год сейчас - это столько новостей в бложиках, а про 200 лет надо в унылых книжках читать.
Ну и я молчу о том, как ты бы в каком-нибудь 1848 году ныл о том, что прогресса последние 50 лет нихуя нет.
>Сейчас собственно технологический тупик уже как лет 50
Это у тебя в голове технологический тупик. Не по Сеньке шапка, "хуяк, железные дороги" - твой уровень, а вот оценивать технологии последнего полувека - нет, ты даже железные дороги осилить не можешь, они просто у тебя просто хуяк и появились.
Аноним 12/03/20 Чтв 11:32:42 1630848382
>>1630786
>лучше потрачу несколько часов на кривляющихся зумеров в тик-токе
ясно
Аноним 12/03/20 Чтв 11:43:36 1630861383
>>1630848
Не заебало с собственными фантазиями разговаривать?
Аноним 12/03/20 Чтв 12:41:39 1630925384
>>1630806
Ты по существу и не ответил. Помнишь MYCIN и как ее торпедировали? Ты там сигналы обрабатываешь, ну ок, зделой синтезатор речи котрый не похож на говно, ок?
Аноним 12/03/20 Чтв 19:16:37 1631252385
>>1630925
>Ты по существу и не ответил.
Я ответил по существу.

>В 1705 г. француз Дени Папин поставил на лодку изобретенную им паро-атмосферную машину и получил желаемый результат. Но лодочники реки, где производил свои опыты Папин, уничтожили его лодку из боязни конкуренции. Папин не смог найти средств для продолжения опытов.

>В 1768 г. и в 1801 г. английский инженер Саймингтон построил два удачных парохода, но владельцы каналов запретили плавание под тем предлогом, что пароходы будут разрушать каналы

>Зимой 1802 г. маленький пароходик Фультона уже ходил по Сене. Весной 1803 г. был построен второй пароход, но неизвестные злоумышленники уничтожили его.

>Адмиралтейство предложило Фультону крупную сумму за то, чтобы он навсегда отказался от постройки подводной лодки…

Алсо, первые пароходы были дико неэффективны по сравнению с парусниками и по сути везли только уголь, который сами же и жгли, ну и немного богатеньких пассажиров. Можно поднять газеты тех лет и наслаждаться количеством вылитой вони и карикатур о куче изобретений, которые довели до ума. Такие как ты были всегда. Потому что прогресс и его принятие - это страшно. Открытия 19 века привели не только к небывалому росту продолжительности жизни, но и к двум мировым войнам. Гораздо проще кричать "врети" и жить в манямирке.

Это - история открытий и изобретений. Полно успехов, полно неудач. Неудач намного больше - это нормально. Полно "этот зумер пытается что-то изобрести, давайте его отпиздим". Любая технология в то время - это стечение удачных обстоятельств. А у тебя - "хуяк, железные дороги вместо лошадей". По сравнению с 19 веком сейчас время охуенное, потому что люди поняли цену технологий и поняли, насколько вреден луддизм (ну, кроме диктаторов в банановых республиках). Нейронки развиваются быстро, благодаря достижениям последних лет, от интернета, позволяющего моментально меняться идеями, до института венчурных инвестиций, которые вместо того, чтобы сжигать пароходы, помогают их строить. Но они не могут развиваться моментально.

Ну и теперь поместим в это время нытика, подобного тебе. Сидит себе где-то на печи крестьянин, за год не происходит НИХУЯ, и за два нихуя не происходит, потом какой-то чудак делает пароход, и этот крестьянин начинает ныть, какой он неэффективный, и вообще парусники - это охуенно и красиво, а пароходы - он ебанутый что ли. Такие как ты оценивать будущее и перспективность технологий не могут, потому что не дано.
А так как жизнь крестьянина короткая и хуевая, то весь прогресс 18, 19 и 20 века прошел мимо него. Он и в 60-е годы 20 века на лошадях инструмент возил. А самолеты - вообще хуета, 100 лет назад французы на воздушном шаре летали, какие нахуй самолеты, они тяжелые и сложные.

И через 200 лет такой, как ты, будет рассказывать о событиях 1970-2020 года в стиле "хуяк - нейронки". Ну и естественно никакого прогресса видеть не будет, потому что история наука скучная, а читать блоги, бесконечно репостящие хайпующих google/facebook/openai - это сколько угодно.
Аноним 12/03/20 Чтв 19:52:52 1631270386
>>1631252
>Нейронки развиваются быстро
Так развились, что нихуя не могут, лол.
>Это - история открытий и изобретений.
В которой математики в лучшем случае сосут хуй, а в худшем вся научная пиздобратия торпедирует изобретателей
чтобы он навсегда отказался от постройки подводной лодки…
Аноним 12/03/20 Чтв 22:04:03 1631439387
Достопочтенные Джентльмены, прошу прощения что врываюсь в ваш бессмысленный срачь, у меня тут вопрос, нужно ли накатить для начала парочку курсов по основам матана чтобы потом приступать к курсам по DS, или можно это делать чуть позже или паралельно по мере надобности? А то боюсь что потрачу пару месяцев на матан, и в итоге обнаружу, что он для первых шагов в изучении DS/ML вообще нахуй не всрался и там на 100% используется по сути только кодинг и общее описание концепций
Аноним 12/03/20 Чтв 22:54:47 1631541388
Блин, что-то все эти трансформеры, берты и хлнеты вгоняют в депрессию.
Это что, реально самое простое что работает? Выглядит, честно говоря как нагромождение костылей.
Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Аноним 12/03/20 Чтв 23:43:38 1631619389
Аноним 13/03/20 Птн 00:00:35 1631663390
>>1631439
>Выглядит, честно говоря как нагромождение костылей.
Петуха забыли спросить, как что выглядит
Аноним 13/03/20 Птн 00:43:51 1631737391
>>1631663
Ты постом ошибся, это 2 разных человека писало. Хотя ко мне в принципе тоже относится.
Аноним 13/03/20 Птн 00:47:06 1631738392
Есть тексты, авторы которых известны, есть тексты, авторы которых неизвестны. Нужно узнать, можно ли соотнести неизвестный текст к известному автору.
CountVectorizer + OneVsRestClassifier работает, но даёт хуйню (~0.45 precision). Как можно точность повысить? Можно ли сюда вхуйнуть BERT?
Аноним 13/03/20 Птн 01:16:04 1631761393
>>1631541
>Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Ты почти угадал
Аноним 13/03/20 Птн 01:18:24 1631763394
>>1631663
Эй, попрошу, я не шиз, прост пытаюсь выучить нлп
Аноним 13/03/20 Птн 01:25:01 1631765395
>>1631763
если тебя пугают слова типа матрица, вектор, градиент, функционал, принцип максимизации правдоподобия, марковская гипотеза, интеграл, градиент. То однозначно надо учить математику.
Аноним 13/03/20 Птн 01:26:38 1631766396
>>1631765
Про градиент забыл.
Аноним 13/03/20 Птн 01:31:22 1631769397
>>1631765
А есть какой-то более менее вменяемый курс по математике, которую полезно было бы знать именно в области ML/DS? Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу. И тут вроде бы эту базу тоже сначала надо изучить, и таким образом я сам того не зная могу прийти к тому, что один только матан придется изучать ближайшие 10 лет просто буквально начиная с таблицы умножения. Пока там кабанчики по курсам одного только пайтона вкатываются в машоб за полгода-год просто вертя на хую библиотеки даже не задумываясь о математике. Вот и не знаю что именно то блядь учить. Как вариант начать с другого конца - именно с юпитеров, уроков по DS и потом в случае чего уже подтягивать знания. Но тут господа только между собой сраться на пол треда горазды, хотя казалось бы нахуй их срач тут вообще кому-то сдался. А что-то посоветовать просишь, все игнорят.
Аноним 13/03/20 Птн 01:33:23 1631772398
>>1631769
Вроде есть курс от яндекса математика для анализа данных на курсере такой вроде есть.
Аноним 13/03/20 Птн 01:36:06 1631774399
>>1631765
Не пугают, меня смущают скорее какие-то немотивированные нагромождения из настаканных трансормеров.
Аноним 13/03/20 Птн 01:40:20 1631778400
>>1631774
Пока добавление слоев работает исследователи будут это использовать. В принципе есть модели seq2seq с RNN и аттеншоном, но они долго обучаются из-за множества последовательных операций, в этом смысле трансформер гораздо эффективнее.
Аноним 13/03/20 Птн 01:54:56 1631784401
>>1628272
Аноны, так ответит кто-нибудь? В чем там проффит многослойности основной?
>>1631778
Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе?
Аноним 13/03/20 Птн 01:55:29 1631785402
Алсо, аноны, позволительно ли добавить данных после начала обучения, это не приведет к пиздецу?
Аноним 13/03/20 Птн 01:58:06 1631786403
>>1631738
bump
Ещё вопрос: какие есть аналоги CountVectorizer для multi-class classification? Есть TF-IDF, а ещё? Есть ли какие-нибудь похожие векторные представления для BERT/RoBERT/..., чтоб я всё смог скормить это SVM-у?
Аноним 13/03/20 Птн 01:58:14 1631787404
>>1631769
>Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу.
Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.

Нет, предел последовательности тебе конечно для ML не особо нужен, можно интуитивно, блядь, понимать, что такое градиент, но... чувак. Эту хуйню школьникам в семнадцать лет дают.
Аноним 13/03/20 Птн 02:00:51 1631789405
>>1631785
Так себе это. Обучение нейросетки больше похоже на высекание скульптуры из камня, есть изначальный шум, из него прорисовываются контуры будущей математической функции. Соответственно когда ты из камня высек девочку, а к тебе пришел заказчик, и сказал, что это должна быть венера с огромными сиськами, а у тебя уже материала нет.
Но если тебе повезло и новые данные в целом близки по распределению к старым, то немного дообучить можно.
Аноним 13/03/20 Птн 02:03:10 1631791406
>>1631789
Ну там данные в целом близки по распределению, мне просто вручную размечают текст, он из того же источника, с тем же шрифтом.
Аноним 13/03/20 Птн 02:05:59 1631793407
>>1631784
>В чем там проффит многослойности основной?
Выше скор
>Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе?
Гораздо
Аноним 13/03/20 Птн 02:07:10 1631794408
>>1631763
>Это что, реально самое простое что работает?
Кому-то и собака работает
>Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Каждый день читаешь arxiv-sanity в поисках идей, тестишь эти идеи. Желательно не один, потому что один сильно заебешься. Потом собираешь все идеи в большую кучу, и при должном везении получаешь новый state of art. Сами по себе идеи как правило простые. Сложно их притесать друг другу так, чтобы они не подсирали. Для этого нужно понимать, что происходит. BERT совсем несложен, это просто тонна настеканных аттеншенов. Лично мне тяжелее понять как работает лосс в вариационном автоэнкодере, а совсем шаманство - это GAN'ы. Аттеншены стали хайповой темой после сверток, почему - есть свои причины.
У того, что сетки глубокие - тоже есть причины.
Аноним 13/03/20 Птн 02:09:50 1631796409
>>1631793
А можно где глянуть сравнение?
Хм, может и свою модель для OCR
Аноним 13/03/20 Птн 02:10:13 1631797410
>>1631796
> Хм, может и свою модель для OCR
переделать*
Пиздос, спать пора, уже слова забываю дописать.
Аноним 13/03/20 Птн 02:11:47 1631798411
>>1631791
Я бы не стал даже думать в эту сторону.
Основная проблема у этой хуйни даже не то, что оно хуже работает, оно еще и хуево воспроизводимо. То есть одно дело, когда у тебя есть датасет, и ты знаешь, что если ты проебешь модель, ты с нуля возьмешь и натренируешь тот же перформанс. А другое дело - когда у тебя хуй пойми по какой процедуре тренированная сетка. На каком-то этапе ты решишь все-таки тренернуть с нуля (например, модель потолще взять), а тебя перформанс дроп, а причины ты вообще не ебешь, потому что невоспроизводимо и A/B тестирование хуй проведешь.
Аноним 13/03/20 Птн 02:15:19 1631801412
>>1631798
Окей, тогда не буду.
Аноним 13/03/20 Птн 02:19:19 1631803413
>>1631784
>Аноны, так ответит кто-нибудь? В чем там проффит многослойности основной?
Ты в слове deep learning слово deep совсем не заметил? В многослойности вообще весь профит. Больше слоев - более выразительно сложные модели, которые при этом легче оптимизируются по определенным причинам
>Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе?
Рекуррентные сети неэффективны из-за того, что для их тренировки ты их все равно раскручиваешь в feed-forward сеть, но с одними и теми же параметрами в каждом чанке

Т.е. сетка y=rnn(w, x) при обучении разворачивается в y=rnn(w, rnn(w, rnn(w, rnn(w, rnn(w, x)))))

При этом нерекуррентная сетка типа

nn(w1, nn(w2, nn(w3, nn(w4, nn(w5, x)))))

Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему), а число флопсов в целом такое же. Поэтому смысла в рекуррентных сетках на видюхах нет и мода на них ушла года 3 назад. Сначала их вышибло из распознавания образов, но только потому, что локальность рецептивного поля у сверток удобна для задач компьютерного зрения. Но для языка свертки сосут, потому что в язык нихуя не локален сам по себе. Поэтому там чуть подольше задержались RNN, которые в конце концов убрали на основе идеи развернуть рекуррентую сетку в длинную колбасу, но без сверток, а с помощью attention'ов. Вот так и появились все эти трансформеры
Аноним 13/03/20 Птн 02:25:57 1631806414
>>1631803
> Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему)
Ну это я понимаю, еще число операций со всеми этими LSTM очень большое, что мне не очень всегда нравилось.
Тогда и правда пойду менять в своей модели seq2seq на трансформер, буду с CNN в него экстрактить признаки.
Аноним 13/03/20 Птн 02:30:42 1631807415
Аноним 13/03/20 Птн 02:37:06 1631811416
Аноним 13/03/20 Птн 03:45:34 1631825417
>>1631811
Без пейпера ты пупи
Аноним 13/03/20 Птн 04:48:51 1631836418
bg.png (31Кб, 778x960)
778x960
>>1631778
> Пока добавление слоев работает исследователи будут это использовать.
А когда-то над этой картинкой смеялись...
Аноним 13/03/20 Птн 05:08:30 1631841419
>>1631836
Она и сейчас смешная. Особенно оси на нижнем графике, каждый раз когда смотрю хайрез ржу
Аноним 13/03/20 Птн 05:50:26 1631848420
>>1630727
>You should preinstall Microsoft Visual Studio (VS)
Ну пиздец. Чем дальше в лес, тем больше дерьмом надо засирать пека. Кудкуда не будет без вижуал студио работать штоле? Нахуя ей студия?
Я уже охуел.
Это говно вон всем довольно и так на вид
>tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
Аноним 13/03/20 Птн 06:07:25 1631851421
>>1631848
>шиндошс
Земля тебе пухом, братишка.
>куда не будет без вижуал студио работать штоле
Куде нужен компилятор с++. Не уверен, правда, что он нужен для тензорфлоу
Еще есть visual studio build tools, типа все для билда студийных проектов без самой студии. Я как-то юзал на некропк, на котором не было нужного для студии место на hdd

Тебе для твоей задачи проще google colab заюзать
Аноним 13/03/20 Птн 06:34:51 1631856422
>>1631851
>Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 6281 MB memory) -> physical GPU (device: 0, name: GeForce RTX 2070 SUPER, pci bus id: 0000:02:00.0, compute capability: 7.5)
Вроде, и так завёлся. Видимо, студия нинужна.
Ну, теперь осталось понять КАК ОБУЧАТЬ.
Индусокод работает, только обучение в нём отсутствует.
Видимо, придётся брать что-нибудь случайное под тензорфлоу и смотреть что будет.
Аноним 13/03/20 Птн 06:56:15 1631858423
>>1631856
>Индусокод работает, только обучение в нём отсутствует.
Хм, ты прав.
Обучать сетки в керасе легко, в созданной модели ты сначала ее компилируешь с нужным оптимизатором https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L50 - две строчки отсюда

Потом вызываешь у нее либо метод fit, который принимает 2 параметра, либо fit_generator (а еще train_on_batch), который принимает коллбэк, в котором ты возвращаешь через yield по кусочку датасет https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L64

Первый вариант удобен, но тогда весь датасет должен влезть в оперативку, либо хотя бы в свопфайл, другие варианты более гибкие

Собственно и все. После этого на обученной сетке делаешь save_weights/load_weights, чтобы не проебать веса, а затем вызываешь predict

Данные в fit кормишь в виде numpy массива следующего shape'а: [число_примеров, длина, ширина, число_цветов].
Аноним 13/03/20 Птн 08:04:39 1631872424
152410065216159[...].jpg (35Кб, 483x604)
483x604
>>1631858
Мхех. Ну, может что-то и получится.
Аноним 13/03/20 Птн 09:43:17 1631894425
>>1631787
>Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.
Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижали
>>1631772
Спасибо
Аноним 13/03/20 Птн 13:26:32 1631991426
>>1630616
Кому не нужны? Жидам-дельцам из бизнеса?
Если так рассуждать, то не нужен никто кроме таксистов, сантехников, электриков и юристов. Программисты тоже не нужны. Жили без них раньше, проживем и еще столько же
Аноним 13/03/20 Птн 13:50:27 1632008427
15831921958170.png (63Кб, 390x470)
390x470
>>1631991
> 2020
> спорить с кефирщиком - плоскоземельным шизлом, утверждающим что во швятые экспертные системы никто не верует из-за мирового заговора жидомасонов, которые скрывают эффективность ЭС
Аноним 13/03/20 Птн 14:43:09 1632085428
ИТТ сильно горят анальники, которые держат в себе свое ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ как какашечку и не хотят смотреть на мир шире, потому что это выведет их из зоны комфорта. Как там, какашечка не давит на ваши геморройные узлы?
Аноним 13/03/20 Птн 15:22:02 1632130429
153055668116758[...].jpg (50Кб, 700x366)
700x366
>>1631991
>Программисты тоже не нужны
Вот швабропидарахи сами записали погромистов в илитарии и интеллигенцию, сами на это и надрачиваю, такой вот манямирок построили. Но мы то знаем, что это не так.
>>1632008
Твой черный ящик выдающий рендомную хуйню не нужен тем более.
Аноним 13/03/20 Птн 15:27:34 1632132430
>>1632130
>Вот швабропидарахи сами записали погромистов в илитарии и интеллигенцию
Всегда была только одна элито - андеграундные реверс-инженеры и хакеры. Куда бы себя швабропидарахи ни записывали - элито они от этого не станут

https://github.com/zzz66686/simple-virtual-machine/blob/master/VM_crackme/vm_crackme.cpp
Аноним 13/03/20 Птн 16:05:21 1632165431
Коммерческая разработка это говно. Обновляйте свои jsonb в постгре, собирайте датасеты годами. Несмотря на жопочасы, потраченные на фарм бабла, вы никогда не сможете разреверсить защиту с виртуализацией кода и никогда не разберетесь, почему тор изоморфен эллиптической кривой. Вы ненастоящие программисты, вы быдло, батраки.
Аноним 13/03/20 Птн 16:24:47 1632190432
>>1632130
В машобе есть интерпретируемые методы
Аноним 13/03/20 Птн 16:28:36 1632197433
>>1632165
Двачую настоящие программисты вбивают программы в перфокарты
Аноним 13/03/20 Птн 18:45:50 1632307434
>>1632165
>Коммерческая разработка это говно. Обновляйте свои jsonb в постгре, собирайте датасеты годами.
Ну, в общем смысл в шизовысере есть: если хочешь поднатореть в мл не нужно идти в большие компании, там до одурения просто будешь селектики писать, а ни к чему релевантному наверное даже подойти не дадут.
Аноним 13/03/20 Птн 19:02:40 1632331435
>>1631894
>Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижали
Как видишь, унижать тебя никто не прекратил бггг.
Тогда начни с этого чувака https://www.youtube.com/watch?v=ZmwdHAhVsPM
Точнее, там цикл лекций, можешь с первой начать. Это матан для школьников, проще уже некуда
Аноним 13/03/20 Птн 19:08:14 1632339436
>>1632008
Да ладно, это же perfect match, инь и ян практически, два шизика с полярной шизой
Аноним 13/03/20 Птн 19:16:19 1632350437
>>1632331
почему все так любят этого душного, всратого математика? неужели на всем ютубе не нашлось экземляра получше?
Аноним 13/03/20 Птн 19:19:22 1632353438
>>1632350
Это ты душное одноклеточное, судящее людей по внешности. А он охуенный, да и если говорить о всратости, тянки по таким текут
Аноним 13/03/20 Птн 19:20:40 1632354439
>>1632353
боря, ты? Я узнал тебя по твоим шизоидным словам и высерам.
Аноним 13/03/20 Птн 21:02:33 1632427440
>>1632353
Саббатонов есть, но он всю эту мошонную петушню вроде не жалует.
Аноним 13/03/20 Птн 23:29:24 1632535441
Антоны, чет я начал копаться в теме трансформеров и гуглить решения и пока не понимаю, как им можно скормить признаки с CNN?
Все решения что нахожу создаются для перевода с языка на язык.
Аноним 13/03/20 Птн 23:53:31 1632546442
1
Аноним 14/03/20 Суб 00:28:31 1632556443
>>1632535
Вот например, нужны ли мне вообще эмбеддинги или выкинуть эту часть из оригинальной архитектуры?
Аноним 14/03/20 Суб 00:44:50 1632565444
>>1632556
Вместо эмбеддингов у тебя фичи cnn. Главное сплющи высоту до 1, оставь только ширину и каналы
Аноним 14/03/20 Суб 09:17:55 1632647445
Анончики, а как найти коэффициент корреляции между количественным и качественным столбцом? Или между качественным и качественным? В интернете, вроде, пишут, что для этого можно использовать stats.pointbiserialr, но он всё равно выдаёт TypeError.
Аноним 14/03/20 Суб 12:08:45 1632699446
>>1632647
На листочке можно найти.
Аноним 14/03/20 Суб 12:37:20 1632720447
1584178637598.png (919Кб, 1579x1056)
1579x1056
>>1631858
Продолжаю держать в курсе™, почему бы и нет.
SRCNN-keras нихуя не заводится нормально. За три дня с питоном не подружиться, чтобы понять в чём дело.
Попробовал ради эксперимента обучить шумным сетом вот эту штуку https://github.com/jiny2001/dcscn-super-resolution
Само то для даунов-вкатывальщиков.
Не понял как и можно ли вообще скормить ей изображения парами.
Шум от только одного сета, очевидно, генерироваться не начал.
Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.
Думою дальше.
Аноним 14/03/20 Суб 16:42:02 1633004448
>>1632699
блядь, там в датасете больше 100 столбцов. На листочке блядь я заебусь.
Аноним 14/03/20 Суб 17:04:11 1633017449
>>1633004
подсчитай взаимную информацию
Аноним 14/03/20 Суб 18:26:22 1633077450
>>1632647
Никак.
machinelearning.ru/wiki/images/e/e7/Psad_corr.pdf - про категориальные.
Категориальный-численный - дисперсионные анализом.
Аноним 14/03/20 Суб 18:35:43 1633085451
>>1633077
Ебать, и как тогда датасаентисты оценивают корреляцию? Пиздос какой то, как вы так живёте
Аноним 14/03/20 Суб 23:19:56 1633262452
>>1632720
>Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.
Конечно пары. На вход и на выход. Для этого у функции fit есть два параметра, data и label. Наименования для классификации, в твоем случае это просто вход и выход. А ты как хотел?
Аноним 14/03/20 Суб 23:20:41 1633264453
>>1632647
Преобразовать качественный в количественный, очевидно же
Аноним 15/03/20 Вск 04:04:32 1633541454
>>1632565
Я стакал признаки по высоте в прошлый раз и подавал их в seq2seq декодер в attn_states.
Вот с трансформером не очень понятно, как их подавать, прочитал пейпер, посмотрел на имплементации архитектур на гитхабе.
Тут на входе в энкодер есть Q, K, V, это 3 размерные тензоры (N, T1, d_model), как мне сконвертить CNN выход в этот формат?
Извини, если вопрос глупый
Аноним 15/03/20 Вск 04:05:54 1633542455
>>1633262
А это что и нахуя?
>val_data, val_label
Аноним 15/03/20 Вск 04:18:04 1633543456
>>1633542
Набор для тестирования - по нему не идет тренировки, а просто замеряется перформанс
Аноним 15/03/20 Вск 04:41:29 1633544457
>>1633541
https://github.com/google-research/bert/blob/master/modeling.py#L441

Видишь input_vector у эмбедингов это input_tensor: float Tensor of shape [batch_size, seq_length, embedding_size].

У тебя вместо этого будет input_tensor: float Tensor of shape [batch_size, seq_length, number_of_cnn_channels]

Соответственно вот тут https://github.com/google-research/bert/blob/master/modeling.py#L131 тебе нужно выкинуть нахуй embedding_lookup, передав в embedding_postprocessor непосредственно выхлоп CNN

Про Q, K, V в этом коде тоже есть.

Возможно где-то я написал хуйню, это все чисто навскидку. Можешь поискать конкретный пейпер, где есть переход CNN->transformer.
Аноним 15/03/20 Вск 05:16:55 1633548458
>>1633085
Мы просто знаем, что такое корреляция и когда её считать нужно, а когда нет, в отличие от некоторых.
Аноним 15/03/20 Вск 05:19:45 1633549459
ce8.jpg (112Кб, 268x400)
268x400
Дожили. Человек не знает, что такое трансформер и в чём идея механизма внимания, и просто пытается хуярить слои. Ну а чо, сама обучится, понимать ничего не надо, надо код писать.
Аноним 15/03/20 Вск 05:27:26 1633550460
>>1633549
>Ну а чо, сама обучится, понимать ничего не надо, надо код писать.
Ну вообще-то да. Понимание приходит в процессе решения задач, а не теоретизирования на двачах. Это касается практически любой сферы деятельности, за редким исключением, типа хирургии, где цена ошибки слишком дорога. Ты просто сам по себе сраный прокрастинатор, который нихуя не умеет и пытается оправдать это неумение подобным подпездыванием
Аноним 15/03/20 Вск 05:35:49 1633552461
>>1633550
Понимание приходит многими путями. Например, путём изучения наследия древних, хотя бы стэнфордского курса по сетям, где вопрос применения механизма внимания к изображениям (в контексте задачи image captioning) вполне себе рассмотрен.
Аноним 15/03/20 Вск 05:51:56 1633555462
>>1633552
Или я что-то пропустил, или нет там про трансформеры с multi-head attention, там сетки CNN->RNN из 2016.
Аноним 15/03/20 Вск 11:09:31 1633648463
>>1633264
И как? Не делать же на каждое значение качественного столбца отдельный столбец булевского типа. Я тогда заебусь для каждого значения отдельно смотреть корреляцию.
Аноним 15/03/20 Вск 11:20:44 1633654464
Аноним 15/03/20 Вск 14:49:32 1633766465
>>1633555
Так там можно прочитать, как применить attention к выходу cnn, а дальше уже применить это в своём трансформеры. От того, что голова там всего одна и используется rnn, суть не меняется.
Аноним 15/03/20 Вск 14:54:02 1633773466
Аноним 15/03/20 Вск 15:00:28 1633779467
>>1633766
Ну вообще-то меняется, похоже, что ты сам не очень понимаешь работу трансформера.
Анон выше уже писал, что с rnn у него получилось.
Аноним 15/03/20 Вск 15:10:50 1633795468
>>1633654
Это глупость или троллинг?
Аноним 15/03/20 Вск 15:29:51 1633803469
>>1633773
>>1633779
Ну и что же там меняется? Теперь нужно нарезать картинку на квадратики и считать сходство не между выходом рнн и квадратиком, а между самими квадратиками, вот прямо великое изменение!
Аноним 15/03/20 Вск 15:40:30 1633810470
>>1633803
В cs231n - attention gate. В трансформере - scaled dot-product attention (с Q, K и V)
Может, одно к другому и сводится, но мне это нихуя не очевидно, например
Аноним 15/03/20 Вск 16:00:59 1633823471
1xTsPvpVq7Q.jpg (278Кб, 730x960)
730x960
Вкатывальщики и поопытнее, помогите переделать свёрточную сетку с кераса на торч, пожалуйста.
https://www.codepile.net/pile/7ne7Xe4j

Вопросы именно к содержимому Conv2d(), а также аналогам flatten и dense в торче. Я правильно понимаю, что они просто линейными слоями заменятся?
Спасибо.

В помощь:
https://discuss.pytorch.org/t/using-linear-layers-new-user-transfering-from-keras/4400/5
https://discuss.pytorch.org/t/pytorch-equivalent-of-keras/29412
Аноним 15/03/20 Вск 16:03:36 1633826472
>>1633810
Какая нахуй разница, по каким формулам оно считается? Там хоть сиамскую сеть можно засунуть для подсчёта спора для q и k, только это нахуй не нужно. Важно, что объект состоит из примитивов, у каждого из примитивов есть k и v. Дальше поступает q, мы считаем коэффициенты si = s(q, ki) и получаем z = sum(si * vi). В image captioning в качестве q выступает выход rnn, в трансформере - считается по примитивам. Соответственно, при использовании аттеншона нужно разделить объект на примитивы: для текстов это делается очевидно (слова), для изображений - можно нарезать на квадратики выход слоя cnn.
Аноним 15/03/20 Вск 16:11:31 1633829473
>>1633823
Flatten в pytorch нет, но пишется в 3 строчки.
Dense - это Linear.
Аноним 15/03/20 Вск 16:14:28 1633831474
Аноним 15/03/20 Вск 16:20:40 1633835475
Аноним 15/03/20 Вск 16:21:36 1633836476
>>1633835
Это не слой а функция
Аноним 15/03/20 Вск 16:23:16 1633837477
Аноним 15/03/20 Вск 16:35:00 1633841478
>>1633837
Ну вот первый слой.
Керас:
model.add(Conv2D(filters=32, kernel_size=(3, 3), padding='SAME', input_shape=(img_size, img_size, 3), activation='relu'))

В торче будет:
nn.Conv2D(1, 32, kernel_size=(3, 3), bias=False),
nn.ReLU(),
Или я что-то упустил?
Аноним 15/03/20 Вск 17:14:12 1633868479
>>1633826
>Какая нахуй разница, по каким формулам оно считается?
Потому что это обсуждаемый вопрос, как из фич CNN получить K, Q и V. Ответ есть в этом коде https://github.com/google-research/bert/blob/master/modeling.py#L558 - простой маппинг полносвязными слоями (в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобе).
А тебе нужно научиться формулировать мысли, сейчас выходит очень хуево.
Аноним 15/03/20 Вск 18:45:44 1633934480
chrysippus.jpg (28Кб, 229x343)
229x343
>>1633868
>простой маппинг полносвязными слоями
Понятно, что полносвязными слоями, это, блядь, ещё в attention is all you need чёрным по белому написано. Но это просто рекомендация, так-то можно вообще многослойную сеть заебенить, только это нахуй не нужно.
Аноним 15/03/20 Вск 19:15:41 1633948481
>>1633654
Разве это никак не отразиться на результате корреляции? По моему, она будет не правильной
Аноним 15/03/20 Вск 19:32:19 1633954482
>>1633948
Конечно она будет неправильной, потому что корреляция можно посчитать только для количественных величин. Сам подумай, что она измеряет, и как это натянуть на включенные битики
Аноним 15/03/20 Вск 19:54:07 1633964483
>>1633948
Я уже писал тебе, что само понятие корреляции в твоём случае бессмысленно. Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно.
Аноним 15/03/20 Вск 20:03:41 1633970484
158299533717585[...].png (5161Кб, 2048x1446)
2048x1446
>>1614936 (OP)
Ну как там нейро ИИ? Уже всех подебил?
Аноним 15/03/20 Вск 20:05:06 1633973485
>>1633970
Главное не бухтеть
Аноним 15/03/20 Вск 20:48:52 1633993486
>>1633964
>Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно.
Да, именно это я хотел узнать. Есть ли зависимость между каким нибудь входным признаком и выходным, что бы слабозависимые признаки выкидывать. В интернетах сказано, что для этого находят коэффициент корреляции.
Аноним 16/03/20 Пнд 00:42:23 1634084487
>>1633993
Тебе нужно превратить категории в биты и у полученного многомерного облака точек сделать pca. Как вариант
Аноним 16/03/20 Пнд 01:07:30 1634085488
>>1633993
А зачем тебе собственно выкидывать, у тебя модель есть уже? Если нет то обучай и тогда уже смотри, попробуй обучить модель без этого признака и сравни результаты или посчитай feature importance, разных методов выкидывания фичей изобретено до жопы тоже. Сама по себе корреляция тебе ничего не скажет потому что даже слабоскореллированные признаки могут давать прирост к качеству как дополнительный фактор.
Аноним 16/03/20 Пнд 08:27:35 1634140489
>>1634084
Хорошо, спасибо, посмотрю

>>1634085
Стлобцов дохуища. Больше 100. Если ещё категориальные данные приводить к битовому виду, то вообще количество столбцов за 500 переваливает.
Аноним 16/03/20 Пнд 09:04:39 1634148490
Аноним 16/03/20 Пнд 09:06:20 1634149491
>>1634148
Dataset trainingSet = new Mnist.Builder().setUsage(Usage.TRAIN) ... .build();
Dataset validateSet = new Mnist.Builder().setUsage(Usage.TEST) ... .build();
TrainingConfig config = setupTrainingConfig();
try (Trainer trainer = model.newTrainer(config)) {

Больше букв богу букв
Аноним 16/03/20 Пнд 13:01:21 1634243492
>>1633868
>>1633934
А что вообще такое "маппинг полносвязными слоями"?
Аноним 16/03/20 Пнд 14:08:30 1634278493
>>1634148
Чем это отличается от DL4J, которому уже много лет, а ты о нем даже не слышал? Почему джависты думают, что глубинном обучении язык имеет значение?
Аноним 16/03/20 Пнд 14:54:23 1634324494
Кто-нибудь знает штуку по типу суперрезолюшена только которая из движущего мыльного изображения делает одну четкую картинку. Просто не помню как это называется. Интересует готовое решение
Аноним 16/03/20 Пнд 15:52:29 1634373495
Знатоки нлп, а что за DSSM скажете, старьё или работает?
Также плиз почему берты с трансформерами, раз уж они так хороши, не запускают на посимвольном энкодинге?
Аноним 16/03/20 Пнд 17:26:40 1634455496
>>1634373
Вычислительная сложность растет в разы.
Аноним 16/03/20 Пнд 19:01:37 1634497497
2FSG.jpg (285Кб, 599x839)
599x839
Не, ну, это успех.
Аноним 16/03/20 Пнд 19:11:03 1634499498
>>1633868
> в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобе
А можно немного поподробнее? Насчет применения dense я понял, это еще было видно в проекте, где предсказывали временные последовательности, правда там и на выходе dense слой запихнули.
Алсо, в остальном кодом из этого проекта можно пользоваться, если выкинуть часть с эмбеддингами и лэйблы в нужный формат привести? Эта реализация немного отличается от официальной реализации от авторов пейпера в tensor2tensor.
Аноним 16/03/20 Пнд 21:39:36 1634604499
>>1634499
Хотя, судя по этому пейперу все верно и можно использовать просто полносвязный слой https://res.mdpi.com/d_attachment/applsci/applsci-08-00739/article_deploy/applsci-08-00739.pdf
Тут вообще использовали пулинг, полносвязный слой и relu и подавали на декодер разными способами.
Bert, насколько я понял, использует только энкодер. Надеюсь, что не придётся писать много лишнего кода, дабы это все заработало вместе
Аноним 16/03/20 Пнд 21:56:09 1634612500
>>1614936 (OP)
Как дела, петуханы? Еще на мороз не выгнали?
Аноним 16/03/20 Пнд 22:04:03 1634614501
>>1634612
Ямбексопетух, под шконку
Аноним 16/03/20 Пнд 22:10:50 1634617502
>>1634614
>под шконку
Но там все места заняты нейропетушками
Аноним 16/03/20 Пнд 22:15:39 1634619503
>>1634612
Почему именно в этот тред заходит так много сумасшедших?
Аноним 16/03/20 Пнд 22:25:06 1634621504
>>1634619
Подобное притягивает подобное.
Аноним 16/03/20 Пнд 23:56:25 1634651505
>>1634617
Ничего, ты в ОПЕНСПЕЙСЕ привык, залезай
Аноним 17/03/20 Втр 04:10:23 1634712506
>>1634243
>А что вообще такое "маппинг полносвязными слоями"?
Если у тебя есть вектор размера N и тебе нужен вектор размера M, то самое простое, чтобы превратить одно в другое, это умножить его на матрицу, ака dense-слой с матрицей весов размера [N, M].
То есть yoba_sized_m = Dense(size=M)(yoba_sized_n)
Это маппинг, то есть проекция N-мерного вектора на M-мерное пространство.

Для self attention тебе из входных данных нужно получить 3 тензора, K, Q и V, и у них должны быть специфические размеры, чтобы сработала формула механизма внимания, та, которая софтмаксом. Самый простой способ здесь это отмапить входные данные. Но вообще можно хоть целую нейронку добавить, которая будет тебе делать K, Q и V из входа.

>>1634499
Dense-слой можно рассматривать как частный случай сверточного, у которого width и height фильтра равны габаритам твоего входного центра, padding указан valid. В этом случае входной тензор размера [IN, WIDTH, HEIGHT] будет обработан фильтром размера [IN, OUT, WIDTH, HEIGHT] на выходе будет тензор размера [OUT, 1, 1]. Это эквивалент Flatten'а ( [IN, WIDTH, HEIGHT] = > [IN x WIDTH x HEIGHT] ) с последующим применением Dense(Out) - (размер на выходе - [Out]) и затем дважды expand_dims чтобы сделать [OUT, 1, 1], что вообще не обязательно, но так ты добьешься полной эквивалентности.
То есть Dense слой - это такая свертка с максимально возможным размером фильтра и соответственно нулевой пространственной инвариантностью.

Это может быть сильно лишним, если у тебя есть какая-то локальность. Например, в OCR у тебя для отдельных букв требуется чтобы каждая буква попадала в рецепторное поле нейрона, но не более того, тебе не нужно мапить весь огромный тензор фич на K, Q, V используя огромный dense-слой. Пусть с дальними взаимодействиями разберается уже attention-слой.

Поэтому вычислительно легче сделать что-то типа

K = Conv(filter_count=n_k, filter_width=порядка размера буквы, stride = четверть размера буквы)
Q = Conv(filter_count=n_q, filter_width=порядка размера буквы, stride = четверть размера буквы)
V = Conv(filter_count=n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)

Но для ускорения процесса можно сделать

mapper = Conv(filter_count=n_k+n_q+n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)

А затем уже поделить тензор mapper на 3 тензора, K, Q и V. Это эквивалентно.

Аноним 17/03/20 Втр 04:39:40 1634714507
>>1634651
>залезай
Не, не полезу я к вам
Фарту свертке ауе Аноним 18/03/20 Срд 08:44:01 1635692508
15816866785900.jpg (21Кб, 450x353)
450x353
Там Греф личные данные рабсиян решил зекам предоставить в качестве датасетов + зеки же будут эти ваши нейроночки обучать.
> Сбербанк 4 марта собирался торжественно подписать соглашение с Федеральной службой исполнения наказаний. Однако по техническим причинам само подписание было перенесено на более поздний срок. Тем не менее, как стало известно “Ъ”, сам проект начал работать.
> По словам сразу нескольких источников “Ъ”, знакомых с реализацией проекта, его суть заключается в том, что осужденные обучают искусственный интеллект распознавать рукописный текст и детали изображения. Этот проект осуществляется в одном из учреждений ФСИН в Новосибирске.
> По его словам, на распознавание группе осужденных выдаются обезличенные данные либо изображения, которые необходимо разметить либо верифицировать. «Никаких рисков для клиентов Сбербанка этот проект не несет. Информация, которая будет предоставляться в работу людям, находящимся в исправительных учреждениях, не содержит никаких персональных данных, банковской или иной тайны, она обезличена, ее невозможно использовать для незаконной деятельности»,— пояснил он и добавил, что кандидатуры участников пилотного проекта подобраны местным управлением ФСИН, после чего проверены профильными службами Сбербанка.
https://www.kommersant.ru/doc/4291087
Аноним 18/03/20 Срд 11:03:04 1635764509
>>1635692
Так нормас идея, зеки будут размечать тысячи всякой хуйни
Аноним 19/03/20 Чтв 13:35:49 1636971510
15844476301010.jpg (77Кб, 640x366)
640x366
Я собственно, к чему >>1635692 это. Кто тут из зумеров вкатываться хотел? Садитесь на тюрьму, вас там нахаляву за счёт сбербанка вкатят и работу дадут.
Аноним 19/03/20 Чтв 20:49:37 1637392511
>>1614936 (OP)
Аноны, помогите пожалуйста советом. Изучаю ML около полугода, решил выполнить реальную задачу. Суть в том, что есть собранный датасет с физической активностью людей(есть дата и некий коэффициент активности(т.е. данные достаточно простые)). Нужно на примере одного человека построить функцию, которая при поступлении новых данных (при этом ранее обучившись на старых) могла сказать пользователю, достаточно ли он позанимался сегодня или нет. Я планирую использовать логистическую регрессию. Опытные аноны, подскажите пожалуйста, какой бы вы метод использовали для решения подобной задачи?
Аноним 19/03/20 Чтв 22:04:42 1637457512
Настройки X
Ответить в тред X
15000 [S]
Макс объем: 40Mб, макс кол-во файлов: 4
Кликни/брось файл/ctrl-v
Стикеры X
Избранное / Топ тредов