Программирование


Ответить в тред Ответить в тред

Check this out!
<<
Назад | Вниз | Каталог | Обновить тред | Автообновление
510 52 148

НЕЙРОНОЧКИ И МАШОБ ТРЕД №20 /ai/ Аноним 12/12/19 Чтв 01:09:02 15439691
a8e88459fc2d333[...].jpg (169Кб, 1600x800)
1600x800
xdata,P20scienc[...].png (55Кб, 582x636)
582x636
HLeb5i56400x400.jpg (15Кб, 240x240)
240x240
Slide1CoverArt.jpg (496Кб, 2212x1012)
2212x1012
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1515078.html

Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах

Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Аноним 12/12/19 Чтв 05:32:07 15440062
robert-kubica1.jfif (31Кб, 680x391)
680x391
file.pastor.jpg (302Кб, 1075x881)
1075x881
facesdetected5d[...].jpg (125Кб, 1100x550)
1100x550
Сап, нейробото

Решил я сделать простую программку на питоне, которая детектит лицо и возвращает изображение с выделенным прямоугольником лица.

делаю при помощи https://github.com/opencv/opencv/tree/master/data/haarcascades

так вот, это говно фейлит на, казалось бы, очень простых фото (пикрелейтед)

на последнем пике нашло только 1 "лицо"
Как это вообще настраивать, чтобы хотя бы на рандом фотке из поиска это работало?

Код этого дела:

faceCascade = cv2.CascadeClassifier(cv2.data.haarcascades + "haarcascade_frontalface_default.xml")
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.3,
minNeighbors=3,
minSize=(30, 30)
)

Возможно как-то параметры подкрутить и прочее хз

Разочаровался что-то, казалось бы, задачу уже хуй знает сколько лет изучают и обучили на тоннах материала, а оно фейлит на первых фотках из гугла
Аноним 12/12/19 Чтв 05:33:46 15440073
>>1544006
нейробоги*

И да, пробовал разные модели и пока ничего.
Аноним 12/12/19 Чтв 05:52:22 15440124
>>1544007
Кстати еще было бы круто, если кто что может посоветовать почитать, чтобы реализовать non-linear region для контура лица
а то из коробки эта штука возвращает мне только прямоугольник, а хотелось бы многоугольник более точный
Аноним 12/12/19 Чтв 07:15:54 15440195
>>1544007
Ты некролибу используешь. Ищи по слову yolo, уже много реализаций есть.
Аноним 12/12/19 Чтв 07:25:56 15440206
>>1544019
Спасибо, что гугл выдал из "стандарта" то и взял
Аноним 12/12/19 Чтв 10:08:45 15440567
153099803388.jpg (108Кб, 720x960)
720x960
>>1543969 (OP)
Анон, а как решать задачи на Kaggle?
Ну вот допустим, что Титаник и ещё пара базовых задач сделана, что дальше?
Участвовать в соревнованиях и закономерно обосраться из-за незнания кучи архитектур нейронных сетей? Смотреть уже решённые задачи? Всё вместе?
Аноним 12/12/19 Чтв 10:25:39 15440688
>>1544056
> Анон, а как решать задачи на Kaggle?
Autokeras
Аноним 12/12/19 Чтв 11:11:25 15440969
>>1544056
Табличные соревнования тащатся LightGBM
Аноним 12/12/19 Чтв 11:18:40 154410010
>>1544096
> LightGBM
А что, xgboost уже не в моде?
Аноним 12/12/19 Чтв 11:51:02 154413511
>>1544100
да, слишком медленный
Аноним 12/12/19 Чтв 15:30:27 154434812
linear.PNG (218Кб, 1920x1920)
1920x1920
Что по линейной алгебре почитать?
Аноним 12/12/19 Чтв 16:47:02 154442913
>>1544348
Найди какую-нибудь методичку по линалу любого вузика, там более чем достаточно материала чтобы понять машобчик.
Аноним 12/12/19 Чтв 17:13:13 154445014
Аноним 12/12/19 Чтв 17:13:21 154445315
1367504123272.jpg (59Кб, 400x600)
400x600
Аноним 12/12/19 Чтв 18:22:06 154451916
>>1544453
Что не так-то? Перемножение итд векторов и матриц, ну тензоров ещё - максимум что нужно себе представлять из линала чтобы понять нотацию. Даже какой-нибудь поворот матриц не нужен. Тут один клован писал что гамалогии нужны, на предложение привести пример слился, это не ты был?
Аноним 12/12/19 Чтв 21:38:15 154470317
>>1544006
>задачу уже хуй знает сколько лет изучают
>каскады хаара
как там в двухтысячном?
Найди предобученную нейронку. Попробуй чекнуть dlib, мб это подойдет http://dlib.net/cnn_face_detector.py.html ?
Аноним 13/12/19 Птн 00:23:21 154484518
>>1544068
>>1544096
То есть вместо того, чтобы самому разбираться и применять методики, вы предлагаете готовые решения?
Это толстота такая?
Аноним 13/12/19 Птн 00:31:48 154484819
>>1544845
С каких пор LightGBM готовое решение?
Аноним 13/12/19 Птн 02:32:34 154490620
>>1544845
> То есть вместо того, чтобы самому разбираться и применять методики, вы предлагаете готовые решения?
А ты сможешь сделать лучше, чем automl?
Аноним 13/12/19 Птн 03:28:22 154493821
>>1544348
Критерий нормального учебника - там должно быть SVD. В совковых учебниках этого как правило нет.
Аноним 13/12/19 Птн 03:44:00 154494422
>>1544519
>Что не так-то
Твоя совершенно уебанская поверхностность. Буквально вчера читал пейпер о прунинге, в котором из нейронки удаляли из линейно зависимые фильтры. Соответственно без знания всего линала на уровне ВУЗа, ты даже это предложение не поймешь, не то, что смысл подобных действий. А если знаешь, то можно пейпер даже не читать, идея-то уже описана.
Поворот так тем более нужен, потому что если ты не знаешь, что конкретно делает W*x в нейронке (линейное преобразование пространства, а поворот - частный случай, как и сверта), то шансов нормально работать у тебя минимум.
А так, если вместо пейперов читать только двачи, а зарплату получать мамкиным борщом - конечно нихуя не нужно.
Аноним 13/12/19 Птн 03:58:58 154494823
Антоны, я видимо совсем дегенерат тупой, направьте на путь истинный.
Сеточка на тензорфлоу валилась и жаловалась на недостаток памяти, когда я на маленьком датасете указывал количество батчей 32.
Позже, я поставил 8 и все было норм, она даже обучилась.
Собственно, я довёл датасет до 10к пикч и оставив количество батчей таким же думал, что чем больше их укажу, тем больше памяти она будет жрать.
Когда я указывал 6 батчей на новом датасете, то нейронка выжирала всю память и не обучалась.
Поставил 32 батча и сейчас все норм и loss идёт примерно так, как он и должен быть.
Где про все это можно почитать?
Аноним 13/12/19 Птн 04:09:15 154495124
>>1544948
Если есть жалобы на память, запусти nvidia-smi и убедись, что где-то не висит недобитый инстанс какого-нибудь питона, потому что так бывает - вроде все прибил, а на видюхе все еще память занята. В этой ситуации killall python поможет
Аноним 13/12/19 Птн 07:17:29 154496825
>>1544056
Просто берешь и участвуешь, без задней мысли.
Аноним 13/12/19 Птн 09:14:55 154498526
>>1544944
> читал пейпер о прунинге, в котором из нейронки удаляли из линейно зависимые фильтры.
В крайнем случае непонятное можно непосредственно догуглить по ходу чтения, целиком вузовские курсы в себя пихать не обязательно.
Аноним 13/12/19 Птн 09:27:59 154498727
>>1543969 (OP)
Сколько поели говнопрочитали пейперов аноны ИТТ с утречка?
Аноним 13/12/19 Птн 09:47:44 154499728
>>1544987
Ни одного, я покакол, если хочешь можешь навернуть
Аноним 13/12/19 Птн 10:17:06 154501329
>>1544997
>хочешь можешь навернуть
Хочу, я же учу математику
Аноним 13/12/19 Птн 13:15:48 154518130
>>1544951
Да я на гугл колабе делаю.
А вот как количество батчей влияет на обучение?
Аноним 13/12/19 Птн 16:25:27 154542031
>>1545013
> Хочу, я же учу математику
Кому ты пиздишь, зумер без мозгов? Твой предел возможностей в математике - счёт древних шизов. Ноль, целковый, чекушка и как там дальше.
Аноним 13/12/19 Птн 16:30:49 154542532
>>1544985
Это что-то уровня "английский знать необязательно, ведь словарь есть". Догугливать ты можешь только если у тебя хоть какой-то фундамент есть, и когда ты понимаешь хотя бы 90% пейпера.
У меня инженерное образование и были хорошие курсы матана и линала, а вот с теорвером у меня провал, и я это каждый день чувствую, потому что, даже освоив базу, нужно несколько лет для интуитивного понимания.
>целиком вузовские курсы в себя пихать не обязательно.
Обязательно. И чем раньше ты это сделаешь, тем лучше. Тот же курс линала вполне реально осилить за месяц.
Аноним 13/12/19 Птн 16:56:45 154546333
>>1545420
>Кому ты пиздишь
Ну покажи нам, как математики жрут говно.
Аноним 13/12/19 Птн 16:59:29 154546934
>>1545420
Петух, плиз. Теория вероятностей и матстат это завершенные области математики, в которых нет ничего нового. Этот раздел нужен только говноедам-прикладникам, которые размазывают несвежую статистику по своим ебальникам.
Аноним 13/12/19 Птн 17:04:36 154547635
>>1545469
А туда ли ты зашел, петушок? Пиздуй в свой шизозагон в /math/
Аноним 13/12/19 Птн 17:29:52 154550636
Ноль
Полушка
Чекушка
Пучок
Фричок
Гротендичок
Аноним 13/12/19 Птн 18:03:23 154553637
>>1545420
Твой матстат это тоже не математика. Сиди возле параши в /pr. Ах, тебя уже обоссали на вторую культуры.. какая жалость.. .
Аноним 13/12/19 Птн 18:13:35 154555338
>>1544948
Звучит так будто ты хранишь датасет в памяти или пытаешься запихнуть в нейронку картинки больше чем 512x512
Аноним 13/12/19 Птн 19:49:47 154562539
>>1545506

Хуй на воротничек
Дурачек
Аноним 13/12/19 Птн 19:53:58 154562840
>>1545625
Очередное быдло не знает русского языка
Аноним 13/12/19 Птн 20:51:59 154565441
>>1544906
Теоретически, да. К тому же в любом случае надо хотя бы как-то представлять как реiаются проблемы. Работодатель-то тебя будет брать, а не automl, и работодателю нужны твои компетенции.
>>1544848
Насколько я понял, просто применяешь его к датасету, он сам там всё делает. Поправь, если не так.
>>1544968
Поподробнее плёс. Вот я что-то знаю, чего-то не знаю. Как овладевать тем, что не знаю и как это применять? На сосаче особо не помогут.
Аноним 13/12/19 Птн 22:42:46 154574142
norma.png (254Кб, 1442x1060)
1442x1060
Норма вектора - это тупо квадрат гипотенузы?
Аноним 13/12/19 Птн 22:43:37 154574343
>>1545741
То есть, в смысле, не квадрат гипотенузы, а корень квадратный из суммы квадратов катетов.
Аноним 13/12/19 Птн 22:47:53 154574844
>>1545654
> просто применяешь его к датасету, он сам там всё делает
А как же фичи инжинирить? Гиперпараметры настраивать?
Аноним 13/12/19 Птн 22:56:00 154575645
>>1545743
>корень квадратный из суммы квадратов катетов.
Только математики смогли натянуть геометрию на... на что вы там ее натянули, на ИИ?
Аноним 13/12/19 Птн 23:01:10 154576446
>>1545756
Какая разница, кто кого натянул? Если применимо - почему бы не использовать? Тем более, у математиков есть аппарат, с помощью которого можно не изобретать колеса.
Аноним 13/12/19 Птн 23:03:10 154576947
>>1545764
Перестань кормить шизика
Аноним 13/12/19 Птн 23:59:28 154581148
>>1544703
Уже чекнул https://github.com/ageitgey/face_recognition
оно вроде на длиб основано тоже

>как там в двухтысячном?

соре, у меня проблемы с мотивацией
стараюсь мл потрогать через практические и полезные для меня подзадачи в моих проектах
Аноним 14/12/19 Суб 03:15:39 154591749
Аноним 14/12/19 Суб 17:41:54 154638050
Ребзя, я правильно понимаю? Есть два способа вкатиться в машоб:
1. Прочитать книгу Яна Гудфэллоу.
2. Вмазаться Питоном и накачать библиотек.
Аноним 14/12/19 Суб 18:33:32 154643051
Ещё можешь через нечеткую логику, гомологии и теоркат
Аноним 14/12/19 Суб 20:23:13 154656252
Антоны, как определить, когда сетка переобучается?
10к итераций назад она выдавала хоть и хуевые, но более нормальные результаты, чем сейчас, это все, переобучилась?
Аноним 14/12/19 Суб 23:09:17 154672953
Аноним 14/12/19 Суб 23:11:53 154673354
>>1546729
Сплошные индусы и китайцы.
Пиздец.
Аноним 15/12/19 Вск 01:13:20 154690355
>>1546729
Даун лол
еще бы курсеру скинул.
Аноним 15/12/19 Вск 07:11:53 154705756
software-develo[...].jpg (106Кб, 1000x1080)
1000x1080
>>1546733
> Сплошные индусы и китайцы.
Так лицо современного СЖВ-кринж-дайверсити айти.
- небелое сойбойское еблишко
- петушиная борода из барбишопа
- петушиный кукарек на голове
- петушиная клетчатая рубашка, как вариант - петушиная футболка с петушиным принтом (пакман, какой-нибудь петушиный айти юморок)
- петушиные лосины с подворотами, кедики, наушники, партаки
- петушиные очки
Аноним 15/12/19 Вск 09:38:33 154708457
Аноним 15/12/19 Вск 14:48:47 154724958
>>1546562
Короче, сетка выдает хуевые результаты на тестовом сете.
Попробую ей еще 10к данных пригнать и посмотреть, увеличится ли точность.
Аноним 15/12/19 Вск 19:15:59 154754959
>>1547249
Хотя, можно будет попробовать и на другой сетке, хоть там код под Питон придётся перепиливать.
Кому-нибудь ещё известны хорошие модели под OCR?
Я таки не понимаю, чому нынешняя модель не обучается, может из-за того, что в датасете есть разброс данных, где у одного класса 6к примеров, а у нескольких других меньше сотни.
Таки попробую у каждого класса под 60% дотянуть, а то точность в 33% - это совсем отстой.
Аноним 15/12/19 Вск 21:40:28 154767260
>>1547549
>под 60%
под 2к примеров на класс*
Аноним 15/12/19 Вск 23:11:34 154775161
Что почитать про логику?
Аноним 16/12/19 Пнд 03:24:40 154788062
>>1547549
Я ведь писал тебе почему у тебя не получится, а ты не слушал
Аноним 16/12/19 Пнд 10:53:04 154805163
Нужно найти косинусную близость двух русских предложений. Что лучше использовать в качестве эмбеддингов предложений?
Аноним 16/12/19 Пнд 11:15:27 154806164
Аноним 16/12/19 Пнд 11:18:07 154806265
>>1548051
>косинусную близость двух русских предложений
Через пифагороштанишное распределение попробуй, ну еще можно получить катет и гипотенузу предложения, а от туда косинус наизичах найдешь
Аноним 16/12/19 Пнд 12:06:01 154809266
>>1548051
StarSpace, конкретно sentence embedding оттуда. Вот насчёт русского текста не пробовал.
Аноним 16/12/19 Пнд 12:06:28 154809367
Аноним 16/12/19 Пнд 12:09:08 154809568
14384349270480.png (71Кб, 241x300)
241x300
Аноним 16/12/19 Пнд 13:58:12 154816769
Аноним 16/12/19 Пнд 16:44:08 154832870
Сап аноны. Есть те кто успешно вкатился или уже долго работают в этой теме? Сам я закончил айти специальность по направлению программная инженерия, есть небольшой опыт программирования на С#. Надоело писать на нем, хотел бы обучиться чему-то новому и прибыльному, выбор пал именно на машинное обучение. Но есть загвоздки, во-первых в процессе обучения ничего не рассказывали на эту тему, во вторых не очень сильная математическая подготовка. На разных формулах очень часто встречал такое мнение, что без профильного мат. образования делать в этой профессии нечего. Знающие аноны, посоветуйте плиз, стоит ли начинать развиваться в этом напралении?
Аноним 16/12/19 Пнд 16:54:34 154833271
>>1548328
>Знающие аноны, посоветуйте плиз, стоит ли начинать развиваться в этом напралении?
Поскольку это говно складно работает только в больном мозгу маняматиков, то да, матан тебе нужно подтянуть.
Аноним 16/12/19 Пнд 17:03:12 154834072
Аноним 16/12/19 Пнд 18:01:47 154838873
>>1548332
Товарищ жопеншмульцер вы сегодня таблеточки не забыли выпить?
Аноним 16/12/19 Пнд 19:00:45 154844874
>>1548051
ванхот вектор на н-граммах с лемматизацией, стеммингом и хешированием
ну или BERT
Аноним 16/12/19 Пнд 20:07:02 154853875
>>1548328
Образование не при чем, нужно быть не тупым. А это сильно не для всех
Аноним 16/12/19 Пнд 21:19:59 154865476
Аноны, хочу начать играть в keggle, получить практический опыт. Не совсем понимаю как лучше начать, смотрю как другие ребята решали данную проблему, совсем не могу понять. Может кто подсказать гайд либо видео где ПОДРОБНО разбирается ходя бы один пример (гуглил уже, есть годная статья на хабре где написано как начать, но нет разбора ниодного разбора). Также в шапке нашёл ссылку http://mltrainings.ru/ но там тоже нет разобранных заданий. Если нет материалов по детальному разбору, посоветуйте пожалуйста что лучше изучить (если есть возможность поделитесь ссылками)
Аноним 16/12/19 Пнд 21:41:41 154867777
>>1548654
Ты вообще ничего не понимаешь в машинке? Если что-то понимаешь попробуй надергать идеи из кернелов и подрезать мастера.
Аноним 16/12/19 Пнд 21:52:01 154869278
>>1548677
В том-то и дело, мало что понимаю. Я немного изучил, думал на практике разбирая задания быстрее научусь, но что-то так не катит. Не мог бы посоветовать минимум, изучив который можно приступить к этим играм(из того что представлено в шапке не хватает)? И опять же, если есть видео или гайды с полным разбором, поделитесь пожалуйста
Аноним 16/12/19 Пнд 23:03:54 154878179
Аноним 17/12/19 Втр 09:53:50 154909480
Насколько адекватным является обновление весов нейронки только в случае уменьшения лосса на тестовой выборке?
Аноним 17/12/19 Втр 11:02:48 154913581
Здаров пачаны, есть ли библиотека нейронок для Петухона в которой реализована нумерация связей между нейронами и возможность задать вес этой связи обратившись к ней по её номеру. Пробовал FANN2, но это говно перестали развивать да и нужной мне нумерации связей нема. Ваши предложения? Также оч нужен генетический алгоритм обучения.
Аноним 17/12/19 Втр 11:10:32 154913782
>>1546562
Сколько слоёв по сколько нейронов?
Аноним 17/12/19 Втр 11:20:31 154915083
>>1549094
Адекватно чему. Всё ведь зависит от задачи и требуемой точности. Если точность 100% то веса будут обновляться вплоть до полной сходимости. Но в таком случае высока вероятность переобученности.
Аноним 17/12/19 Втр 11:31:20 154916484
>>1549135
Хочешь связи генетическим алгоритмом настраивать? Смысла нет, никакого выигрыша не будет.
Аноним 17/12/19 Втр 12:03:03 154918585
>>1549164
Выигрыш будет, т.к. обратное распространение ошибки в моём случае не подходит. В датасете на входе не одно значение а последовательность. Т.е. пока вся последовательность не пройдёт через перцептрон результат на выходе не нужно сравнивать с требуемым в датасете.
Аноним 17/12/19 Втр 12:39:16 154923286
Аноним 17/12/19 Втр 13:11:55 154927887
>>1549232
Адаптивное моделирование?
Аноним 17/12/19 Втр 13:34:09 154931988
>>1549185
> В датасете на входе не одно значение а последовательность. Т.е. пока вся последовательность не пройдёт через перцептрон результат на выходе не нужно сравнивать с требуемым в датасете.
А ты не думал, что тебе нужен не перцептрон? Ну или как вариант, сам датасет переделать так что его можно будет перцептрону скормить. Все эти варианты в разы проще чем мутить то что ты собрался.
Аноним 17/12/19 Втр 14:10:25 154937289
>>1549278
Похоже, но вроде не то, спасибо
Аноним 17/12/19 Втр 14:20:43 154937990
>>1549232
>>1549278
>>1549372
Блин, надо было просто вбить прямой перевод Ассимиляция данных
Аноним 17/12/19 Втр 19:02:56 154956191
>>1549094
будет оверфит под тестовую выборку
Аноним 17/12/19 Втр 21:15:18 154968192
Анголы, обучаюсь в магистратуре по специальности информационная безопасность, параллельно с этим изучаю нейронки. Хотел бы написать диссертацию, в которой бы переплетались и ИБ и нейронки, но что-то не могу придумать такую тему. Может у кого-то есть интересные идеи?
Аноним 17/12/19 Втр 21:16:35 154968593
>>1549681
Извлечение алгоритма из отполиморфенного кода
Аноним 17/12/19 Втр 21:16:36 154968694
Аноним 17/12/19 Втр 21:23:13 154969495
>>1549685
Имеешь ввиду сделать нейронки которая определяет полиморфный вирус по тем вирусам, которые на него похожи?
Аноним 17/12/19 Втр 21:34:49 154970796
>>1549681
Написать самообучающийся вирус.
Аноним 17/12/19 Втр 22:09:13 154973597
>>1549707
Посмотрел Кремниевую Долину?
Аноним 17/12/19 Втр 22:15:31 154973698
>>1549694
Сделать нейронку, которая из обфусцированного отполиморфленного кода выделает оригинальный алгоритм, который был обфусцирован
Аноним 17/12/19 Втр 22:26:00 154973899
>>1549736
Не совсем понимаю что значит отполиморфленный код(что такое обфусцированный понимаю).
Аноним 17/12/19 Втр 22:26:16 1549739100
Поясните за BERT. Все говорят - прорыв, а по виду - всё та же идея "заебеним побольше аттеншона, attention is all you need", только для предобучения взяли другую задачу (вместо объектов - последовательностей слов и таргетов - последовательностей слов у нас теперь объекты - пары последовательностей слов и таргет - бинарный, "связаны ли они логически", плюс нужно восстановить эти последовательности слов).
Аноним 17/12/19 Втр 22:28:24 1549740101
Аноним 17/12/19 Втр 22:30:53 1549741102
>>1549740
В контексте вируса знаю, но не совсем понимаю как это может относится к каким-то обычным приложениям. Имею ввиду как может приложение самоизменяться, и при это сохранять нормальную работоспособность. Возможно есть какие-либо примеры?
Аноним 17/12/19 Втр 22:37:19 1549744103
>>1549741
Ну так тебе и предлагают вирусню восстанавливать.
Аноним 17/12/19 Втр 22:40:44 1549749104
>>1549744
Все, разобрался, спасибо
Аноним 17/12/19 Втр 23:24:29 1549778105
>>1549744
>вирусню
ИИ триппер
Аноним 18/12/19 Срд 08:00:33 1550039106
>>1549741
>>1549744
И вы почему-то считаете, что таким образом можно доказать что разный код делает одно и то же?
Аноним 18/12/19 Срд 08:44:26 1550044107
>>1549739
>Все говорят - прорыв, а по виду - всё та же идея
Не прорыв, не прорыв, успокойся, ты у мамы самый умный
Аноним 18/12/19 Срд 09:06:39 1550047108
>>1549739
>>1550044
Всё-таки гуглоподелиЯ для НЛП это излишняя сложность на ровном месте. Пейсбуковские проекты хороши тем, что просто поставил и пользуешься по назначению, можно даже и не знать что там какие-то нейросети бесовские. А этот ваш берт чтобы просто запустить, уже нужно пердолиться в слесарьплов, керас итд.
Аноним 18/12/19 Срд 09:16:14 1550052109
>>1543969 (OP)
Тред зовётся "нейроночки и машоб", а пикчи по Дата саенсу, это разве одно и то же, поясните?

Алсо, сложно сделать вкат в анализ данных? В ШАД пытался кто-нибудь поступить? Норм или потеря времени? Матан знаю, корочку имею
Аноним 18/12/19 Срд 09:31:57 1550058110
15744438343430.gif (170Кб, 326x281)
326x281
>>1550052
О, ежедневный зумер вкатывальщик! Куда ты вкатываться собрался, если не понимаешь, какая связь между датасаенсом и машобом?
Аноним 18/12/19 Срд 09:36:32 1550061111
>>1550058
Так я и спрашиваю поэтому, мог бы и ответить.
Аноним 18/12/19 Срд 09:56:22 1550071112
>>1550052
Нейронки кормят бигдатой.
Аноним 18/12/19 Срд 10:00:22 1550073113
>>1550047
Потому что гугл - это тф, фейсбук - это торч. И тф превратился в черти что. Какой-то франкеншейн, в котором есть как минимум 3 основных способа сделать что-то (старое апи, керас, при чем можно делать import keras, а можно делать import tensorflow.keras и это разные вещи, вплоть до невосместимости, если ты установил через pip другой керас, а еще есть эстимейтор апи, который нужен для кластеров, а еще есть иигер экзекьюшен, который вообще не ебу нахуй нужен), при чем все это еще и депрекейтится быстрее, чем ты успеваешь закончить проект.
Например, я столкнулся с тем, что та поддержка TPU, которая есть 1.13, уже помечена как депрекейдед и выпилена, но в новых версиях нужные функции (а именно fit_generator) просто не имплементировали.
Впрочем, торч тоже поебень та еще, но для в основном это примерно как линукс вс мак.
Аноним 18/12/19 Срд 14:10:50 1550225114
>>1549681
Анализ аномальной активности. Типа чел логинится откуда-нибудь из зимбабве или делает нетипичные действия, и надо автоматом выставлять красный флаг.
Аноним 18/12/19 Срд 14:13:59 1550230115
>>1550073
Sad but true. Tf че-то в последних 1.х релизах совсем заговнякали. А перекатывать всю кодовую базу на tf2 это опупеть можно.
Аноним 18/12/19 Срд 16:53:26 1550324116
>>1550230
>А перекатывать всю кодовую базу на tf2 это опупеть можно.
Для этого и нужны кодеры.
Аноним 18/12/19 Срд 17:28:53 1550348117
>>1550052
> В ШАД пытался кто-нибудь поступить?
Да, учиться сложно
Аноним 18/12/19 Срд 19:30:18 1550401118
>>1549739
Поясните за машобчик. Все говорят - прорыв, а по виду - всё та же идея "умножать, складывать, вычитать и делить".
Аноним 18/12/19 Срд 19:42:46 1550411119
>>1550401
Ты просто тупой или троль, фишка в том, что если решать некоторые задачи для бизнеса с помощью машоба, то прибыль растет.
Аноним 18/12/19 Срд 19:47:11 1550413120
Аноним 19/12/19 Чтв 20:26:00 1551244121
Получается, BERT это лучшее, что есть сейчас для NLP?
Аноним 19/12/19 Чтв 21:17:25 1551318122
Можно где-то почитать теорию по сетям в tensorflow, с формулами и прочим говном?
Аноним 19/12/19 Чтв 22:01:44 1551365123
Поясните по хардкору за SVD. Для чего оно надо в машобе?
Аноним 19/12/19 Чтв 23:16:51 1551413124
1615.jpg (119Кб, 2400x1350)
2400x1350
>>1551365
Это советская винтовка под патрон 7.62×54
Аноним 19/12/19 Чтв 23:31:08 1551423125
Питросян.jpeg (25Кб, 450x600)
450x600
>>1551413
А это Питросян. Хз, под какой патрон.
Аноним 19/12/19 Чтв 23:41:40 1551432126
>>1551423
Ну смотри, ты задаёшь тупые вопросы уровня "я слишком ленив чтобы ввести мой вопрос в гугл и прочитать первую ссылку" и какого вида ответы ты ожидаешь?
Аноним 19/12/19 Чтв 23:47:18 1551440127
Аноним 20/12/19 Птн 02:52:53 1551510128
>>1551244
xlnet этим летом выкатили
Аноним 20/12/19 Птн 03:19:22 1551516129
>>1551365
Понижение размерности.
Аноним 20/12/19 Птн 03:20:18 1551517130
>>1551510
Да ёп, как эти сойбои-зумерки умудряются все эти пейперы читать?
Аноним 20/12/19 Птн 03:24:58 1551519131
>>1551517
Работать не пробовал?
Аноним 20/12/19 Птн 05:18:31 1551533132
>>1551510
> xlnet
Им тоже можно через колаб пользоваться?
Аноним 20/12/19 Птн 21:39:53 1552097133
Аноним 22/12/19 Вск 03:05:23 1553513134
Ребят, скажите какую нибудь уважаемую, но не особо серьезную книгу по NLP, чтобы я мог в отчете для уника ее в референсах использовать, пока описываю базовые вещи и понятия во введении.
Аноним 22/12/19 Вск 06:25:04 1553536135
15754444707410.gif (69Кб, 284x264)
284x264
>>1553513
Зумера вкатывальщики как всегда. Ну если ты что-то пишешь про НЛП, что мешает загуглить NLP book и на первое в выдаче сослаться?
Аноним 22/12/19 Вск 17:39:20 1553881136
Аноним 22/12/19 Вск 21:48:23 1554072137
Ребята, вы тут как раз NLP обсуждаете...

Короче такой вопрос: имеет ли смысл вкатываться в NLP сейчас и насколько перспективна эта область? Я вообще полный ноль в дата саенсе, но знаю JS и Python (довольно поверхностно). Мне почему-то интересна именно область NLP. А еще распознавание изображений и компьютерное зрение, но там, наверно, еще больше матеши придется учить. Если вкатиться сейчас, то какие перспективы для трудоустройства будут через 2-3 года? Хотелось бы узнать про Россию, так как не сильно хочу уезжать куда-то. Допустим, как с NLP обстоят (будут обстоять?) дела у Яндекса или ABBYY?

Алсо сейчас глянул на либгене книги по NLP на Python: почти ВСЕ авторы книг в этой области - индусы (либо пакистанцы), как-то это странно и забавно.
Аноним 22/12/19 Вск 22:20:33 1554109138
>>1554072
Если ты 0 в матеше, то лучше тебе от этих тем держаться подальше.
Аноним 23/12/19 Пнд 01:59:56 1554278139
>>1554072
>ABBYY
Им в основном нужны опытные программисты (и в первую очередь на плюсах), которые хотят ещё и машобом заниматься.
Аноним 23/12/19 Пнд 04:23:03 1554313140
>>1554072
>Я вообще полный ноль в дата саенсе, но знаю JS и Python (довольно поверхностно)
Для начала научись программировать на уровне миддла. Без этого ты все равно ничего не сможешь.
Аноним 23/12/19 Пнд 12:10:16 1554468141
15581865712860.jpg (41Кб, 745x480)
745x480
>>1554313
> Для начала научись программировать на уровне миддла. Без этого ты все равно ничего не сможешь.
> import slesarplow as sp
Аноним 24/12/19 Втр 07:44:46 1555273142
Модель сделал, а она не работает. Как жить?
Аноним 24/12/19 Втр 11:09:18 1555367143
Аноним 24/12/19 Втр 13:01:11 1555428144
>>1545741
Как книга называется?
Аноним 24/12/19 Втр 17:14:50 1555623145
1457458608a241b[...].jpg (66Кб, 604x413)
604x413
ну что же всем привет как вам зима без снега
в эфиопии тоже зима без сг=нега кстати именно туды мы все умные молодцы-ученцы поедем в следущем году и тогда уже будет весна
в этом году скоры какието злые и много хороших статей не взяли даже с приличнымсполичными оценками
расскажите будет ли в эфопии гашиш я всегда курю когда на конференции а потом краисво танцую спросите винода андрея сашу
обсуждайте
Аноним 24/12/19 Втр 17:17:18 1555628146
>>1554072
индусы просто житят хотят поэтму пишут книги
мне предлагалои писать книги я отказался много мороки а денег мало я же н только рисом питаюсь
NLP сейчас на подеме там трансформеры хорошо работают скоро заработают ганы и файн тюнинг
напоминаю что это все сначала опробовали на картнгках и там это зажгло
теперь с отставанием дого(перего)НЯет в области текстуальных символьных дискретных данных
рекомендую базаню
Аноним 24/12/19 Втр 17:20:31 1555630147
191376800.jpg (87Кб, 800x436)
800x436
>>1550073
это правда тензорфлой пошел по другому плохому пути они наняли красавчика франсуа а он нехороший самовлюбленный тиран болван
файсбук хуже работают чем гугл но хороший торч сделали
хотя вроде он не все умеет что умеет тензорфлоу на самом деле
Аноним 24/12/19 Втр 17:22:30 1555631148
>>1551365
свд это чуть ли не суть вообще всей прикладной математики если крепко задуматься
я однажды сдавал экзамен на вмике и злой професор меня отправил на пересдачу за то что я все ответил и не ответил про свд
он зло пошутил и сказал что я негодник а спустя много лет я понял что он прав
даже в квантовой химии нужно свд поэтому учи его будь годником (но не срочником)
Аноним 24/12/19 Втр 17:30:01 1555637149
>>1555628
>и там это зажгло
Чего оно там зажгло, мань?
Аноним 24/12/19 Втр 17:31:04 1555639150
>>1555631
>квантовой химии
Такое же теоретическое говно как и маняматика
Аноним 24/12/19 Втр 17:37:18 1555644151
>>1555428
"Глубокое обучение", Ян Гудфеллоу.
Аноним 24/12/19 Втр 17:39:40 1555646152
>>1555637
ганы в смысле перцептуальных функций потерь несомненно зажгли
файн тюнинг я оговорился имел в виду трансфер лернинг он тоже однозначно зажег
как пример статьи отчественного яндексоида артема бабенко про поиск с помощью сети имандж нет
Аноним 24/12/19 Втр 18:05:59 1555662153
>>1555646
>яндексоида
>поиск
Уже смешно
Аноним 25/12/19 Срд 15:16:21 1556640154
СДЕЛАЛ КАСТОМНУЮ СЕТКУ ПОД ЗАДАЧУ
@
ОНА НЕ ОБУЧАЕТСЯ В ПРИНЦИПЕ, ВЕЗДЕ ОДИНАКОВЫЙ ОТВЕТ
@
ДОБАВИЛ ПОБОЛЬШЕ СЛОЁВ
@
РАБОТАЕТ


А я-то думал, что stack more layers - это сарказм.
Аноним 25/12/19 Срд 16:37:59 1556761155
its-magic-i-ain[...].jpg (81Кб, 800x450)
800x450
>>1556640
Какой уж сарказм, это реальность современного машобчика. Ты не знаешь, почему не работало с меньшим количеством слоев, не знаешь, почему заработало с большим. Новые архитектуры разрабатывают с десяток жрецов, имена которых общеизвестны, все остальное соевое зумер-кринж комьюнити иногда может какие-то гиперпараметры настроить лучше аутокераса. Это финиш, все.
Аноним 25/12/19 Срд 18:17:56 1556826156
Аноним 25/12/19 Срд 18:25:01 1556829157
>>1556826
Ты марксист что ли? ВОт взять говно. 1кг говна это говно, жд состав говна это почему-то тоже говно. Где переход?
Аноним 25/12/19 Срд 18:26:56 1556831158
images (21).jpeg (17Кб, 620x494)
620x494
Аноним 25/12/19 Срд 20:49:37 1556917159
picebb271ed9604[...].jpg (71Кб, 420x280)
420x280
>>1556761
>десяток жрецов
Они гранты пилят
Аноним 26/12/19 Чтв 01:42:07 1557215160
Как изучить матешу с нуля и до такого уровня, чтобы осилить курс Ына на курсере?
Аноним 26/12/19 Чтв 02:30:14 1557252161
Хочу написать бота для одной браузерки, нужно распознавать текст с картинки и сами простые картинки, типа рюкзак, молоток, удочка итд, размером 10x10 пикселей и выше. Писать буду на С++ под виндой msvc, возможен шланг. Есть готовые фреймворки для таких задач?
Аноним 26/12/19 Чтв 02:33:50 1557254162
Аноним 26/12/19 Чтв 02:40:11 1557258163
Нейраны, есть одна лаба, там нужно написать сетку для распознавания образов и гуи. Образы задаются в виде таблицы чёрно-белых квадратов, структура сети четко задана. На чем это проще всего написать? На шарпе? Я просто с нейронками имела дело только в R и питоне, там все проблемы решаются с помощью знаменитого stack more layers.
Аноним 26/12/19 Чтв 02:41:20 1557259164
>>1557258
Таблица будет 10х10 или 8х8 квадратов. Нужно еще обратное распространение сделать, но это уже детали
Аноним 26/12/19 Чтв 02:41:59 1557261165
>>1557258
>На чем это проще всего написать?
На питоне.
Аноним 26/12/19 Чтв 04:07:20 1557283166
Аноним 26/12/19 Чтв 04:09:17 1557284167
>>1557283
>а гуи?
Мне было бы удобнее на шарпе, но на питоне тоже можно.
Аноним 26/12/19 Чтв 04:34:06 1557295168
>>1556829
>жд состав говна это почему-то тоже говно.

это навоз и его можно продать теперь
Аноним 26/12/19 Чтв 12:17:37 1557420169
Аноним 26/12/19 Чтв 15:57:50 1557674170
Аноним 26/12/19 Чтв 16:06:02 1557684171
>>1557674
Любая математика освивается только решением задачек, желательно на доказательства теорем. Если ты обучаешься сам, то тебе повезло, потому что
1. Можно не так сильно дрючить внимание, перепутал плюс и минус и ответ не сошелся, нашел - исправил, двойку никто за это не поставит
2. Можно не так сильно ебать себя вещами типа 100500 видов интегрирования, потому что это из докомпьютерной эры
Но повезло только в этом. Если ты думаешь освоить математику, не решая задачи, иди нахуй.
Аноним 26/12/19 Чтв 18:14:02 1557780172
>>1557684
>докомпьютерной эры
Паняматика сама по себе докомпьютерная эра старых пердунов
Аноним 26/12/19 Чтв 18:30:09 1557794173
>>1557780
Это всего лишь язык для общения умных людей между собой. Ты к ним не относишься
Аноним 26/12/19 Чтв 18:31:58 1557796174
>>1557684
>Можно не так сильно ебать себя вещами типа 100500 видов интегрирования, потому что это из докомпьютерной эры
Градиентный спуск обратен интегрированию.
Аноним 26/12/19 Чтв 18:49:34 1557811175
>>1557684
Ок, но будут ли какие-то конкретные советы по книгам или курсам?

Вообще я думал неторопливо вкатиться через Савватеева и Куранта/Роббинса, но решил спросить про конкретно математику для ML.
Аноним 26/12/19 Чтв 19:17:24 1557832176
>>1557811
>Ок, но будут ли какие-то конкретные советы по книгам или курсам?
Мой совет конкретный, но ты его не понял. Ты перечисляешь лекторов с теорией. Математика - это практика. Это не "бля, я разучу 200 определений и начну решать задачи" и не Савватеев под пивас с его лживым "математика - это просто" для впаривания гуманитариям лекций. В любом вузе на 1 пару с лекцией будет несколько пар семинаров, на которых решают задачи, плюс домашка, где еще решают задачи. То есть на час теории у тебя часов пять практики. Естественно при таком соотношении времени можно найти себе книжку или лектора по душе. Магического лектора который даст тебе хотя бы 1.5х буст не существует.

Начни с задачника по аналитической геометрии, это самое приземленное и понятное для вката. Затем линал. Затем бери задачник по матану. Конкретные фамилии похуй, это задачник, там задачи. Можно изучать все одновременно, но меньше нескольких месяцев тратить - самообман.
Откуда ты при этом теорию будешь черпать - похуй, потому что разным людям понятно разное. После этого ты будешь знать достаточно математики для Ына и cs231n.
Не осваивая этого ты в принципе тоже осилишь и то, и другое, но пользы извлечешь заметно меньше.
Аноним 26/12/19 Чтв 19:47:12 1557858177
>>1557684
>>1557832
Чтобы просто понимать, о чем примерно вещает условный Ын, такой уровень и близко не нужон. Как и вообще для понимания что примерно делает энный алгоритм машобчика. Примерное понимание происходящего - это максимум, что нужно зумеру вкатывальщику, все равно сам писать алгоритмы он не будет, но, понимая в общих чертах, чего он вообще делает, не будет он и совсем уж импорт-слесарьплов мартышкой.
>>1557780
Да для тебя и счёт древних шизов уже высшие знания.
Аноним 26/12/19 Чтв 21:27:46 1558098178
>>1557832
>аналитической геометрии
Нахуй не нужно без связки с линалом, да и в связке не слишком.
Аноним 26/12/19 Чтв 21:50:50 1558150179
>>1558098
Без ангема линал будет просто набором каких-то буковок без какой-либо визуальной привязки
26/12/19 Чтв 21:59:41 1558168180
>>1558150
Визуальная привязка не нужна. Не говоря уже о том, что для пространств произвольной размерности её хер построишь.
Аноним 26/12/19 Чтв 22:31:26 1558223181
a.png (72Кб, 654x370)
654x370
Screenshot-from[...].png (89Кб, 754x261)
754x261
>>1558168
>Визуальная привязка не нужна
Визуальная привязка не просто нужна, заниматься математикой без активного использования визуальной системы мозга невозможно, у большинства терминов есть какой-либо трехмерный источник, например, выпуклая функция, овражная, градиентный спуск, момент (т.е. инерция, это вообще физика), и эти названия дают прямую интуицию о том, что происходит.
>Не говоря уже о том, что для пространств произвольной размерности её хер построишь.
n=2 и n=3 являются частными случаями произвольной размерности. Собственно, вот рандомная страница из гугла курса Ына, йоба, он объясняет линейную регрессию именно для случая n=2. SVM объясняется тоже для случая n=2, ну и так далее.
Новые алгоритмы именно обучения тоже первым делом тестируются на 2d датасетах, потому что там сразу видно, что происходит.
Аноним 26/12/19 Чтв 23:26:17 1558293182
>>1555623
Тоже туда поеду, если одобрят командировку.
Аноним 26/12/19 Чтв 23:30:02 1558305183
>>1557794
>умных людей
Причем здесь ум и матаноговно? Это стереотип вбиваемый тетясраками еще со школы, обычно маняматики рассеянные, замкнутые, токсичные, на хуй никому не нужные корзинки.
Аноним 26/12/19 Чтв 23:41:52 1558340184
>>1558305
Ум и матаноговно не при чем. Но если одному умному человеку нужно передать мысль другому умному человеку (в том числе и себе в будущем), ему нужен для этого язык. Русский язык для этого подходит плохо.
>рассеянные, замкнутые,
Черта любых интровертов
>токсичные,
Токсичнее тебя что ли?
>на хуй никому не нужные корзинки.
В рашке может быть, в мире спрос только растет
Аноним 27/12/19 Птн 00:21:27 1558397185
>>1558340
>ему нужен для этого язык
Ты же не будешь отрицать, что математические записи это пиздец, пиздец, пиздец? Там такой легаси, от которого даже математики жидко сруться по этому поводу.
Аноним 27/12/19 Птн 00:50:04 1558402186
>>1558397
Никто не заставляет тебя использовать конкретную нотацию, можешь хоть римскими цифрами писать.
Давай конкретно, что тебе не нравится.
Аноним 27/12/19 Птн 01:29:16 1558420187
Аноним 27/12/19 Птн 02:27:22 1558437188
>>1558420
Я спрашивал, что тебе не нравится, а ты кидаешь какую-то пасту.
Там сквозь весь текст между строк написано "я аутист, помогите мне кто-нибудь". Любые языки для людей ambiguous и контекстно зависимы по своей природе, это не баг, а фича. Доебываться в этом плане до математики это все равно, что доебываться до английского языка, где он пишет "From Wikipedia Curvature as of 2008-02-22" - где здесь подлежащее и сказуемое? Нету их, ambiguous твою мать. Потому что это зависимость от контекста - это удобно. Неудобно тащить везде этот самый контекст и думать о нем.
Аноним 27/12/19 Птн 02:52:05 1558439189
>>1558437
>Любые языки для людей ambiguous
Язык матана это аналог ЯП брейнфак
Аноним 27/12/19 Птн 03:43:31 1558450190
>>1558439
Почему в /pr/ сидят такие как ты? Просто интересно.
Аноним 27/12/19 Птн 04:10:13 1558454191
15771951994850.png (80Кб, 360x270)
360x270
Аноним 27/12/19 Птн 04:41:13 1558458192
>>1558454
> белых расистов
Жидов
Аноним 27/12/19 Птн 05:04:24 1558462193
>>1558458
Ко всему прочему ещё и жидошизик. Как называется эта болезнь?
Аноним 27/12/19 Птн 06:24:14 1558473194
>>1558462
>Как называется эта болезнь?
Здравомыслие
Аноним 27/12/19 Птн 07:01:38 1558480195
15758716899760.jpg (251Кб, 894x1280)
894x1280
>>1558473
> кефирщик
> плоскоземельщик
> верун
> СЖВ клоун
> жидошизик
> Здравомыслие
Аноним 28/12/19 Суб 01:29:15 1559288196
Кто в тензорфлоу работал с ragged tensor, поясните, как они? А то я не понимаю даже, как его через placeholder подать, плюс есть подозрение, что хуёво поддерживается и сделано для галочки.
Аноним 28/12/19 Суб 03:46:43 1559330197
Ну как потомки, написали всемогущего чат бота на нейронных сетях?
Аноним 28/12/19 Суб 08:40:40 1559381198
Screenshot20191[...].png (81Кб, 720x1280)
720x1280
Аноним 28/12/19 Суб 09:15:26 1559388199
>>1559381
Это ведь даже не чат бот,
нахуй вы форсите это дерьмо?
Аноним 28/12/19 Суб 12:32:54 1559470200
>>1559388
> Это ведь даже не чат бот,
Эту ебулду на gpt сделали, обучение на предложениях, часть которых маскируется, а затем предсказывается. Для обучения всякую классику брали, но если нужен именно чатбот, нужно несколько гигов логов чятиков, думаю, будет не сильно хуже рандомной ТП общаться.
Аноним 28/12/19 Суб 15:20:40 1559585201
>>1559288
например используя метод from_value_rowids, создаешь плейсхолдеры одномерные и конструирушь новый с помощью этого метода
Аноним 28/12/19 Суб 15:48:06 1559597202
157570682314579[...].jpg (148Кб, 700x975)
700x975
>>1559330
>всемогущего чат бота
Единственный более менее это ИБМовский Ватсон, но там проприетарный франкейнштейн с хз что под капотом.
Аноним 28/12/19 Суб 19:52:12 1559870203
>>1559585
А как с поддержкой всего этого? Можно на вход керасовскому слою передать? Пробовал с эмбеддинг-лейером - не сработало.
Аноним 28/12/19 Суб 23:53:24 1560007204
Кто-то использовал для оптимизации K-FAC? На практике хоть какой-то буст дает?
Аноним 29/12/19 Вск 00:01:45 1560011205
>>1559870
В seq2seq используются тензоры с шейпом (BatchSize, MaxLenInBatch, X) и маски с шейпом (BatchSize, MaxLenInBatch), я не знаю где такие тензора используются.
Аноним 29/12/19 Вск 01:20:28 1560070206
>>1560011
Тогда вообще непонятно, нахуя эти ragged tensors нужны, потому что самое очевидное их применение - работа с последовательностями.
Аноним 29/12/19 Вск 06:14:35 1560102207
>>1560070
Обработка строк с помощью тензорфлоу, автоматом получать маски, вместо возни np.array и паддингом, просто можно и без них работать.
Аноним 29/12/19 Вск 08:13:42 1560116208
>>1560102
Падажжи, то есть раггед тензоры нужны тупо для автоматической генерации полного тензора + маски? То есть мне предлагается тратить память и вычислительный ресурсы видяхи на то, что можно сделать на этапе предобработки?
Аноним 29/12/19 Вск 09:16:11 1560128209
>>1560116
Не на видюхе, ты же не будешь паддить тексты по максимальной длине среди всего датасета.
Аноним 29/12/19 Вск 12:51:14 1560210210
астрологи объявили неделю горящих лаб

нужно запилить нейросеть, которая примерно определяет числовое значение некоторого параметра по фотографии. допустим, от 1 до 100. Во всех туториалах, которые я читал нейросеть определяла к какому классу относится объект.
Но в моем же случае нужно что-то другое? или делать 100 классов - это норм?
помогите, как это загуглить
Аноним 29/12/19 Вск 13:25:41 1560241211
>>1560210
Я не зумерошизик, но ты хотя бы почитал чуть-чуть теории перед тем как вкатываться. Задачи классификации/регрессии, все дела.
Аноним 29/12/19 Вск 13:34:27 1560258212
>>1560241
К сожалению вкатываться нет ни времени ни желания, уже работаю джава обезьяной. Но семестровую работу нужно сдать завтра на первой паре, чтобы не проебать отсрочку от армии.
Поэтому пытаюсь найти наиболее легкий способ ее запилить - читаю туториалы по этому вашему тензорфлоу. очень сложно, нихуя не понятно.

Может здесь кто нибудь снизойдет до помощи неучу-студентику?
Получается мне стоит копать в сторону "задач регрессии"?
Аноним 29/12/19 Вск 14:14:20 1560310213
>>1560210
В последнем слое вместо сигмоида/софтмакса выдаешь либо линейный слой без активации, либо нормируешь датасет чтобы он был ну допустим -0.5 до 0.5 вместо от 1 до 100 и ставишь tanh, либо делаешь 100 классов и сводишь задачу к классификации.
Если лень думать, попробуй все 3 варианта и выбери тот, который работает лучше всего на валидационном множестве.
29/12/19 Вск 14:43:46 1560331214
>>1560128
Но я могу паддить на этапе генерации батча. И почему "не на видяхе"? Они это делают на обычном проце?
Всё-таки это разочарование, я ожидал, что эта штука позволяет драгоценную память экономить.
Аноним 29/12/19 Вск 14:49:11 1560334215
>>1560331
Память не особо драгоценная штука, ее локальность важнее, поэтому RNN сосет, а стейтлесс модели с аттеншеном - нет
29/12/19 Вск 15:03:48 1560344216
>>1560334
Так у меня не так много этой памяти, вот в чём проблема.
Аноним 29/12/19 Вск 16:16:59 1560433217
15744438343430.gif (170Кб, 326x281)
326x281
>>1560210
> астрологи объявили неделю горящих лаб
Количество зумеров вкатывальщиков увеличивается вдвое.
> помогите, как это загуглить
https://en.m.wikipedia.org/wiki/Constant-weight_code Нужные параметры кодируются в виде "1-of-n" (в твоём случае 1 из 100). Т.е код в виде "1 из n" это выход, а вход это картинка, которая содержит соответствующий параметр. Просто пронумеровать нельзя, т.к алгоритму нужно продемонстрировать, что искомые параметры это разные вещи. Простой пример - волк, коза и капуста. Если пронумеровать их просто как 1 2 3 соответственно, то для нейроночки коза будет средним вариантом между волком и капустой, что не имеет физического смысла. Тут сработает только кодирование 1 из 3.
Аноним 29/12/19 Вск 17:04:48 1560449218
>>1560334
в seq2seq все может упираться в CPU если колаб, к тому же если ты паддишь при генерации батча, то в этом случае как раз есть экономия по памяти
29/12/19 Вск 19:00:05 1560493219
>>1560433
Мы не знаем, какой у него таргет. Может, у него не "волк, коза, капуста", а " резко негативно, негативно, нейтрально, позитивно, крайне позитивно", как в соцопросах. В таком случае порядковая шкала 1 2 3 4 5 имеет право на существование (или даже (0 0 0 0), (0 0 0 1), (0 0 1 1), (0 1 1 1), (1 1 1 1), если мы хотим учесть, что между ними разница бывает разной)
Аноним 29/12/19 Вск 23:18:49 1560691220
>>1560334
>ее локальность важнее, поэтому RNN сосет, а стейтлесс модели с аттеншеном - нет
Поясни.
Аноним 30/12/19 Пнд 05:08:43 1560809221
такая задумка посоны короче
взять малину 4б с 4гб памяти
ip камеру к ней затем идет
сильная нейронная магия и
она начинает распознавать лица
тех кто к ней подошел по базе лиц.
реально или бред?
Аноним 30/12/19 Пнд 05:10:35 1560810222
forman.jpeg (88Кб, 454x600)
454x600
>>1560809
>4гб памяти
>сильная нейронная магия
Аноним 30/12/19 Пнд 09:11:15 1560840223
>>1560809
реально, но бред
не проще где-то на сервере обрабатывать?
Аноним 30/12/19 Пнд 15:22:53 1561034224
>>1560809
Тарищ майор, вы ебанутый? Про облачные вычисления не слышали?
Аноним 31/12/19 Втр 05:12:09 1561686225
>>1544944
У меня за плечами мехмат и сколько-то лет опыта в дата саенс. Честно признаться, смысл действий из названия статьи понял сразу, но что конкретно делает W*x с точки зрения линейной алгебры и почему это важно не понял, можешь пояснить, что ты имел ввиду?
Я не работаю с комп. зрением, больше с НЛП (чаще всего ещё старыми методами, безо всех этих новомодных нейронок) и простыми табличными данными. Не могу вспомнить когда я последний раз перемножал матрицы в своём коде, думаю только в целях обучения на какой-нибудь курсере.
Ещё про алгебру: Даже на собесах математику мало спрашивают, если и спрашивают то матстат, тервер, алгоритмы вот они мне и в работе пару раз очень пригодились, методы оптимизации. Линал -- на собесах никогда не встречал и не слышал.
Также вопрос: какой практический смысл в чтении пейперов? Реализовал в своём рабочем проекте описанное улучшение? Я пейперы активно читал только когда писал диплом и готовился к паре презентаций, но для повседневной работы польза сомнительна. Если это удаление лин. зависимых фильтров рили работает на практике то очень скоро оно будет во всех фреймворках страны вот тогда можно будет и почитать, если документация будет недостаточно подробна, а если нет, то ради чего время тратить?

>>1557796
А градиентный подъём тогда чему обратен в такой терминологии?

>>1554313
Поддерживаю вот это, хз почему тут все топят исключительно за математику, это ведь только часть успеха. Сильное программирование на мой взгляд обязательно, также как и сильные софт скиллы. По моему опыту, самые херовые вещи на проектах происходят как раз тогда, когда баги оказываются в "пустяковой" части кода, в выгрузке, предобработке данных, в валидации моделей. Более того, ошибки в математике обычно легче прощаются (все же знают, какая эта математика сложная, ууу!), а вот ошибки, смысл которых способен понять даже ПМ с заказчиком могут привести к потере доверия и репутации.
В целом, я вообще поражаюсь, насколько медленно хорошие практики кодирования проникают в среду датасаенса. Линтер, гит, код ревью и автодеплой в мире датасаенса это какие-то высшие технологии!

Аноним 31/12/19 Втр 16:53:53 1561844226
>>1561686
>В целом, я вообще поражаюсь, насколько медленно хорошие практики кодирования проникают в среду датасаенса. Линтер, гит, код ревью и автодеплой в мире датасаенса это какие-то высшие технологии!
Это от того что всем хочется налабать по быстрому эксперименты, а времени все переписать нет особо.
Аноним 31/12/19 Втр 17:43:12 1561866227
Аноним 31/12/19 Втр 21:28:31 1562033228
Аноним 31/12/19 Втр 21:35:56 1562041229
>>1561686
>а если нет, то ради чего время тратить?
Если тебе неинтересна эта область, иди кодировать на жабе, там тоже платят. Нахуя ты сюда пришел, зумер?
Аноним 31/12/19 Втр 21:40:21 1562048230
Эй, ML-щики, возьмите на работу, пожалуйста.
Аноним 31/12/19 Втр 22:26:58 1562104231
Аноним 31/12/19 Втр 22:44:57 1562129232
Аноним 31/12/19 Втр 22:48:04 1562136233
>>1558397
Очередной ебанат, который не осилил математическую нотацию, но суетится около математики и читает мнения умных людей о легаси в математике.
Аноним 31/12/19 Втр 23:20:32 1562165234
>>1562136
>умных людей
>математики
Троль, плез
Аноним 31/12/19 Втр 23:26:53 1562167235
Аноним 31/12/19 Втр 23:37:31 1562168236
>>1562167
Ты пианистов тоже умными людьми считаешь?
Аноним 01/01/20 Срд 02:47:48 1562243237
Аноним 01/01/20 Срд 11:02:27 1562306238
Так, расступитесь, хуесосы. Какой-то червь выше заявил, что язык математики это дремучее легаси. Спешу поссать ему в рот. Язык математики это самый плотный способ передать огромное количество информации. Зачем нужны слова? Они так заебали! Давайте разговаривать абстракциями!
Аноним 01/01/20 Срд 12:17:50 1562323239
>>1561844
Ну хз. Во всех местах, где я работал, времени было предостаточно и даже больше. На мой взгляд дело скорее в отношении: "Мы же датасаентисты, а не какие-то там программисты!". Да чего я рассказываю, этот тред сам по себе очень показателен: тут многим дай волю, они бы переменные в коде греческими буквами называли.

>>1562033
Нет.

>>1562041
Таким как ты даже математика не поможет.





Аноним 01/01/20 Срд 12:46:58 1562347240
>>1562323
> тут многим дай волю, они бы переменные в коде греческими буквами называли.
Как что-то плохое. В агде (хотя оно и не для датасатанизма) так и есть https://people.inf.elte.hu/divip/AgdaTutorial/Symbols.html и это норма - использовать общепринятую нотацию, которой может быть не одна сотня лет. Поэтому языки для обработки данных должны иметь такую возможность. В идеале ещё и полная поддержка latex/ams-tex с распознаванием рукописного ввода.
Аноним 01/01/20 Срд 14:54:27 1562379241
изображение.png (823Кб, 960x540)
960x540
Сап аноны, какие порекомендуете книги для практического применения нейронок с кодом и прочее, эдакий разбор задач по машобу?
Аноним 01/01/20 Срд 16:46:46 1562455242
>>1562306
Это вебмакаки бугуртитят от математики, так как в ней надо представлять, а не ебошить по списку действий.
Аноним 01/01/20 Срд 17:05:25 1562478243
>>1562455
>надо представлять
Сябя сферой?
Аноним 01/01/20 Срд 17:16:27 1562484244
>>1562306
пидоры, где спецификация этого языка, блядь, хочу ебашить пучки и топологии!!!!!!!
Аноним 02/01/20 Чтв 01:05:27 1562656245
>>1543969 (OP)
Аноны, дайте совет, сейчас изучаю питон и ML библиотеки, хочу начать учить sql. Возник вопрос, на какой СУБД лучше начать изучать? Какие чаще всего применяются в ML? И нужно ли на данном этапе учить NoSQL?
Аноним 02/01/20 Чтв 01:40:56 1562669246
Какое соотношение количества фич к количество точек в датасете достаточно чтобы без опаски применять случайный лесок? бустинг? нейронки?
Аноним 02/01/20 Чтв 03:58:04 1562708247
>>1562656
Никакие. Матешу учи и статьи читай.
Аноним 02/01/20 Чтв 09:23:24 1562738248
>>1562708
>Матешу учи и статьи читай
Статьи из газеты Труд подойдут?
Аноним 02/01/20 Чтв 09:41:24 1562741249
>>1562738
> Статьи из газеты Труд подойдут?
Тебе что-то большее и не осилить.
Аноним 02/01/20 Чтв 10:09:56 1562746250
>>1562741
>Тебе что-то большее и не осилить
Главное, что результат будет одинаковым.
Аноним 02/01/20 Чтв 10:29:31 1562753251
>>1562746
> Главное, что результат будет одинаковым.
Для тебя - безусловно. Чтобы была разница в результатах, мозги нужны.
Аноним 02/01/20 Чтв 10:39:54 1562757252
>>1562753
Я глицинки сосу, этого достаточно.
Аноним 02/01/20 Чтв 14:53:28 1562986253
>>1562656
Какая разница? Базовый синтаксис запросов везде одинаковый, а большего тебе и не надо, ты ж их не администрировать собрался.
Аноним 02/01/20 Чтв 20:10:51 1563291254
А существуют ли фрилансеры занимающиеся нейросетями? Или такие специалисты только бывают штатными при какой-либо организации научной или коммерческой?
Аноним 02/01/20 Чтв 20:47:15 1563344255
Screenshot from[...].png (1Кб, 79x58)
79x58
>>1562379
И Агда тут не исключение, есть ещё куча языков, которые поддерживают матанические символы и питон их тоже поддерживает кстати, если для именования переменных использовать
и добавляют +100 к крутости, когда на них пишешь. Вот только где нормальные, большие и крутые проекты, которые бы нормально работали, будучи написаны на подобном языке?
Да и не в греческих буквах дело, я ничего против них не имею, возможно просто выбрал не лучший пример. То, на что я хотел обратить внимание -- низкий уровень программирования у многих датасаентистов и хреновые процессы во многих ДС командах. Сейчас уже начала отпочковываться отдельная профессия -- Machine Learning Engineer, единодушного понимания кто это такой как обычно нету, но некоторые конторы понимают это как "датасаентист, умеющий прогать".

>>1562669
В общем случае нельзя сказать, зависит от датасета. Пробуй всё, но делай хорошую валидацию.

>>1562656
Если ты правда хочешь учить скл рекомендую sql-ex ru. Но по мне так >>1562708 всё правильно сказал, забей хуй и на скл и на носкл, даже если тебе нужно будет из базы достать данные, там примитивнейшие запросы, как-нибудь уж сдюжишь на месте или спросишь у кого. Если тебя на собесе активно спрашивают по всяким группировкам и оконным функциям, уточняют про ТРИГГЕРЫ и всячески склоняют в сторону БД, то знай, с большой вероятностью это унылая вакансия скл пидора, на которую из последних сил пытаются заманить лохов навешивая модный шильдик Датасаентист.

>>1563291
Можешь зайти на апворк и поискать спецов, это вроде доступно, даже если нету акка их там дохерища с разными рейтами, начиная от 10$ и до $100+.

Если в треде есть датасаентисты-фрилансеры, расскажите как часы клеймите: обучение модели, чтение статей и т.д. Бывает ли недопонимание со стороны клиентов?
Аноним 02/01/20 Чтв 21:01:47 1563366256
>>1563291
>>1563344
У меня на работе к начальнику иногда подваливает халтура (по связям), которую делают в основном студенты. Насколько я понял для сдачи достаточно продемонстрировать работу и заболтать клиента. Я один раз участвовал в подобном проекте, работать со студентами не возможно (хотя это возможно был студент долбаеб).
Аноним 02/01/20 Чтв 21:04:32 1563374257
>>1563366
Студенты же разные бывают и реальные челы - 7 пядей во лбу и псевдоботаны, которые считаются типа хорошими - все посещают, не имеют проблем с поведением, делают уроки, но на реальном задании из настоящей жизни сосут буй.
Аноним 02/01/20 Чтв 21:14:51 1563390258
>>1563374
Этот в питоне делал статические классы как в джаве (Хотя там явно нужно делать просто класс), наебенил копипастом модули вместо классов, наделал утечек памяти, ловил Exception в цикле, долбился в CloudFlare при скрапинге сайтов, в различных версиях программы одни и те же столбцы назывались по разному.
Аноним 02/01/20 Чтв 21:19:23 1563395259
>>1563390
Студент в первый раз на грабли наступил. Ну, или не в первый, а второй раз. Студент по кличке ОП
Аноним 02/01/20 Чтв 21:39:22 1563408260
>>1563344
>с большой вероятностью это унылая вакансия скл пидора, на которую из последних сил пытаются заманить лохов навешивая модный шильдик Датасаентист.
Бэкэнд?
Аноним 03/01/20 Птн 04:59:57 1563585261
>>1563390
>в питоне
>наделал утечек памяти
Но... чёрт возьми... как?
Аноним 03/01/20 Птн 11:40:55 1563631262
Мне надо в шарагу научную статью написать про нейронные сети, подскажите, где можно подсмотреть у американцев разработки по нейронным сетям и потом у них цап-царап! себе научную статью.
Аноним 03/01/20 Птн 11:41:51 1563632263
>>1563631
З.Ы. Это я пошутил, цап-царап делать не обязательно.
Аноним 03/01/20 Птн 12:11:26 1563649264
>>1563632
>цап-царап делать не обязательно
В этой стране все так делают, ты чего как маленький
Аноним 03/01/20 Птн 12:14:00 1563651265
Аноним 03/01/20 Птн 12:19:43 1563653266
Сейчас психотерапевты пишут огромное количество статей про отношения, разрывы и проблемы в отношениях. Берите и читайте - получайте мудрость из интернета, которую ваши деды десятилетиями познавали на своем опыте. Но вместо этого вы как инфантильные долбоебы наматываете сопли на кулак, а у вас в голове до сих пор радужные пони. Впрочем, по тому, что ОПшу испугали точки в общении, тут все понятно
Аноним 03/01/20 Птн 12:20:19 1563654267
Аноним 03/01/20 Птн 12:22:50 1563655268
Аноним 03/01/20 Птн 16:07:15 1563827269
>>1563585
В bs4soup память может течь
Аноним 03/01/20 Птн 23:19:14 1564269270
>>1563653
Намек понят. Нужно создать базу прецедентов из диалогов, которые привели к отношениям. Их исход не особо важен. И требуется разработать систему оценки благоприятности диалога и, возможно, помощника в ответах на уровне "пиши, что хочешь писку ебат" или "не напирай".
Аноним 04/01/20 Суб 00:02:39 1564311271
>>1564269
Охуенная идея для проекта.
Аноним 04/01/20 Суб 00:51:23 1564332272
>>1563653
>психотерапевты
>говноеды
Аноним 04/01/20 Суб 02:13:37 1564362273
>>1564269
Тогда уж лучше сразу бота, который от твоего имени будет окучивать сразу много сельдей. Даёшь ему например 100-200 акков понравившихся, и вуаля, через неделю 20-30 уже готовы на поебушки, выбирай и действуй.
Аноним 04/01/20 Суб 03:40:20 1564380274
>>1564269
Глупые вы люди. Диалоги. Нужна pix2pix GAN, которая из фоточки обсоса сделает фоточку чада
Аноним 04/01/20 Суб 09:39:12 1564402275
>>1564380
Свидетель внешки? Внешка решает только с харизмой, тогда как харизма решает и без внешки. Если нейроночки могут в сентимент анализ, т.е в эмоциональное содержание текста, то смогут и в харизму, так же на примерах, при наличии датасета.
Аноним 04/01/20 Суб 10:28:24 1564419276
>>1564402
В тиндере без фоточки тебя не лайкнут, а милф на мамбе сам трахай
Аноним 04/01/20 Суб 10:34:47 1564420277
Аноним 04/01/20 Суб 11:03:58 1564432278
15740463911470.png (63Кб, 390x470)
390x470
>>1564420
> 2020
> свидетель Протопопова
Аноним 04/01/20 Суб 13:06:26 1564527279
мб кто-то работал с распознованием графиков с картинки(python)?
что можно было бы такого использовать?
Аноним 04/01/20 Суб 14:42:40 1564637280
>>1564362
Для тиндера и других подобных помоек уже дохера таких ботов есть, только там не нужны ни нейронки, ни мл вообще, бот просто пишет всем подряд: "приезжай ко мне сегодня вечером", тех кто сразу не отваливается добиваешь вручную и готово. При этом сомневаюсь что процент отказов можно существенно снизить без сильного ИИ, потому что если беседа развивается дальше 5-6 сообщения, то список тем, которые могут возникнуть просто огромен.

Ещё из интересного: я видел доклад про бота, который клянчит деньги в чатах, рассказывая всякие грустные истории. Принцип тот же самый, мл либо вообще отсутствует, либо в самой зачаточной форме, главное не качество отдельной беседы, а кол-во попыток. Результат по $$ был очень впечатляющий, любят люди деньги не пойми кому скидывать.

>>1564402
Думаю что для разных девушек и для разных ситуаций сильно по-разному, но подумай вот о чём: внешку ты демонстрируешь всем девушкам, в поле зрения которых попадаешь, а харизму только тем, с кем непосредственно взаимодействуешь.

>>1564419
Совсем без фоточки может и не лайкнут, но если поставишь фоточку с весьма средней внешкой, лайки будут точно. К тому же, чтобы вам там не говорили пикап коучи с ютуба, описание тоже читают и оно тоже решает.

>>1564420
Занятное чтиво, спасибо.

>>1564527
У меня был похожий проект, тут в первую очередь нужно использовать красноречие, чтобы убедить заказчика всё таки поискать исходные данные, по которым графики строились, точность такого подхода будет намного выше, чем дрочево с картинками.
Возможно конечно я что-то не так понимаю, и у тебя графики не заданного формата, а просто рандомные графики разных видов и типов, тогда бэд лак, такую херню ты не решишь нормально.




Аноним 04/01/20 Суб 15:30:49 1564718281
mygraph2.png (8Кб, 640x480)
640x480
>>1564637
Графики в принципе пока только column вида, как на картинке например
они на странице, могут быть разных размеров и количества колонок
Как подобраться к ним ещё более-менее понятно
а вот как доставать данные..
Аноним 04/01/20 Суб 16:00:02 1564733282
>>1564637
>У меня был похожий проект, тут в первую очередь нужно использовать красноречие, чтобы убедить заказчика всё таки поискать исходные данные, по которым графики строились, точность такого подхода будет намного выше, чем дрочево с картинками.
Не понел, разве сложно самому данных нагенерировать и различных графиков по ним?
Аноним 04/01/20 Суб 16:11:34 1564747283
>>1563344
>В общем случае нельзя сказать, зависит от датасета. Пробуй всё, но делай хорошую валидацию.
Ну хорошо, какой хотя бы порядок трейна нужен для бустингов на деревьях? Десятки тысяч примеров, сотни? Подходит ли бустенх для малых данных?
Аноним 04/01/20 Суб 16:33:18 1564768284
>>1564747

С практической точки зрения:

10_000+ примеров -- точно подходит, сам использовал + есть много кагл сорев, где выигрывал хгбуст (а позже и лгбм) и размер данных был именно в этих пределах.

Меньше 10к -- может быть, но нужно очень аккуратно подбирать гиперпараметры, лучше попробовать более простые модели.

С теоретической точки зрения:
ГБТ это аддитивная модель над деревьями, если ты поставишь max_depth=1 и n_estimators=2 то (если я нигде не путаю) у тебя будет всего 2 сплита и 2 параметра (места этих сплитов). Полученная модель будет очень слабая и, соответственно крайне устойчивая к переобучению (при размерности пространства >=2, модель будет безопаснее обычной (лог) регрессии, у которой кол-во параметров кол-во фичей+биас)
Аноним 04/01/20 Суб 17:29:34 1564835285
>>1564768
Я чё вообще бустинг-то взял: у меня катфичей много, если что-то более простое взять то после их раскукоживания данных тем более не хватит.

> 10_000+ примеров -- точно подходит
Ну и заебок, пойду доразмечу тогда. А несбалансированность (бинарная классификация у меня) для гбт проблема сильная?
Аноним 04/01/20 Суб 18:01:42 1564867286
>>1564835
> у меня катфичей много
используй mean target encoding чтобы не раскукоживать, во всяких лгбм уже встроен давно
> 10000 примеров
хуя много насобирал
> А несбалансированность (бинарная классификация у меня) для гбт проблема сильная?
Можно вес для каждого класса указать чтобы потом под нужную метрику подстраиваться. Так что не проблема.
Аноним 04/01/20 Суб 18:23:39 1564887287
>>1564835
>пойду доразмечу тогда
Не забудь построить кривую обучения, может не нужно столько примеров.
Аноним 04/01/20 Суб 20:33:43 1564981288
>>1564835
>катфичей много
Смотря как раскукожить, про target encoding уже сказали.
Попробуй libffm, из бустингов лучше всего подойдёт catboost -- он с категориальными вообще норм работает.

>>1564867
>во всяких лгбм уже встроен давно
там не mean target encoding, там другой категорикал сплит, в доках есть пояснение, т.е если сделаешь mean target enc дополнительно вручную, то есть потенциальный шанс увеличения скора
Аноним 04/01/20 Суб 23:05:35 1565078289
Есть одна таблица 40000 x 7000.
При использовании той или иной классификации, она выжирает всю память.
Можно это как-то оптимизировать?
Инб4 докупи памяти, урежь количество признаков.
Аноним 05/01/20 Вск 01:42:16 1565223290
>>1565078
Это же пара гигабайт. Достаточно обучать классификатор с помощью SGD.
Было бы сто гигагабйт, пришлось бы юзать np.memmap
Аноним 05/01/20 Вск 02:10:29 1565246291
>>1565078
Ты на телефоне тренируешь, что ли?
Аноним 05/01/20 Вск 02:31:58 1565252292
Аноним 05/01/20 Вск 09:44:17 1565305293
Аноним 05/01/20 Вск 09:51:06 1565306294
>>1565305
Это примерно как один инвалид рассказывал как там Черные Дыры устроены. Очередной балабольще.
Аноним 05/01/20 Вск 12:42:15 1565363295
Будут ли профиты от знания всяких теорем тервера, теории меры и всякого такого, или достаточно уметь решать задачи про урны, находить матожидания и дисперсии?
Аноним 05/01/20 Вск 12:45:55 1565366296
>>1565363
В общем, вопрос про то, достаточно ли для дс и мошонлернинга знать тервер только на уровне практики? И какие профиты знать более этого?
Аноним 05/01/20 Вск 13:12:29 1565394297
Аноним 05/01/20 Вск 13:16:44 1565404298
>>1565366
Поймешь как работает VAE. Я вот не понимаю, например
Аноним 05/01/20 Вск 13:21:57 1565412299
>>1565394
Зачем ты это говнище смотришь? Тебе не жалко времени?
Аноним 05/01/20 Вск 13:22:20 1565413300
>>1565404
Через пиховекторизацию
Аноним 05/01/20 Вск 13:35:54 1565426301
>>1565412
Сказал хуй сидящий в самом бесполезном треде раздела
Аноним 05/01/20 Вск 14:39:38 1565482302
В датасаенсе вообще интереснее работать, чем просто прогером? Я вот на жабе пишу, бывает интересно, бывает не оч. Большую часть времени не оч конечно, но я просто в уебищной шараге работаю. Вообще мечтаю создавать огромные распределенные пайплайны по процессингу данных (типо Google cloud dataflow). И плюс поиском интересуюсь (information retrieval, вот это вот все). Скажите, это датасаинс? Это весело такие штуки создавать?
Аноним 05/01/20 Вск 15:13:20 1565527303
>>1565306
Есть чем возразить, дебил?
Аноним 05/01/20 Вск 16:11:50 1565557304
JOKER WALLPAPER[...].jpg (472Кб, 1375x1600)
1375x1600
>>1565482
> Это весело такие штуки создавать?
Весело что-то или нет, только от тебя зависит. Если поймёшь, что твоя жизнь это комедия, а не трагедия, будет весело в любом случае.
Аноним 05/01/20 Вск 17:23:42 1565577305
Что делать, если в тренировочном наборе данных есть признаки, отсутствующие в тестовом, и в тестовом, есть признаки, отсутствующие в тренировочном?
Дропать и там, и там?
Аноним 05/01/20 Вск 17:48:23 1565598306
Аноним 05/01/20 Вск 17:51:35 1565601307
Аноним 05/01/20 Вск 18:56:27 1565666308
Реально ли вообще использовать ИНС в роботах (не считая облако)? Хотя бы на какой нибудь малине или lattepanda alpha?
Аноним 05/01/20 Вск 19:03:52 1565675309
>>1565666
Да, например используя nvidia jetson или пременяя различные трюки сделать маленькую быструю нейронку из большой.
Аноним 05/01/20 Вск 21:15:13 1565796310
>>1565305
> андрей курпатов
так это же почти фрик, который просто рубит бабло

>>1565363
>теорем тервера
да
>теории меры и всякого такого
не

Аноним 05/01/20 Вск 21:42:57 1565818311
Не отстань меня!
В этом же, сударыня?
В этом же вам со всем теперь заговорить меня с шелкимую волочу, тебе посводится с конченом и учити
Ну, но, вот и не за чем же, как будто я к полуженсю совершь, то друг ему знает чусти братиц роди
А вы, не беспокоит!
Однако я к веле имение не понимают.
Не отутный, два цену сметла.
Не какой мой, так и манушка. Я пользом снех, а то странно пократить о видеми за себя вашего по
На котерож и ждуни комнать.
Что ты фаспериовать?
Вы когдани выпьем, потому вас положу. Не поклянаято ваша возятся проводит смотрю, что только и не ув
Напки умолите, чтоб он тебе подаствяю наких тонов, тогда не должат болет.
Что ты будел у нее взять? Странное и сострятья!
Ну, что ж ты себи знативое здесь? Когда вы так так обнимать можетс? Ну, да и тогла, чтоб она о денега
Приедаться ваши постраляться не может. Он меня объястить может.
Аноним 05/01/20 Вск 22:01:08 1565828312
>>1565818
Порфирьевич, ты? ИИ которое мы заслужили.
Аноним 06/01/20 Пнд 01:18:35 1565993313
Какие же косорукие дебичи тренировали этого порфирьеча. Или это код генерации сломан. Результат просто рандом, хуже марковской цепи по двум словам.
Аноним 06/01/20 Пнд 06:43:25 1566066314
>>1565993
>косорукие
Даже не косорукие соснут у русского языка
Аноним 06/01/20 Пнд 07:45:28 1566076315
>>1566066
Свидетель великаго и могучего, лол. Вся разница в том, что может быть нужен корпус текстов побольше.
Аноним 06/01/20 Пнд 09:42:05 1566082316
По поводу великих и могучих. Вот у чукч вроде 10 или около того названий снега, в зависимости от его цвета и плотности. И ни один чукча эти сорта не спутает, для них это реально разные вещи. Понятно, что NLP модели на таком языке будут работать хуже, чем на любом другом, где "снег" это одно слово и одно понятие. Но было бы очень странно считать язык с десятком названий для снега более великим, чем с одним.
Аноним 06/01/20 Пнд 09:58:06 1566084317
>>1566076
>Вся разница в том, что может быть
Что может быть это не аналитическое недоязыковое говно типа инглиша?
Аноним 06/01/20 Пнд 10:00:00 1566085318
>>1566082
>с десятком названий
Так, а причем здесь язык в виде грамматики?
Аноним 06/01/20 Пнд 17:19:40 1566325319
Функан будет полезно знать?
Аноним 06/01/20 Пнд 17:35:38 1566330320
>>1566325
>Функан
Типа пукан, но не оч мытый?
Аноним 06/01/20 Пнд 17:36:21 1566331321
>>1566330
Да, со вставленным туда вектором.
Аноним 06/01/20 Пнд 18:00:30 1566344322
>>1566325
> Функан будет полезно знать?
Из функана полезны понятия функционала и оператора, если есть желание осилить Вапника и вообще понимать статистическую теорию обучения.
Аноним 07/01/20 Втр 20:58:07 1567118323
>>1566082
да, а ещё у чукч полисинтетический язык
и вот тебе десять "названий" снега: мокрыйснег, желтыйснег, грязныйснег, белыйснег, твердыйснег, падающийснег и тд

Аноним 07/01/20 Втр 21:02:23 1567125324
>>1567118
>желтыйснег
Есть нельзя
Аноним 07/01/20 Втр 21:50:41 1567167325
>>1543969 (OP)
А вот интересно, ведь на сколько я понимаю вся эта ваша матаностатистическая поебота теоретически может из больших набров вывести грамматику? Это же охуенчик, почему вы этим не занимаетесь?
Аноним 07/01/20 Втр 22:06:29 1567181326
>>1567167
Недостаточно количества куда-ядер.
Аноним 08/01/20 Срд 02:19:51 1567291327
>>1567167
> может из больших набров вывести грамматику?
Может. Есть побуквенные эмбеддинги, которые на больших наборах текста могут анализировать очень сложные связи слов на основе корней, приставок, суффиксов, окончаний итд. Вроде наиболее информативны в этом плане буквосочетания от 2 до 5 букв внутри слов.
> почему вы этим не занимаетесь?
Занимаются этим, попадались пейперы на такую тему.
Аноним 08/01/20 Срд 05:50:53 1567324328
tmb1006532076.jpg (90Кб, 1000x625)
1000x625
>>1567291
>на основе корней, приставок, суффиксов, окончаний итд
Тоесть их нужно вручную забивать? Кекус
>попадались пейперы
Значит ничегошенки не зделоли
Аноним 08/01/20 Срд 06:06:30 1567325329
>>1567324
> Тоесть их нужно вручную забивать? Кекус
Зумер, тебе ясно написали, эмбеддинг на уровне букв. Затем для анализа задаётся количество букв. Где я хоть что-то про ручное написал?
Аноним 08/01/20 Срд 06:14:04 1567328330
157770908012134[...].jpg (81Кб, 400x266)
400x266
>>1567325
>на уровне букв
Вы там вобще ебанулись? Я конечно понимаю, что матанопетушня сует свой еврейский нос во все сферы пока по нему не счелкнут, но это уже слишком... Зачем вам вобще буквы, замените их порядковыми номерами в алфавите?
Аноним 08/01/20 Срд 06:15:29 1567330331
>>1567325
>задаётся количество букв
А как по количеству определется морфема?
Аноним 08/01/20 Срд 13:46:56 1567446332
15772876173990.jpg (17Кб, 620x494)
620x494
>>1567328
Мань, вообще-то буквы цифрами и кодируются, ты настолько безграмотное село, что не в курсе про ASCII или там юникод? Хотя что ещё можно ожидать от жидошизика.
Аноним 08/01/20 Срд 13:59:37 1567457333
>>1567330
> А как по количеству определется морфема?
Статистически, текста же много. Наилучший результат, если букв от 2 до 5, остальные варианты хуже.
Аноним 09/01/20 Чтв 12:20:07 1568029334
>>1566325
Метрические пространства полезно, наверное
Аноним 09/01/20 Чтв 12:45:21 1568043335
>>1567457
>текста же много
Ну и что, как статистичесаи можно вычленить морфемы?
>>1567446
Но вот и работай с цифрами, приводи любую писменность к одной последовательности.
Аноним 09/01/20 Чтв 16:38:32 1568232336
>>1568029
Для чего пригодится?
Аноним 09/01/20 Чтв 17:22:49 1568309337
>>1568232
Будешь с другими маняматиками за кассой в Макхрюке обсуждать
Аноним 09/01/20 Чтв 19:32:00 1568471338
>>1543969 (OP)
Аноны, хелпаните плиз. Хочу диплом написать по маш.обучению+ИБ. Аноны посоветовали мне сделать сетку, которая из обфусцированного кода сможет выделить оригинальный. Возникла проблема, не могу найти ни датасеты в которых были бы примеры вирусов, ни книг либо курсов по написанию вирусов. Возможно кто-то сталкивался с подобной задачей? Можете накидать ссылок на датасеты и/или курсы по вирусам?
Аноним 09/01/20 Чтв 21:47:55 1568639339
>>1568471
МЛ+ИБ гиблая тема, сам по ней писал диплом, ничего хуже этого в мл нет, особенно с IDS, по которым сотни бесполезных статей. И вообще ИБ-шники смотрят на тех, кто хочет применить нейронки в иб как на городских сумасшедших.
Аноним 10/01/20 Птн 00:31:57 1568833340
>>1568471
>Аноны посоветовали мне сделать сетку, которая из обфусцированного кода сможет выделить оригинальный
Я только в полглаза видел доклады, вроде чем-то похожим в Jet brains. У них канал вроде бы на тьюбе есть, посмотри там.
Аноним 10/01/20 Птн 12:04:11 1568991341
Аноним 10/01/20 Птн 17:44:38 1569136342
Аноним 10/01/20 Птн 20:48:00 1569242343
Поясните за функцию, которую оптимизируем в линейном SVM. Чёт не вдупляю, первая часть -- типо мы уменьшаем длину вектора, нормального к разделяющей гиперплоскости (это понял), и потом в большинстве источников написано "subject to yi(W x Xi + b) >= 1 for i from 1 to n". Что это за yi(...)? Выглядит как функция, но yi -- это же просто метка, к которой принадлежит очередной инстанс из выборки.
Аноним 10/01/20 Птн 20:48:40 1569244344
В минимаксе нужно оценить состояние игры, хочется использовать для этого нейронку. Как её обучить?
Просто семплировать траектории и скармливать сетке пары (состояние, итог игры)? Но тогда после обновления сетки агент станет другим и оценки станут неправильными.

tldr: как лучше обучить критика без актора?
Аноним 10/01/20 Птн 21:00:29 1569251345
>>1569244
Обучение с подкреплением.
Аноним 10/01/20 Птн 22:04:16 1569288346
>>1569242
Все верно классы +1 и -1, эти условия в случае линейной разделимости.
Аноним 10/01/20 Птн 22:20:13 1569297347
>>1569288
То есть если всю выборку можно разделить гиперплоскостью -- задача состоит просто в нахождении двух самых ближних точек, принадлежащих разным классам? И 1/2 от расстояния между ними и будет самой оптимальной длиной перпендикуляра к разделяющей плоскости. Блин, вроде понял
Аноним 10/01/20 Птн 22:27:36 1569301348
>>1569297
Да, и ещё вопрос:
Получается когда данные неразделимы, то тут начинается вся эта магия с "kernel trick" и мы переводим их в пространство большей размерности, в котором они становятся разделимыми и сводим задачу опять же к простой геометрической?

И кстати, что если классов несколько? Там типо строим всякие диаграмы Вороного?
Аноним 10/01/20 Птн 23:04:57 1569332349
abstract-backgr[...].jpg (70Кб, 626x417)
626x417
>>1569301
Ты как-то странно интерпретируешь кернел трик. Диаграмма Вороного это считай оптимальная граница между например сферически ориентированными множествами, имеющими центр, мыльная пена это 3д диаграмма Вороного ирл. Суть svm же в том, что учитываются только точки на границах, разделяющих классы, остальные просто обнуляются умножением на нулевые ланранжианы. Центры классов при этом так же не учитываются, даже если они есть. Ты не в ту сторону мыслишь, короче, это разные вещи.
Аноним 10/01/20 Птн 23:09:06 1569335350
>>1569301
нет в случае неразделимости вводятся переменные, которые обыно обозначаются кси.
Аноним 10/01/20 Птн 23:22:32 1569346351
Аноним 11/01/20 Суб 02:47:16 1569401352
>>1569297
Нет, не так. Задача - так провести прямую, чтобы сумма расстояний от неё до классов +1 и -1 была минимальной (расстояние между множествами - это минимальное расстояние между их элементами). Это не сводится к поиску минимального расстояния между парой точек из множества: например, если взять точки из класса +1 {(0, 0), (2, 0)}, а из класса -1 {(1, 1), (2, 1.2)}, то минимальное расстояние будет между точками (2, 0) и (2, 1.2), и серединный перпендикуляр - y - 0.6 = 0, но оптимальная разделяющая плоскость (с максимальным зазором между классами) будет y - 0.5 = 0.
>>1569301
>Получается когда данные неразделимы, то тут начинается вся эта магия с "kernel trick" и мы переводим их в пространство большей размерности, в котором они становятся разделимыми и сводим задачу опять же к простой геометрической?
Да, kernel trick для этого и нужен. Второй инструмент добиться желаемого - >>1569335: позволить некоторым точкам вылезать в зазор, но при этом накладывать штраф за нарушение. Обычно их просто вместе используют.
>что если классов несколько?
Боль. Обычно строят кучу классификаторов либо в стратегии one-vs-one (сравниваем каждые пару классов), либо one-vs-rest (класс против всех остальных классов) и пытаются агрегировать результаты классификации. Один из плюсов логистической регрессии по сравнению с SVM - за счёт нормальной вероятностной интерпретации она легко и естественно обобщается на многоклассовый случай (биномиальное распределение заменяется на мультиномиальное, сигмоида - на софтмакс, логлосс - на кросс-энтропию, да-да, ровно оттуда в нейронки они все и пришли).
Аноним 11/01/20 Суб 03:35:46 1569447353
Аноним 11/01/20 Суб 17:20:18 1570031354
>>1569401
Только вот kernel trick работает так же как линейный SVM, только в пространстве поражденном ядром (reproducing kernel hilbert space).
Аноним 11/01/20 Суб 17:21:52 1570033355
Аноним 11/01/20 Суб 17:36:20 1570046356
Аноним 11/01/20 Суб 17:39:11 1570051357
Когда уже сделают нейросеть, которая юудет генерировать самые оптимальные sql запросы? А мы будем просто с ORM работать.
Аноним 11/01/20 Суб 17:48:36 1570059358
>>1570051
> юудет генерировать самые оптимальные sql запросы
Там и без мошонлёрнинга оптимизация выдрочена.
Аноним 11/01/20 Суб 18:10:08 1570076359
>>1570059
Но ORM глючат и наркоманят.
помогите помогите помогите Аноним 11/01/20 Суб 20:48:55 1570218360
Учусь в вузе на 1 курсе, жутко хочу вкатиться в мл ресерч.
Проблема лишь в том, что на данном этапе у меня мало математики: всего лишь год матана и год линала, а потом один семестр теорвера и матстата. Как жить дальше?
За первый семестр я:
1. научился решать несложные пределы
2. еще раз потренировался в нахождении производных
3. научился раскладывать функции в ряды тейлора и маклорена
4. еще раз узнал про методы аналитической геометрии (афинных преобразований у нас не было)
5. научился немного в матрицы: складывать, умножать, находить обратную, решать простейшие матричные уравнения, метод гаусса, и все такое

Помимо этого пытался учить теоремы и доказательства.

Вопрос, каким образом я могу повысить свой уровень математической подготовки? Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.
Слышал, что в РФ есть какие-то крутые магистратуры, связанные с ML, только туда не поступить, так как все места заняты выходцами из мфти и вшэ, уровень развития которых намного опережает уровень развития выпускников других вузов.
Аноним 11/01/20 Суб 21:16:54 1570243361
>>1570218
>Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.
В таком случае останется только самому замутить стартап с нейросетями и бигдатой.
Аноним 11/01/20 Суб 21:22:50 1570246362
>>1570218
Матподготовка на самом деле нужна как раз для собеседований и как раз вот по перечисленным тобой темам. Из специфичного тебе надо для мл только некоторые вещи из статистики, ну и хорошо понимать как многомерные функции и оптимизация работают. После матфака один хрен ничего бы не помнил, а ты вон даже мотивированный и заинтересованный. Учи модели, пиши их, соревнуйся на каггле, там и поймешь какие знания недостаточны
Аноним 11/01/20 Суб 21:29:31 1570248363
Всем привет
Я-зумер. Буду вкатываться в вашу сферу с помощью платных (дада, я еблан) курсов Яндекса. Надеюсь, все получится
Аноним 11/01/20 Суб 22:09:55 1570284364
>>1570218
>жутко хочу вкатиться в мл ресерч.
Но зачем? Потратишь десять лет на вкат, чтобы работать за зарплату кассира. Так себе перспективы.
Аноним 11/01/20 Суб 22:14:22 1570287365
>>1570218
пиздуй в НМУ

>>1570246
и как это поможет в ресерче?
>учи модели, пиши их, соревнуйся на каггле
заебись ресерчер будет
Аноним 11/01/20 Суб 22:58:15 1570325366
>>1570248
В чем проблема с плантыми курсами/вузиком, если ты реально, что-то изучишь и найдешь работу 300кк в нс? Платное образование - это инвестиция
Аноним 11/01/20 Суб 23:15:34 1570340367
>>1570287
>НМУ
Нормальный такой совет для начинающего ml
Аноним 11/01/20 Суб 23:19:09 1570345368
>>1570325
вряд ли такое найду
мне бы найти работу джуном в Польше, ибо своя работа надоела
Аноним 11/01/20 Суб 23:23:58 1570348369
>>1570325
>Платное образование - это инвестиция
А опыт кто даст? Без опыта работодателю ты не нужен.
Аноним 12/01/20 Вск 00:23:29 1570409370
Аноним 12/01/20 Вск 00:24:12 1570410371
>>1570409
>подразумевая, что их охуеть как много
Аноним 12/01/20 Вск 02:03:59 1570481372
Аноним 12/01/20 Вск 09:01:29 1570544373
>>1570031
> Только вот kernel trick работает так же как линейный SVM, только в пространстве поражденном ядром (reproducing kernel hilbert space).
>>1570481
> Ну да.
А это точно? Я что имею в виду. Некоторые реализации svm, дающие возможность покопаться в потрохах алгоритма, позволяют такой финт ушами, как умножение датасета на кернел, а затем обработку этой хуйни линейным svm. Я специально пробовал, результат ровно тот же, если использовать нелинейную svm с тем же кернелом. Может быть "нелинейные" svm это просто враппер для удобства использования, а по факту там просто данные умножаются на кернел и обрабатываются линейной svm?
Аноним 12/01/20 Вск 09:06:41 1570545374
>>1570544
Так можно делать, все дело в затратах памяти, алгоритмической сложности и нужны ли опорные вектора.
Аноним 12/01/20 Вск 14:44:32 1570798375
>>1570340
а как ещё вкатываться в ресерч без фундаментальной математики? предлагаешь ему всю жизнь гиперпараметры перебирать и графики строить?
Аноним 12/01/20 Вск 15:55:32 1570833376
>>1570798
>а как ещё вкатываться в ресерч без фундаментальной математики?
Судя по тому, что он написал, учится он в техническом вузе, какое НМУ инженерам или прогерам? Что там объясняют понимают лишь единицы, и почти в 99% случаев это люди, которые учатся на мехмате или матфаке и хотят заниматься фундаментальной матешей. А ресерч в мл это совсем другая область.

покормил
Аноним 12/01/20 Вск 18:14:58 1570934377
>>1570833
>фундаментальной матешей
Риали этим говнищем еще кто то и хочет заниматься? Ох лол
Аноним 12/01/20 Вск 18:22:07 1570939378
>>1570934
>Риали этим говнищем еще кто то и хочет заниматься?
Ну вот в НМУ можешь зайти, там полно таких. Ну и среди школьников сейчас распространено мнение, что математика, а особенно фундаментальная, это круто и вообще математики самые уважаемые в мире люди.
Аноним 12/01/20 Вск 18:39:16 1570947379
>>1570218
> научился решать несложные пределы
Нужно для понимания производных
>еще раз потренировался в нахождении производных
Основа градиентного спуска вообще
>научился раскладывать функции в ряды тейлора и маклорена
Линеаризация - куда без нее
>еще раз узнал про методы аналитической геометрии (афинных преобразований у нас не было)
Нужна для понимания линала
>научился немного в матрицы: складывать, умножать, находить обратную, решать простейшие матричные уравнения, метод гаусса, и все такое
Все что нужно для понимания LU и SVD

Для первокурсника у тебя нормальная подготовка. В ML основная задача не в математике, а ее интерпретации.

Типа вот есть математический маятник, есть диффур, его описывающий. Есть типичная преподша, закончившая мехмат, которая вызубрила, как решается такой диффур, но совершенно не понимает, как это относится к реальным физическим процессам. Таких людей дохуя. У них есть дипломы, они зарабатывают знаниями на жизнь. Но при этом совершенно не умеют интерпретировать свои результаты. Для этого есть другие люди - физики. И с ML примерно такая же ситуация. Там нет особо сложной математики. Вся сложность там в интерпретации.

Поэтому, отвечая на твой вопрос, читай arxiv-sanity и выписывай темы, которые не знаешь, затем прорабатывай. Перед этим почитай книги по DL, cs231n, популярные презентации ЛеКуна посмотри.

>Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.
Ну это ты им льстишь. Впрочем, так думать полезно

>Слышал, что в РФ есть какие-то крутые магистратуры, связанные с ML, только туда не поступить, так как все места заняты выходцами из мфти и вшэ, уровень развития которых намного опережает уровень развития выпускников других вузов.
Эти люди даже в мухосранском заборостроительном будут лучше тебя. Вузики дают сраный энтрилевел, а волшебного места, попав в которое ты поумнеешь, нет
Аноним 12/01/20 Вск 18:46:44 1570951380
>>1570798
>а как ещё вкатываться в ресерч без фундаментальной математики?
Фундамент ему дают.
А то, что дают в НМУ, это фундамент для теорфизиков. С каких пор фундамент для теорфизиков стал каким-то фундаментным фундаментом, и почему все должны все бросить и разрабатывать теории струн, которые не обладают предсказательной силой - не понятно
Аноним 12/01/20 Вск 19:21:48 1570965381
>>1570934
> Риали этим говнищем еще кто то и хочет заниматься? Ох лол
Не все же клоуны типа тебя.
Аноним 12/01/20 Вск 19:41:13 1570980382
Ну надо же, как вы все сегодня разговорчивы.
С высшим образованием для ML понятно.
А что с переквалификацией в ML уже выпустившихся и работающих? Вкатываться джуном/интерном?
Аноним 12/01/20 Вск 19:52:55 1570995383
>>1570980
зумерошизика на тебя нет
Аноним 12/01/20 Вск 19:57:40 1571001384
>>1570995
Только про него вспомнил, лол.
Небось не оклимался после праздников.
Аноним 12/01/20 Вск 20:35:02 1571033385
157770908012134[...].jpg (81Кб, 400x266)
400x266
>>1570965
>Не все же клоуны типа тебя.
Ой, а чому теологию например не изучают?
Аноним 12/01/20 Вск 21:42:31 1571090386
>>1570939
>Ну и среди школьников сейчас распространено мнение, что математика, а особенно фундаментальная, это круто и вообще математики самые уважаемые в мире люди.
Тогда бы школьницы Перельману проходу не давали.
Аноним 12/01/20 Вск 21:45:52 1571092387
>>1571090
Это мнение 10-11классников, которые сдают егэ по матеше и мечтают зашибать бабки за то что они такие крутые умеют решать задачи с параметром, а не школьников в целом
Аноним 12/01/20 Вск 22:22:04 1571124388
LSTM в состоянии генерации символов производит их на основе своей памяти и предыдущего символа?
Аноним 12/01/20 Вск 22:35:16 1571142389
Аноним 12/01/20 Вск 22:36:36 1571145390
Для ML достаточно математики уровня первых двух курсов хорошего инженерного вуза. Дискасс.
Аноним 12/01/20 Вск 23:48:11 1571226391
>>1571145
Для вката - да, для ресерча скорее нет.
Аноним 13/01/20 Пнд 00:21:38 1571274392
>>1571226
Ну для ресерча нужна профильная мага по ml/ds и пхд потом.
В магистратуру после инженерного вуза поступить скорее всего будет не сильно сложно, особенно если были методы оптимизации и тервер матстат
Аноним 13/01/20 Пнд 00:41:16 1571297393
>>1571145
В инженерном вузе инфу-то дают, то не контролируют ее никак. Вызубрил, допустим, линал, сдал - и все, в дальнейшем обучении он тебе не требуется. Еще инженерам хуево дают тервер.
Так что с точки зрения инфы - в целом правда, но надо еще суметь все выучить, а инженерный вуз будет сильно тебя отвлекать нерелевантной хуйней.
Аноним 13/01/20 Пнд 14:48:10 1571691394
087.gif (110Кб, 326x281)
326x281
Короче, факт в том, что в настоящее время все мы наблюдаем очередной кризис жанра в нейроночках. Вялые попытки наебенить побольше слоев, всякий прунинг итд. Все это уже было и привело ровно ни к чему, но зумера этого не знают, потому что не читали того же Хайкина толку-то его читать с клиповым мышлением. Прошлый раз ситуацию спасли новые архитектуры (+ закон Мура), вкратце - диплернинх. Но сейчас уже и из этого выжали все, что можно, нужно двигаться куда-то еще. И на данный момент единственный выход и дальнейшее развитие возможно только в сторону написания нейроночек на функциональных ЯП и затем доказательства нужных свойств в пруверах. Подход Вапника (построение теории и уже на ее основе вывод алгоритмов) так же начисто проебан, практически ни у кого нет на это мозгов. Остается вариант формализации элементов нейроночек в MLTT/HoTT/COIC/т.п. и экстракции новых архитектур из формулировки требуемых свойств в виде теорем в зависимых типах. Даже на неразрешимость такой задачи на тактиках похую - есть quickcheck/quickchick, да и логика нейроночек не слишком сложная. Можете скринить, так и будет, когда какой-нибудь Сунь Хуй Чай напишет на коке хуйню, уделывающую весь современный стейтофзеарт. Собственно, некоторые поползновения уже имеются - https://github.com/liaopeiyuan/zeta нейроночки на окамле. Минусов такого развития событий я вообще не вижу, одни плюсы включая соснувших зумеров-вкатывальщиков, которые уж в кок точно не вкатятся никогда.
Аноним 13/01/20 Пнд 15:01:46 1571698395
>>1571691
>дальнейшее развитие возможно только в сторону написания нейроночек на функциональных ЯП
Т.е., что нейронки являются неработоспособным говном ты не рассматриваешь?
Аноним 13/01/20 Пнд 15:23:09 1571725396
>>1571698
> Т.е., что нейронки являются неработоспособным говном ты не рассматриваешь?
Нет конечно. Зачем мне рассматривать фантазии двачного кефирщика?
Аноним 13/01/20 Пнд 15:28:55 1571740397
>>1571725
>Нет конечно
А, ну ладно тогда
Аноним 13/01/20 Пнд 15:32:36 1571751398
>>1571691
хорошо, что ты все свои высеры помечаешь картинками

>>1571698
ну только они уже работают
Аноним 13/01/20 Пнд 15:40:41 1571769399
>>1571691
>Короче, факт в том, что в настоящее время все мы наблюдаем очередной кризис жанра в нейроночках
Мы наблюдаем, лол. Какой год кризиса пошел в твоем манямирке, пятый?

>Но сейчас уже и из этого выжали все, что можно, нужно двигаться куда-то еще
Движение сейчас идет в сторону замены convolution'ов attention'ами, спарсификацией и соответствующей модификацией железа и софта (текущие фреймворки для перемножения sparse матриц плохо подходят).
Прунинг - это половичнатое решение, когда обучение ведется dense, а спарсификация производится потом. ConvNet'ы -= еще более половинчатое решение, когда спарсификация жестко зашита в архитектуру.

Иными словами, сейчас размеры сетки (данной архитектуры) пропорциональны количеству гигафлопсов, которые она потребляет, то в будущем количество весов будет расти, а гигафлопсы - нет. Так и работает мозг, который опыта помнит дохуя, но в данный момент времени потребляет энергию только малая его часть, а если бы мозг заработал сразу целиком, он очень быстро бы перегрелся и умер в собственных продуктах жизнедеятельности.
На железе подобное поведение сейчас только эмулируется.

> Подход Вапника (построение теории и уже на ее основе вывод алгоритмов) так же начисто проебан
>экстракции новых архитектур из формулировки требуемых свойств
Потому что этот подход аргументированно разъебан ЛеКуном. http://www.abigailsee.com/2018/02/21/deep-learning-structure-and-innate-priors.html
Когда ты строишь теорию о своем датасете, далее ты изучаешь уже не сам датасет, а свои предположения о нем. Этот подход годится для коммерческих решений, но не для магистрального направления науки.

Про борщемечты типа "я не знаю математики, пусть за меня ее знает КОК" отдельно посмеялся.
Аноним 13/01/20 Пнд 18:33:09 1571905400
>>1571769
> этот подход аргументированно разъебан ЛеКуном.
И поэтому svm из 90х (основанная на принципах из 60х) кое-где в NLP досихпор sota, а бустинг и в других областях машобчика. А про ленеты многие даже не слышали.
> Про борщемечты типа "я не знаю математики, пусть за меня ее знает КОК" отдельно посмеялся.
Кок не про это вообще, как и формализация нейроночек.
Аноним 13/01/20 Пнд 18:35:08 1571907401
Аноним 13/01/20 Пнд 18:55:33 1571917402
>>1571905
Дежурный шизик опять что-то пукает, не поняв даже пары предложений из поста
Аноним 13/01/20 Пнд 20:09:46 1571981403
>>1571751
>ну только они уже работают
Так себе работают.
Аноним 13/01/20 Пнд 22:13:33 1572127404
Котятки, я ньюфаня и у меня совсем тупой вопрос:

Делаю я по гайду простейшую нейронку, которая ,
допустим, учится XOR выдавать.
Скрытый слой, сигмоида, её производная, блаблабла
И всё работает, всё замечательно.

По другому гайду другую простейшую нейронку для классификации котиков и собачек. Там в примере используется RelU.
И тоже всё работает и заебись.

Но стоит мне самому засунуть эту Relu и её производную вместо сигмоиды в первую нейронку,
как всё идёт по пизде, веса улетают в бесконечность, гроб гроб

И вот понимаю, что функции разные, но что нужно менять конкретно, чтобы засунуть Relu вместо сигмоиды, и оно не развалилось всё?

Пробую уже не из говна и палок , а в том же керасе, тоже по примеру.
С Relu работает, за 2000эпох постепенно выучивается, тупо activation="relu" меняю на activation="sigmoid" и всё, нихуя не учится. Или что-то нужно менять ещё?
(в последнем слое у меня софтмакс во всех вариантах, его я не трогаю. Или надо, но на что?)

Примеры своего говнокода не привожу, думаю, есть какое-то адекватное универсальное объяснение.
Аноним 13/01/20 Пнд 22:34:23 1572141405
>>1572127
>И вот понимаю, что функции разные, но что нужно менять конкретно, чтобы засунуть Relu вместо сигмоиды, и оно не развалилось всё?
При проектировании нейронки тебе нужно понимать, какая область значений у твоей нейронки, и активацию на последнем слое выбирать с учетом этого.
Xor имеет значения либо 0 либо 1, поэтому выбирать relu на последнем слое глупо, потому что у relu область значений от 0 до бесконечности. Хотя принципиально возможно за счет промежуточных слоев ограничить выход, все равно ты потратишь мощность нейронки на глупую работу. Так что при решении задач типа 0/1 последний слой всегда должен быть sigmoid, либо линейным (зависит от твоего лосса).

Если у тебя задача регрессии, и Y датасета имеет произвольные значения (например, -5), то сработает только линейная активация на последнем слое, надеюсь понятно, почему.

Это не касается промежуточных слоев, только последнего.

Что касается промежуточных слоев, то правило совсем простое - используй relu всегда (если совсем хипстер, можешь заменить relu на swish, но сильно это не поможет). Если у тебя активация с насыщением в более чем 1-2 слоях подряд, твоя сетка столкнется с проблемой vanishing gradients, поэтому если тебе все-таки нужны сигмоиды в промежуточных слоях (например, для сложной логики типа LSTM), нужно позаботиться о том, чтобы градиент распространялся мимо сигмоидов, которые имеют нулевой градиент во всем диапазоне, кроме близкого к нулю, и поэтому имеют свойство там застревать и не обучаться.
Аноним 13/01/20 Пнд 23:20:19 1572184406
>>1572141
Спасибо, я вроде разобрался.
Думал у меня с сигмоидой вообще не учится, а оказалось что просто очень медленно.
Вот про swish читал как раз, но так и не понял, как его задавать.
Какая у него производная? Я какую-то хуйню насчитал вместо производной(
Аноним 13/01/20 Пнд 23:24:06 1572189407
>>1572127
Входные данные в каком диапазоне? Возможно, надо их нормализовать. Из-за этого с релу могут взрываться градиенты (а с сигмоидой все будет "норм")

Аноним 13/01/20 Пнд 23:25:04 1572193408
>>1572189
Это большая загадка, какие входные данные у xor'а
Аноним 13/01/20 Пнд 23:27:38 1572200409
image.png (78Кб, 300x284)
300x284
Аноним 14/01/20 Втр 13:00:09 1572477410
15753581873060.png (774Кб, 3311x3366)
3311x3366
b1ab200750c3fb6[...].png (122Кб, 512x512)
512x512
>>1572193
> большая загадка, какие входные данные у xor'а
>>1572200
> любые
> булева логика с двумя значениями 0 и 1
> большая загадка, какие входные данные могут быть у булева типа
> любые
Аноним 14/01/20 Втр 13:05:49 1572484411
>>1572477
Да, любые, для тебя даже картинку нашел
А ты высрал что-то невнятное про булевы типы.
Аноним 14/01/20 Втр 14:19:47 1572552412
xor-table.png (15Кб, 394x326)
394x326
>>1572484
Мань, xor это булева функция, принимающая на вход два значения из булевых типов и выдающая на выходе значение также из булева типа, Bool -> Bool -> Bool. Таблица значений xor пикрелейтед, а что ты там за картинку с нечёткими множествами (?) высрал, я не знаю.
Аноним 14/01/20 Втр 15:55:40 1572616413
Аноним 14/01/20 Втр 16:01:42 1572624414
Аноним 14/01/20 Втр 16:53:31 1572664415
>>1572624
Охуеть гений. До идеи МакКаллока и Питтса о нейронах в нейроночке на бинарной логике (1943 год) он уже додумался. До адаптивной динамической структуры сети, определяемой конкретной задачей, тоже (Ивахненко, 60е годы). Если ещё до генетического программирования додумается, вообще атас будет.
Аноним 14/01/20 Втр 17:51:43 1572711416
Скоро машобу будут учить не связанные с кодерством специальности. Превратится в опцию экселя.
https://www.youtube.com/watch?v=4_RmPnU-UzA
Аноним 14/01/20 Втр 18:59:58 1572764417
>>1572624
>хабр
Что ты в этом петушарнике забыл?
Аноним 14/01/20 Втр 20:45:37 1572846418
>>1572711
Деда, ты? Еще с нулевых программирование учат на НЕ технических направлениях на бакалавриате в нормальных вузах. Уверен, на направлениях связанных со статистикой (менеджмент, финансовые, социология, етц.) уже изучают МЛ хотя бы в эксперементальном формате

инб4 зеленая стрелочка рашкообразование
Аноним 14/01/20 Втр 21:31:17 1572880419
>>1572552
Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курс, в нму не пошёл ибо разъёбываю дип лёрнинг (nlp, хотя сейчас shallow нейросети, неевклидовы модели векторных представлений слов для нужд кластеризации/факторизации текстов, но вообще больше в глубоких сетях, тоже nlp), так что ты мне не ровня.
Аноним 14/01/20 Втр 21:50:51 1572906420
>>1572880
>я я я

Слишком слабо не знать информатику за 8 класс или когда там проходят логику.
Аноним 14/01/20 Втр 22:20:10 1572935421
>>1572880
>Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курс
ололо диванон травля
Аноним 14/01/20 Втр 22:37:45 1572943422
a36ed91bc6bbdfa[...].jpg (74Кб, 600x596)
600x596
Ну и срач вы тут развели.
А сейчас снова тупые вопросы:
беру код из примера одного для pytorch-а, этот вот:

https://pastebin.com/tzZ88vUK

он работает, но чёт ругается сильно вот такими нехорошими словами:
..\torch\csrc\autograd\generated\python_variable_methods.cpp:1204:

UserWarning: This signature for add_ is deprecated:
add_(Number alpha, Tensor other)

Пример кода из 2017 года, а у меня последняя версия торча, на что он ругается не понимаю(
Аноним 15/01/20 Срд 06:34:08 1572997423
15787290461120.jpg (100Кб, 600x450)
600x450
>>1572880
> Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курс, в нму не пошёл ибо разъёбываю дип лёрнинг (nlp, хотя сейчас shallow нейросети, неевклидовы модели векторных представлений слов для нужд кластеризации/факторизации текстов, но вообще больше в глубоких сетях, тоже nlp), так что ты мне не ровня.
Ага, уровень образования в Блинолопатии сразу видно. Зумер медалист не знает, что такое булева функция. Таблицу умножения хоть знаешь, гейний? Пикрелейтед ксиву победителя всероса не ты обронил?
Аноним 15/01/20 Срд 08:27:25 1573007424
>>1544056
курс на курсере how to win a kaggle competition
Аноним 15/01/20 Срд 09:59:18 1573044425
>>1572997

Хоть один публично доступный пруф регистрации российских номеров ТС по видеопотоку за все это время запилили? Гугл забит сугубо нерабочими велосипедами разной степени упоротости, в половине закрытых решений по факту нихуя не машинное обучение и даже не нейрон очка. Вкатывайтесь лучше в js-программирование адаптивных интерфейсов, детки, вам со всеми этими бесполезными понтами там самое место.
Аноним 15/01/20 Срд 13:01:37 1573121426
Посоны, таки получилось обучить нейроночку на распознавание текста.
Только есть одна проблема - низкая инвариантность, полагаю это из-за того, что мой датасет был на одном шрифте одного размера.
Я могу еще сгенерировать картинки с другими шрифтами и размерами и даже добавить наклон, сделать на цветном фоне, добавить размытие.
Но каковы вообще шансы, что нейроночка после обучения на нескольких шрифтах научится воспринимать и другие?
Аноним 15/01/20 Срд 13:21:13 1573160427
Ребята, кто нибудь слышал у новом мега мощном алгоритме биморф, который достигает 100% качества? Слышал что он не переобучается и может работать на бесконечно больших данных.
Аноним 15/01/20 Срд 13:21:25 1573161428
>>1573121
Вчера обучал на датасете в 20к картинок, но там был один шрифт одного размера на белом фоне.
Сегодня взял еще текста из книг и сгенерировал картинки с 4-мя другими шрифтами, добавив рандомный наклон и небольшое изменение размера шрифта.
Думаю еще нужно рандомных фонов закинуть, чтобы нейроночка не только на белом фоне умела определять.
Алсо, по обучению на том шрифте нейроночка уже лучше тессеракта по точности
Аноним 15/01/20 Срд 13:49:14 1573202429
Аноним 15/01/20 Срд 21:10:21 1573690430
U2FsdGVkX18x3UL[...].jpeg (98Кб, 714x944)
714x944
>>1572997
>уровень образования в Блинолопатии
Петух, ты там со шпротляндии или незалежной перемогаешь?
Аноним 16/01/20 Чтв 00:10:40 1573860431
15100328371990-b.jpg (65Кб, 604x465)
604x465
Котаны, че по нейронным машинам Тьюринга, где почитать-пощупать-спиздить себе в код?
Пытаюсь в разумного чатбота с памятью не как у рыбки
Аноним 16/01/20 Чтв 03:47:02 1573935432
>>1573690
Не рвись маня, ну в каком ещё университете мира (который даже внешне больше напоминает африканский приют для бомжей) будут изучать философию и историю на кафедре информатики, правильно, в свинособачьем.

https://www.youtube.com/watch?v=znJd0i6wKQY
Аноним 16/01/20 Чтв 03:55:08 1573937433
>>1573935
>Не рвись маня, ну в каком ещё университете мира (который даже внешне больше напоминает африканский приют для бомжей) будут изучать философию и историю на кафедре информатики
В Гарварде?
Аноним 16/01/20 Чтв 08:47:16 1573966434
>>1573937
Тссс. Не ломай залетышу картинку мира. Для него это болезненно.
Аноним 16/01/20 Чтв 08:57:04 1573971435
>>1573937
>>1573966
Клоуны. Сравните вклад в машобчик той страны, где Гарвард, с вкладом Сладкохлебии.
Аноним 16/01/20 Чтв 09:39:48 1573989436
>>1573971
>вклад в машобчик индусов и китайцев в той стране, где Гарвард
Аноним 16/01/20 Чтв 10:09:32 1573999437
>>1573989
> вклад в машобчик индусов и китайцев в той стране, где Гарвард
Даже это показательно, если сравнить с вкладом в машобчик узбеков и таджиков в Сладкохлебии. Кто едет туда, а кто к нам.
Аноним 16/01/20 Чтв 12:02:43 1574072438
>>1573935
>будут изучать философию
И получать степень професора философии? Дай подумать...
Аноним 16/01/20 Чтв 12:04:19 1574073439
>>1573999
>а кто к нам
Хохол, причем здесть твоя укропомойка?
Аноним 16/01/20 Чтв 12:11:45 1574076440
>>1574073

В отличии от ваты мы из штанов от гордости за постсовковую территорию сладкого совкового хлебушка не прыгаем и работаем и живем там где нам выгодно и удобно.
Аноним 16/01/20 Чтв 12:45:22 1574097441
>>1574076
>от гордости за постсовковую
Так у вас и государства не было, чего вам прыгать? Благодаря совку и образовалось это недорозумение с землями которые вам никогда ее пренадлежали.
Аноним 16/01/20 Чтв 12:52:34 1574101442
>>1574097
> с землями которые вам никогда ее пренадлежали.
Типа, тебе в Блинолопатии что-то принадлежит кроме соплей в носу? Да даже говно, которое ты высрал, оно не твое, а управляющей компании.
Аноним 16/01/20 Чтв 12:57:49 1574105443
>>1574101
>Блинолопатии
Селюк, плез. Пиздуй к свиньям на цензор и перемогай там, здесь ваша мерзкая хохлявая пиздобратия не нужна.
Аноним 16/01/20 Чтв 12:59:20 1574107444
>>1574101
Типикл хохол, всех не любит, все смешивает с говном, сам нихуя не может.
Аноним 16/01/20 Чтв 13:07:03 1574111445
Аноним 16/01/20 Чтв 13:09:25 1574114446
Аноним 16/01/20 Чтв 13:20:51 1574120447
>>1574114
Есть такая работа - Родину ненавидеть.
Аноним 16/01/20 Чтв 13:26:21 1574127448
>>1574120
> Есть такая работа - Родину ненавидеть.
Так всё наоборот - родина меня ненавидит.
Аноним 16/01/20 Чтв 13:29:45 1574128449
>>1574127
Ого! Тебя аж целая Родина ненавидит! Тяжело тебя живётся, но ты держись там.
Аноним 16/01/20 Чтв 13:57:15 1574144450
Нахуя вы этот срач развели вообще. Хохлы, блять, русофобы, ватники, вам не похуй, а?
Аноним 16/01/20 Чтв 14:25:01 1574174451
>>1574144
>вам не похуй, а?
Нет конечно.
Аноним 16/01/20 Чтв 14:35:33 1574187452
>>1574144
Это тот же дегенерат, который кефирщик и математику не понимает. Помимо этого ещё и путриот, что не удивительно - мозгов-то нет.
Аноним 16/01/20 Чтв 14:46:18 1574199453
>>1574187
Зато все математики мерзавцы и подлецы, русофобы и предатели.
Аноним 16/01/20 Чтв 15:14:37 1574220454
>>1574199
>русофобы и предатели
Как что-то плохое.
Аноним 16/01/20 Чтв 15:26:16 1574228455
Аноним 16/01/20 Чтв 15:44:14 1574245456
157770908012134[...].jpg (81Кб, 400x266)
400x266
>>1574220
>Как что-то плохое.
Для тебя это норма
Аноним 16/01/20 Чтв 16:21:11 1574287457
>>1574245
Любишь жрать говно, но родное?
Аноним 16/01/20 Чтв 16:23:19 1574290458
Антоны, где почитать про визуализацию работы нейроночек?
У меня InceptionV3 + lstm с аттеншионом, хочу посмотреть, какие признаки нейроночка выделила.
Аноним 16/01/20 Чтв 16:24:24 1574292459
>>1574287
>Любишь жрать говно, но родное
Либираш, почему только вы жрете говно? Ни я ни мои знакомые его не едят. Может просто ты никчемный, озлобленный неудачник?
Аноним 16/01/20 Чтв 16:28:28 1574298460
Аноним 16/01/20 Чтв 16:28:41 1574299461
>>1574292
Скажи, хуесос, почему я не могу на так называемой родине заниматься фундаментальной математикой и чтобы не сосать хуи и не есть говно вынужден работать на зарубежной удаленке или перекатываться за бугор? Если вы, гниды, не можете удержать свою интеллектуальную элиту, завалите хлебальники и не мешайте людям жить так, как они хотят. Вам никто ничего не должен.
Аноним 16/01/20 Чтв 16:33:27 1574304462
>>1574299
>родине заниматься фундаментальной математикой
Почему меня должны ебать проблемы матанопетушни? Хотя может потому, что твоя маняматика говно без задач и никто не хочет содержать таких бесполезных хуесосов как ты? Если еще один токсичный, бесполезный кусок говна покинет мою страну, я только буду рад.
Аноним 16/01/20 Чтв 16:39:22 1574312463