>>1105498 (OP)
Зачем сделали ограничение в минуту? Играть, так играть же.

>>1105524
Цель этой статьи - показать, что альфа зеро превосходит по силе старые методы. Одна минута на ход для этого вполне подходит. Если они будут потом участвовать в каких-то официальных турнирах, сделают так, чтобы работало по турнирным ограничениям.

Выступление одного из дедов машинлернинга, в котором он осуждает нынешние нравы молодежи: https://www.youtube.com/watch?v=ORHFOnaEzPc
Местным хейтерам понравится. Вернее, понравилось бы, если бы они понимали английский.

>>1105644
Интересно, может ли сеть ломать простые алгоритмы шифрации?

>>1105646
Наверное, только совсем тривиальные. Надо пробовать. Попробуй ты, например. Если что-то выйдет, можешь даже опубликоваться.

>>1105645
>Выступление одного из дедов машинлернинга
>Ali Rahimi
кекнул с нейроноблядей

Нельзя ли писать нейроночки более декларативно?

>>1105760
>Software 2.0 is not going to replace 1.0 (indeed, a large amount of 1.0 infrastructure is needed for training and inference to “compile” 2.0 code), but it is going to take over increasingly large portions of what Software 1.0 is responsible for today.

>>1105760
>ДО 2Х УСКОРЕНИЕ ПОИСКА ПО КЛЮЧУ ПРИ ДО 15 РАЗ МЕНЬШЕМ ИНДЕКСЕ
Допустимо ли предиктор называть индексом?

>>1105774
Как по мне, то это завист от того обеспечивает он 100% точность.
Если да, то он, дефакто, индексом и является(изоморфен), и из него за конечное время можно класический индекс построить обратно.

>>1105777
Ну вот у меня сильное подозрение, что 100% он не обеспечит, иначе это архиватор Бабушкина.

>>1105776
>Через 20 лет "Программирую на c++" == "Подковываю лошадей"

Конечно, ведь есть божественный Rust, а С++ говнище которое не могут до нормального вида довести и уже не смогут. Спасибо комитету по стандартизации и Бьерну Страуструпу

>>1105760
Ну первая ссылка - хуйня для попиариться.
А вот насчет индексов - интересно. Ссылка на ту статью https://arxiv.org/pdf/1712.01208.pdf
Поясните, как тензорслесари байтослесарю, что значит Model Err для B-Tree на Figure 6?

>>1105784
> Спасибо комитету по стандартизации и Бьерну Страуструпу
Комитет не хочет портить обратную совместимость из-за зиллионов уже написанных строк. А не потому что там долбоебы, которые хотят чтобы крестовики страдали.

>>1105645
Очередной плач маняматика о том что де не поверить гамалогиями нейросети. Ну, а кто же виноват, что маняматика настолько бессильная что реальные задачи ставящиеся бизнесом она решить не в состоянии? Промышленности некогда ждать пока аутисты раскачаются и начнуть доказывать первые робкие baby-теоремки, будет тут некоторый элемент алхимии и искусства, обычное дело.

>>1105827
У тебя два стула выхода.
1. Увеличить присутствие второго класса хоятя бы до 10%, например, сгенерировав фейковые/средние/случайные значения
2. Считать объекты второго класса аномалиями и использовать:
https://en.wikipedia.org/wiki/Anomaly_detection
https://alexanderdyakonov.wordpress.com/2017/04/19/поиск-аномалий-anomaly-detection/

>>1105820
Не надо грязи. Али говорит, что если нельзя доказать теорему, хотя бы демонстрируйте эффекты на предельно простых экспериментах. А если уже начали говорить о чем-то ("internal covariate shift"), то будьте добры определить это, показать его существование, и продемонстрировать его эффект.

На Паскале можно сделать ИИ? А как?

>>1105937
Конечно можно. Так же как и на сях только пишешь нейронку на паскале, ну или враппер для слесарфлоу.

>>1105812
Один хрен ничего сложнее С-с-классами не компилируется спустя 10 лет.

>>1105762
Эти ТПУ вроде бы дорогие ужс. Больше чем на вес золота.

Есть какой-то сайт, где все люди, часто даже без званий докторов наук, пытаются создать свой ИИ или хотя бы высказывают свои восхитительные идеи?

>>1105951
есть, в /b

>>1105951
https://www.reddit.com/r/MachineLearning/ -?
Туда и авторы AlphaGo, например, захаживают
>Hi everyone.
>We are David Silver (/u/David_Silver) and Julian >Schrittwieser (/u/JulianSchrittwieser) from DeepMind. We >are representing the team that created AlphaGo.

https://www.reddit.com/r/MachineLearning/comments/76xjb5/ama_we_are_david_silver_and_julian_schrittwieser/

Пойдет?

https://www.youtube.com/watch?v=89tRnIezxHc

>>1105968
На v2 еще и тренировать нейроночки можно. Ясно, что это круто, просто пока что это людям недоступно, только крупным конторам. Покупку такой штуки можно сравнить с запуском своего коммерческого спутника, например.

>>1105937
>На Паскале можно сделать ИИ? А как?
Почти все API и так на питоне, куда уж дальше деградировать?

>>1105981
Пока что не очень понятно, что под "deep learning teraflops" подразумевается. И памяти там мало. Так что еще смотреть надо, но вообще это хорошо, что разработки идут. Гугловский ТПУ, наверное, не очень эффективен по цене/производительности.

>>1105981
>180 teraflops
и чо, теперь ваши нейронки в 10 раз быстрее нулевой результат будут производить?

>>1105760
Прочитал по диоганале и не понял.
Че уже пишут код нейронные сети?
Когда мне в макдак пиздовать?

>>1106148
Прямо сейчас беги, а то все места займут.

>>1106148
Еще хуже. Код вообще не нужен, его заменяют на нейроночки. Те, кто поумнее уже года три как в маке работают, в менеджеры уже выбились. А когда ты надумаешь, там будет очередь из тысяч бывших кодерков.

На реддите часто говорят, что мол в твиттере обсуждают то, это, всякие новые веяния. Я никогда не пользовался твиттером. Кто-нибудь может вкратце объяснить, как там организован диалог, как их посмотреть? Чтобы быть в курсе последних новостей, мне нужно подписаться на каких-то особо популярных людей (кого?), или на хештеги (какие?), или там есть какая-то группировка твитов по темам? Если ноунейм без подписчиков вроде меня ответит на твит какой-то звезды вроде Карпати, этот твит кто-нибудь увидит? Ответят ли на него?

>>1106177
Этот твит все увидят и ответят, если захотят.

>>1106181
>твит
твит же на русский переводится как вскукарек?

>>1105827
>Есть два класса, первого класса в датасете 97%
Недавно участвовал в конкурсе участники конкурсов догадались в каком, где были как раз такие данные. Стандартные ml-методы хреново работают в таких условиях. Копай в стороны детекции аномалий, денойза, детекции выбросов и т.д.

>>1106184
>твит же на русский переводится как вскукарек?
DA

позвали на собес фронтендером для разработки продукта на нейроночках.
эта успех))

>>1106375
в мтс?

>>1106377
Не, в медицинский стартап. Боже упаси работать в рашкинских продуктовых фирмах.

>>1106396
b...gene?

>>1106375
Советую на собесе обговорить возможность заниматься собственно нейроночками, а не только фронтендом. Ты же ради этого туда идешь. Даже если они не особо хотят тебя к этому пускать, если им силно нужен фронтендер, могут уступить и будет уже договоренность заранее. Иначе потом могут сказать, что не твоего ума это дело.

>>1105855
>>1106207
Спасибо, все поломалось, но обещает выдать как-то.. результат. Наверное. Может быть. Если нейронные сети корпораций не отнимут у меня работу завтра.

>>1106401
ноуп

>>1106468
Ну здрасти, я на это и буду упор делать. Мол читал книги по алгоритмам в мл, в свободное время накатываю numpy.
Я туда тока для этого и иду, что мне в свое время точно такая же идея, как та, которую они реализуют, в голову пришла, поэтому я буду ммаксимум заинтересован в этом проекте.
Даже если до питона будут со скрипом допускать, я все равно скачаю их проектик (я же для него интерфес буду делать) и разберу код.

Господа, накидайте годноты для новичков по LSTM.

Слышал, что язык Go ещё более для даунов чем даже питон. Это правда? На нем можно писать нейроночки? Я могу быстро импортировать тензорплов и писать свои нейросети изучив перед этим Go?

>>1106631
В шапке.

>>1106590
>накатывает numpy
>библиотека про умножение матриц
Ну хотя бы соври им, что уже тензорфлоу накатываешь.

>>1106714
ну тензорфлоу - это конечно же по умолчанию.

>>1106786
А как ты тензорфлоу пользуешься, ничего до этого на нампае не писав? Где предобработка данных, бака?

>>1105498 (OP)
Меня не забанят на каггле, если я создам второй аккаунт для тестирования решений? Как может это выясниться? Разумеется, в победители не мечу, просто два сабмишена в сутки не хватает для тестирования гипотез.

>>1106849
Вполне возможно. Могут вычислить по айпи или по совпадению решений, например. Раньше абьюзеров удаляли.

>>1106849
тестируй локально, разбей трейн на трейн, кросс-валидацию и трейн; и тестируй

>>1106895
Обучающая выборка и так очень маленькая в том соревновании.
>>1106858
А каким образом? Я же засылаю результаты, а не код, а они каждый раз отличаются. А айпи может совпадать, если два программиста живут рядом или это общага, например.
Я же не собираюсь брутфорсить решения, перебирая их, я просто хочу, чтобы в день у меня было 4 или 6 попыток вместо 2.
Если засылать с разных айпи, не забанят?

>>1106908
Они регулярно банят клоны, уж не знаю, как вычисляют. Не думай, что ты единственный хитрец.
Если обучающая выборка маленькая - часто используют сторонние данные, обычно правилами это разрешено.

>>1106913
НЕТУ ТАКИХ ДАННЫХ БЛЕАТЬ, ГДЕ Я ТЕБЕ ФОТКИ ОПРЕДЕЛЕННОГО ТИПА СО СПУТНИКОВ НАЙДУ
Ладно, понял, спасибо, надо было раньше начать делать.

>>1106929
>ГДЕ Я ТЕБЕ ФОТКИ ОПРЕДЕЛЕННОГО ТИПА СО СПУТНИКОВ НАЙДУ
GAN тебе в помощь

>>1106936
новый уровень data augmentation

>>1106849
>Меня не забанят на каггле, если я создам второй аккаунт для тестирования решений?
Забанят и правильно сделают. Это прописано в правилах.

Посоны, поясните за Q-learning когда комбинаций огромное множество как в шахматах.

У меня есть две сетки: одна на теано, другая на тензорфлоу и мне надо их друг к другу подсоединить, самое простое решение -- переписать одну из них или можно как-то ещё?

>>1107670
Они ж обе на питоне, подавай выход одной на вход другой. В чем проблема?

>>1107653
И какой вид нейронки они используют для обучения? Вообще как выглядит схема обучения. В питоне не всегда понятно что и как соединено даже с описанием.

>>1107670
Теано умер, так что лучше переписать на тф.
>>1107707
Тебе книгу по RL тут пересказать или чо? Иди учи основы. Для начала осиль Саттона.

>>1107653
> Посоны, поясните за Q-learning когда комбинаций огромное множество как в шахматах.
Чего тут пояснять, обучение затянется на годы и все. Если бы все было так просто, давно бы уже реализовали. Как вариант, придумать метод оценки результативности во время самой игры, т.е уже по ходу партии как-то отсекать бесполезные ходы. Опять же, вручную это нереализуемо, нужны какие-то эвристики полезности.

>>1107702
Результат можно заценить на pornhub, лол.

>>1107702
Спасибо за ссылку. Сейчас пойдет волна всевозможных фейков. Уходит эпоха человека, похожего на генпрокурора.

Что там из математики для вкатиывания нужно знать? Calculus обязателен?

>>1106908
Щас бы думать что крупнейшая площадка соревнований по машинлернингу не сможет вычислить наебывающего васяна.
Вангую что это делается в полуавтоматическом режиме, сначала твои аккаунты на основании комбинации подозрительных факторов помечает система, а потом уже его рассматривает под лупой специальный человек

>>1107747
>Тебе книгу по RL тут пересказать или чо? Иди учи основы. Для начала осиль Саттона.
Люди умещают весь этот процесс в несколько строк питона.

>>1107860
дело же не в технологиях, а в людях.

Вопрос к работающим машоб-господам: как вы выясняете какие параметры модели дают лучший результат? Просто прогоняете на разных комбинациях параметров и записываете на бумажку? Отдельные тесты? CI/CD?

>>1107891
Один из сотни алгоритмов. И без понимания хотя бы на уровне определений, ты все равно не поймешь почему надо делать именно так.

>>1108007
Random search / Grid search / "(under)Grad search"

>>1108007
Я прогоняю на комбинациях и пишу на бумажку. Пытаюсь интуитивно понять, как параметры влиаят на процесс, но по сути просто случайно ищу.

>>1108021
Это понятно. Меня больше интересует то, как этот поиск запускается (автоматически?), как наблюдается результат (очеты/графики?), что потом происходит с "лучшей" моделью (автоматический деплой на dev/test/stage-сервер?).
Ну и соответственно: какие инструменты для всего этого must have?
>>1108023
Именно тот процесс от которого хочется уйти.

>>1108020
Хорошо, какой использует гугл в Alpha Zero? Например, хочется самому потренировать. Все таки такие задачи интересней, потому что у них нет точной оценки действия.

Батч-нормализация может ухудшать результаты работы нейронки? А дропауты? Везде пишут, что дропауты спасают от переобучения, но на данных оказывается, что это не так. Или просто брать больше/меньше эпох?

>>1108079
Прочти статью, там все расписано. У alphazero нетрадиционная тренировка, собственно в ней и заключается прорыв. Вроде бы кто-то на гитхабе делал клон. Но для го или шахмат там годы вычислений на ГПУ требуются.

>>1108111
Все может ухудшать результаты. Надо уметь правильно применять.

матан для вашей хуйни нужен? а то почитать хочу че это за нейтронные сети, но ебаться с матаном не хочу

>>1108147
нужен и пиздец какой. можешь почитать книгу по алгоримтам аи и офигеешь от формул.

>>1108147
Нужна довольно серьезная математическая база. Без нее максимум что тебе светит - бездумно копировать стоки или целые репозитории с готовыми решениями.

>>1108124
А ты можешь какую-то конкретную статью/конкретную главу из конкретной книги по ухудшениям от дропаутов посоветовать?

Батч-нормализация судя по результатам все-таки улучшает.

>>1108183
>>1108158
Вот предположим я после n-го прочтения догнал алгоритм.
Но как мне это поможет в проде?

А мне интересно наоборот, тут математика где-то кроме вапника есть или только шаманство? Что после него читать, поближе к современным реалиям чтоб?

>>1108220
Не могу. Дропаут - это регуляризация, соответственно можно ожидать более медленной сходимости, например. Вплоть до полной остановки обучения. Еще слышал что на свертках он не работает, но тут не уверен.

>>1108230
Например, ты сможешь правильно применить этот алгоритм, обнаружить и устранить проблемы в его работе, сказать в каких случаях он применим.

>>1108243
Не шаманство, а скорее инженерия, кое-где граничащая с шаманством. Читай шапку.

>>1108243
тут матан на уровне теорфизики 60-х годов, когда еще толком не вдупляли что такое интеграл фейнмана и как суммировать ряды диаграмм. Что-то работало и давало офигенные результаты которые по-другому не посчитаешь. Что-то не работало, хотя вроде бы все делалось по правилам, но в результате получались какие угодно сечения рассеяний. То же самое и с нейронками сейчас: повезет, решишь задачу лучше человека, не повезет, будешь на уровне тупых алгоритмов из предыдущей эпохи болтаться. Но ждать пока матанщики допрут до этого не вариант: все задачи к этому времени уже решат те, кто не боится обосраться прилюдно.

>>1108253
А в чем публичный обсер? Если получилось, публикуешься, нет - закапываешь и копаешься дальше. В этом вся наука, собственно.
В целом хорошо описал ситуацию.

>>1108250
> Не шаманство, а скорее инженерия, кое-где граничащая с шаманством. Читай шапку.
Да нет, кроме Вапника шаманство и есть. Он ещё в 60х годах выделил 2 подхода к машобу. То, что делает он это сложно, не зря у него ушли десятилетия на получение практически ценных результатов. Гораздо проще шаманить, это даже индусы могут.

>>1108254
ну в том, что например суммировать расходящиеся ряды - зашквар, который учат избегать еще на первом курсе.

>>1108255
ты не догоняешь. Когда математика поймет почему нейронки работают это уже будет в школьных учебниках. Ты представляешь, что алгоритм Hamiltonian Monte Carlo уже в 80х считал квантувую хромодинамику, а почему он работает начали понимать только в 2010х? Или ты только кукарекать про индусов можешь?

>>1108262
> Когда математика поймет почему нейронки работают
Пиздец. Почему они работают, было известно ещё в начале прошлого века. Ещё Маккаллоку с Питтсом. Ещё Розенблатту. Арнольд с Колмогоровым пояснили полностью. Вся суть там в представлении функций от многих переменных через суперпозиции частных функций от двух или около того переменных. Вот и все. Остальное это методы аппроксимации зависимости выхода от входов. Все это сто лет уже известно любому знакомому с математикой уровня выше школьного. Вапник же начал вообще с другой стороны, с постановки задачи обучения машины регрессии, классификации и восстановлению распределения вероятности по датасету, что покрывает вообще весь возможный машоб.

>>1108255
Математика всегда догоняет, смирись с этим. Программы тоже сначала пишут, они работают, и только потом через десятилетия математики кое-как на упрощенных моделях формально доказывают работоспособность.

>>1108254
В том что тут есть от 1 до 3 математикодрочеров, которые упорно форсят что текущий подход говно, нужно засесть за формальные доказательства и разработку мат теорий, а потом уже распознавалки песьих анусов писать.

Если бы математика понимала, как работают нейронки, она давала бы четкий ответ, какой оптимальный алгоритм, какие выбрать гиперпараметры.
На деле же этого нет, а есть шаманство и дрочево.

>>1108301
Дебил ты. Просто дебил.

>>1108303
>Дебил ты. Просто дебил
лол, тот анон ппав. как кстати этот ваш черный ящик отлаживается, всмысле дебагинга?

>>1108303
Добавь-ка немного информативности в свои выперды. Что конкретно дал матан нейронкам? Прямой проход - это умножить и сложить, арифметика за третий класс. Алгоритм обратного распространения ошибки? Да его в девятьсот лохматом придумали. Потом надолго затупили на перцептроне. Затем догадались перцептрон по картинке построчно двигать - получилась свертка. Охуеть как сложно.
Сейчас топовая сетка на Imagenet - это NASNet, якобы сгенеренная автоматически. Я смотрю на нее - бред там с точки зрения человека. Типа два ReLU подряд, или Pooling(kernel_size=1, stride=2). Работает как и прежнее говно, но на один процент лучше. Где тут ваш матан, я его не вижу. Точнее, не вижу прогресс благодаря ему.

>>1108301

Честно говоря, на твой вопрос отвечает банальная No free lunch theorem

We have dubbed the associated results NFL theorems because they demonstrate that if an algorithm performs well on a certain class of problems then it necessarily pays for that with degraded performance on the set of all remaining problems.[1]


In 2005, Wolpert and Macready themselves indicated that the first theorem in their paper "state that any two optimization algorithms are equivalent when their performance is averaged across all possible problems".[3] The 1997 theorems of Wolpert and Macready are mathematically technical and some find them unintuitive.

Отсюда и все шаманство, что алгоритм всегда приходится выбирать под изучаемую проблему-пространство. И не существует золотой пилюли.

>>1108347
>No free lunch theorem
Пустая софистика. Из того, что средний анализ мочи / кала / крови по больничке всегда примерно на одном уровне, никак не следует, что анализы не могут служить диагностическими критериями. Хотя бы потому, что оценивается конкретная проба от конкретного поциента.

>>1108347
>не существует золотой пилюли.
Вообще, чисто теоретически выход есть. И я его описывал в этих тредах с полгода назад. Как можно автоматически построить алгоритм под любую конкретную задачу (подобрать параметры уже проще). Есть методы, только те, кто понимает что надо делать, не владеют в достаточной степени кодингом, а с индусов-быдлокодеров что взять. Так и живем.

>>1108244
Энивей, спасибо, попробую увеличить количество эпох.

>>1108249
Ну я так то только вкатываюсь.
Прохужу курс яндексовский на курсере и читаю лекции ВШЭ и Воронцова.
И когда дошло до стенкинга там прям написано: НУ БЛЯ ЕПТ НИКТО НЕ ПОНИМАЕТ ПОЧ СТЕКИНГ РАБОТАЕТ, РАБОТАЕТ И ХУЙ С НИМ
Вот у меня и сложилось впечателение, что если ты не ресерч гай, а простой слесарь в моем случает я просто хотел бы юзать опенсв на сС++ не как обезьяна, то особо глубоко понимать смысл всего этого не стоит.

>>1108273
ты нихера не понимаешь, анон. "Почему они работают" = "почему ожидание функции потерь на тренировочном сете и на тестовом сете различаются на маленькую величину и как она зависит от модели и количества тренировочных примеров". Ты видимо очередной фрик, считаешь что все еще архимед придумал. И Вапника ты видимо не читал, а если и читал то не понял.

Как сделать свое векторное пространство, ну, точнее там svm или что-то там, ну где король + женщина даёт королева

>>1108437
Linguistic regularity это называется. SVM не при чем.

>>1108437
Да, word2vec гугли. Для R есть text2vec, тоже может в это. Но оно не всегда нормально работает, хотя в десятке ближайших векторов правильный ответ есть всегда.

https://www.youtube.com/watch?v=zHjE07NBA_o

>>1108454
Что это за чувак? я почему-то подписан на этот канал, лол

>>1108352
И как?

Анонсы, как данные с жпс препроцессить? У меня, например, есть координаты и время их отправки. Задача - классификация транспортных маршрутов.

>>1108665
Превращай пути в картинки.

>>1108902
>в картинки
а картинки в видеоряд

>>1108321
>два ReLU подряд
Искусственный интеллект, который мы заслужили.

Дут датаслесаря ищут https://drive.google.com/file/d/1TxdrNtuwkD88quuDRRXOkQ3uBtBVJM5T/edit

>>1109068
Уёбывай.

>>1109068
Задача опять про торговлю байткойнтами?

>>1109074
Потому, что вы задрали своими тестами, анкетами, аджайлом и отчётностью в Битрикс24 с оплатой по часам, вот почему.
«Тестовое задание» — это значит, рабовладелец живёт за счёт родителей тех, кого нанимает на работу.

>>1109084
>Мы – подразделение компании ZORG Invest
угадал

>>1109119
Оттуда объяву уже удалили. Нет никакой информации о вакансии, гугл слышал только про одноименную контору в Голландии. Сайт-пустышка. Стремно как-то заниматься таким тестовым заданием.

>>1109122
>Хочу
А я хочу чтобы 15 числа менты оцепили Москву, и начали всячески гнобить хачей и не давать им кучковатся. И что бы хачи разозлились как следует. И чтобы приехал Кадыров на золотом трехэтажном лимузине, и сказал ментам «Идите на хуй». И чтобы менты пошли нахуй. И множество хачей стало собиратся около Европейского, по дороге пиздя всех подряд. И чтобы анон кинул в них бутылки с средством для костров. И чтоб хачи впали в ярость и кинулись терзать подъехавших омоновцев и ввшников, переворачивая и поджигая их автобусы, и насиловалуя женоментов и их немецких овчарок в глазницы. И чтобы разгневанные ноостями футбольные фанаты собрались на другом конце моста Богдана Хмельницкого и повесили несколько хачей на поручнях моста. И чтобы хачи увидели это и кинулись к ним. И чтобы они начали биться за мост, падая с него окровавленными комьями. И что бы лед провалился от веса трупов. И чтобы вконец ебнувшиеся еще летом от жары и дыма планарии стали выпрыгивать из воды и хавать трупы. И чтобы они забили своими разжиревшими телами Москву-реку. И чтобы начался потоп. И ополоумевшие таджики стали выскакивать из заливаемых подвалов со своими грудными таджичатами, кипятильниками из лезвий и горящими метлами, и начали поджигать прохожих и голубей. И чтобы горяшие голуби занесли огонь в Останкинскую телебашню. И чтобы из зала суда вырвался Ходорковский, и вместе с Каспаровым и Шендеровичем, он залез бы на самую высокую башню кремля, и стал кидать в творящийся внизу хаос тысячи сшитых им рукавиц. И чтобы болельщики все дрались и дрались бы с хачами, а хачи дрались между собой, и всех их хуячили бы менты, а ментов бы хуячили подтянувшиеся силы таманской дивизии, которым похуй кого пиздить потому что они загипнотизированы метелью, порхающими рукавицами и горящими голубями. И что бы Путин посреди улицы громко играл на рояле, а Медведев стоял рядом, делал фотки и выкладывал в твиттер. И всю эту хуйню показывали по всем каналам как 9/11. И чтобы хуйня все длилась и длилась, а Путин все играл и играл.

>>1109184
начни с себя

>>1109122
>если я не планирую ими зарабатывать
То дальше хеллоуворда ты никогда не уйдешь.

Как сделать своего интеллектуального агента?

>>1109192
> дальше хеллоуворда
ну ты критичен ко мне, я иногда под линуксы программирую, иногда быдловеб, все по большему счету для себя. На работе это все только коственно надо. Хобби у меня такое прос

>>1109122
А вопрос про карту стоящий? Сколько денег на железо нужно потратить чтобы вкатиться в нейронки? И можно ли купить просто специальный компьютер внешний, без переферии, только с видеокартой?

>>1109285
Можно просто купить еще одну видеокарту, ноя этого делать не буду, моей хватает

>>1109285
Я недавно собрал норм комп с 1080ти (топчик для МЛ сейчас по цене/скорости) за 2к грина вместе с монитором. Очень доволен, в перспективе можно поставить еще одну видеокарту.

>>1105498 (OP)
тренирую сеть из 47 нейронов в одном скрытом слое. Входной слой - 7. Выходной - 1.
learning rate 0.45
библиотека theano.
cpu. Celeron.
10 эпох на 10 экзмплярах тренируются 500 секунд.

Так и должно быть?

>>1109356
Смотря сколько у тебя там данных в эпохе. Ну и
>cpu. Celeron.
Теано умер, кстати.

Почему бывает, что лосс на validation очень маленький (0,03-0,05), а лосс на train раз в 5 больше (0,2). Казалось бы, данные однородные.

>>1109375
Эффект выбросов в тренировочной части и сильно регуляризованной модели.

>>1109373
10 экземпляров, карл. 10 векторов - весь дейтасет. специально обрезал, чтобы посмотреть, за какое время это говно их обсчитает.

>Теано умер, кстати.

а тензорфлоу говно ёбанное, пусть со своим bazelем на хуй идут, раз делать нехуй, кроме как всякое говно без фатального недостатка not invented here втирать.

так что, хоть зайку и бросила хозяйка, он будет живее всех живых. По крайней мере до тех пор, пока гугл будет продолжать толкать свою уёбищную систему сборки.

>>1109416
Тогда это нереально медленно, конечно. Где-то баг.
Попробуй питорч, базарю еще захочешь.

>>1109422
вот только фиг его знает где. Сеть не моя - я готовую либу взял, которая всё делает и уже засветилась в статье. Ну не в теано он же.

Celeron не новый, а ещё 32х битный. Но я сильно сомневаюсь, что даже на таком целероне может так тормозить.

>>1109432
Ненене, 50с на 10 примеров? Как самый-самый минимум в 1000 раз быстрее должно быть, селерон, не селерон.
Возможно, та либа делает что-то гораздо более тяжелое внутри. Смотри по шагам, сделай сам маленькую нейроночку по туториалу, посмотри с какой скоростью она тренируется.

>>1109440
Оупенсорс есть генератор анимешных девочек, если тебе такое подойдет. Прям портретов не видел вообще. Нвидиа сделала генератор фоток знаменитостей, но вроде не оупенсорс. Придется делать самому, скорее всего.
Для игр это было бы шикарно. Если сделаешь, выкладывай.

Есть одна задача, она вполне нормально решается catboost'ом, если бы не одно но... решения нестабильные.

То есть я запускаю вот так
catboost-0.5 fit --learn-set "samples-catboost-2928.train.tsv" --test-set "samples-catboost-2928.test.tsv" --column-description "samples-catboost.column.tsv" --loss-function "CrossEntropy" --custom-loss Precision,Recall --train-dir "samples-out-CrossEntropy-0.1-6-20-28" --thread-count 5 --snapshot-file snapshot.model.bin --iterations 20 --depth 6 --l2-leaf-reg 28 --learning-rate "0.1" --fstr-file fstr.tsv --fstr-internal-file fstr-internal.tsv

Делаю так 10 раз, переименовывая папки, и у меня получаются модели, которые совершенно по разному обсчитываются на тестовой выборке. Где-то очень хорошо, где-то хуже. Очевидно, что в одном случае модель уходит в over fitting, в другом нет.
Я меняю depth (6 & 9), iterations, learning-rate, l2-leaf-reg, loss-function (между CrossEntropy & LogLoss). И обсчитываю каждую пермутацию параметров 10 раз, но если модель себя правильно показывает на тестовой выборке, я прекращаю обсчёт и перехожу к следующей пермутации.

Правильно ли я понимаю, что можно использовать ту модель, которая хорошо себя показывает на тестовой выборке или мне нужно поделить данные на 70%/20%/10% и тестировать каждую модель отдельно на 20% выборки и отдельно на 10% и только при обоюдных успешных тестах — использовать модель? Или полученные модели вообще нельзя использовать, потому что хорошие тесты это просто совпадения, а модели очевидно всегда в оверфите?

>>1109503
> catboost-
Что-то от яндекса? А с нормальным софтом типа deepboost или xgboost такие же проблемы?

>>1109504
Я начал с xgboost, но он меня подвёл кое в чём, поэтому сейчас трахаюсь с catboost'ом, но принципы-то одни и те же

>>1109509
А тебе из каких-то соображений именно бустинг нужен? Мб там SVM с регуляризацией достаточно или чего-то в этом роде.

>>1109524
данные специфичные. Но мб SVM и сработает

>>1109085
> рабовладелец
Я победил в игре "найди хохла"! Ты "галеру" забыл упомянуть

Посаны, я тут подумал, а ведь сыгранные парти по-сути ничем не отличаются от лейблов в обучении с учителем. Массив ходов - батч, награда - правильный лейбл для всего батча.

>>1109628
>,по сути,

фиксую

>>1109547
>Ваши попытки потратить пару лет на вкатывание в нейронки обречены на провал
Так и есть.
>Через два года IT-пузырь родит новый хайп
Уже рождается. Просто до вкатывальщиков на зекаче волна еще не докатилась. Помогать этому я конечно не буду

>>1109542
Поясни картинку и что там на иероглифах. Хули, cnn, rnn, caffe не обязательно значат диплернинг.

>>1109634
Семен, плиз. Следующий хайп в IT - обучение роботов с ИИ, а дальше уже конец, гибель человечества.

>>1109640
а как же веб 4.0 на носимых устройствах

>>1109640
>Семен, плиз
С чего ты решил что я семен, мань?
> Следующий хайп в IT - обучение роботов с ИИ, а дальше уже конец, гибель человечества.
Рановато ему гибнуть, ну и тебя не смущает твой вскукарек, исходя из того что пока промышленное производство редукторов, сервоприроводов и прочей релейтед хуйни для роботов в предзачаточном состоянии? Кроме darpa и пары исследовательских центров этим никто в мире массово не занимается.
Да и хипстеров с подворотами, скачущих по хайповым направлениям, аки твоя матушка по хуям, в обучение роботов не пустят.
>гибель человечества
Ссыканул на всякий случай в любителя примитивных киноштампов.

>>1109640
>Следующий хайп в IT - обучение роботов с ИИ
ах ну да, все предыдущие хайпы позорно слиты. тот же ocr ох какое дно, не грворя о более сложных вещах.

постойте постойте. но я только нампи накатил, а вы уже говорите, что хайпа нет.

вот вы говорите "хайп хайп пузырь сдуется". а посмотрите, как серьезные дядьки пляшут вокруг околоайтишных хайпов.
аж специальность в универы хотят вводить "спец по биткам" лел.

Участники также предлагают Минобрнауки России рассмотреть вопрос разработки и внедрения стандарта профессиональной квалификации «Специалист в сфере блокчейн – технологий».
https://gov-news.ru/%D1%80%D0%BE%D1%81%D0%BF%D0%B0%D1%82%D0%B5%D0%BD%D1%82-%D0%BF%D0%B5%D1%80%D0%B2%D1%8B%D0%B9-%D1%80%D0%BE%D1%81%D1%81%D0%B8%D0%B9%D1%81%D0%BA%D0%B8%D0%B9-%D0%B1%D0%BB%D0%BE%D0%BA%D1%87%D0%B5%D0%B9%D0%BD-%D0%BF%D0%B0%D1%82%D0%B5%D0%BD%D1%82-%D0%BF%D0%BE%D1%8F%D0%B2%D0%B8%D1%82%D1%81%D1%8F-%D0%B2-%D0%B1%D0%BB%D0%B8%D0%B6%D0%B0%D0%B9%D1%88%D0%B8%D0%B5-%D0%BC%D0%B5%D1%81%D1%8F%D1%86%D1%8B/

>>1109641
>а как же веб 4.0 на носимых устройствах
Все последние годы веб упорно стремился в тонкие клиенты, а десктопные приложения превращались в сайты. Скоро конвергенция нахуй, а за ней пустота.
>>1109642
>промышленное производство редукторов, сервоприводов
Речь шла про хайп в АЙТИ.
>любителя примитивных киноштампов
Никаких Терминаторов и восстания ИИ, у среднего человека просто деградирует интеллект ниже критического уровня с очень нехорошими последствиями в условиях урбанизации и высокой плотности населения.

>>1109655
Вот подтверждение тезиса, что люди тупеют. Интеллектуальная элита - айтишники, повелись на МММ в блокчейне.

>>1109657
>илита
>айти
>Россия

>>1109657
>Интеллектуальная элита - айтишники, повелись на МММ в блокчейне.
Айтишники повелись только тем что начинают внедрять блохчейны в любое говно за сотни тысяч долларов. Я бы не сказал что они тупые.

>>1109503
это говно на 32х битах пашет? майкрософтовское говно собралось, но как пашет её не пробовал.

>>1109547
это всё равно что сказать, что все те, кто обучился программированию опоздал. Но ведь это не так. Сейчас это совершенно необходимый навык, нужный каждому. Завтра (уже вчера на деле) к набору этих базовых навыков добавится ML. Кто не осилит - пойдёт на хуй. Кто осилит - не будет чем-то выдающимся из-за этого.

>>1109634
qc?

>>1105645
>Вернее, понравилось бы, если бы они понимали английский.
Нейронки местных Антонов настолько плохи что они не могут в ингриш?

>>1109729
Кому "каждому"? Люди школьную программу осилить не могут, а он про программирование говорит.

>>1109730
В реальном мире qc нереализуемо.

>>1109729
Ну и нахуй он нужен кажому? Я бы посмотрел как ты будешь тете зине на кассе объяснять что без навыков писать код она нинужна.

>>1109741
Ей это хозяин кассы объяснит, очень доходчиво, пинком под зад.

Есть что нибудь на жабе для неронок?

>>1109122
бамп
Кстати что проще и сойдет для такой задачки PyTorch или Keras ?

>>1109791
Керас проще для простых моделей, питорч для сложных.

>>1109068
Покопался все-таки немного с этой задачей ради интереса. Сложно, не осилил сделать нормально. Тут кто-нибудь пробовал?

>>1109951
ZOG Invest, плиз

>>1105498 (OP)
Насколько правда, что вкатиться нельзя уже?

Если кто MT занимается, помогите инвалиду.

Все пишут, что у них, там на WMT такого-то года BLEU такой-то. Я иду на сайт соревнования http://www.statmt.org/wmt15/translation-task.html и вижу там в тест-сетах только по одному референсному переводу, на чем они BLEU считают? Правда на одном референсе или я просто плохо ищу?

>>1109973
Я к ним не буду подаваться, скорее всего, даже если сделаю это задание. Контора слишком мутная. Просто интересно, смогу ли. Там немного замаскированная задача про торговлю на рынке, и у меня не вышло побить их бенчмарк. Вот и спрашиваю, вдруг кто-то смог.

>>1109657
но ведь это чиновники повелись на хайп вокруг блокчейнов.

>>1109980
99,(9)

>>1110094
Нахуй тогда тред?

>>1110097
Для тех кто уже вкотился.

>>1109980
заебали, попробуй хеллоуворды, если зайдет то продолжай, работу найдешь, этож IT, тут хайпы умирают только среди хипсторов, если оно пришло в энтерпрайз, то протянет еще долго. Если не зашло - нехуй и продолжать, ты же не хочешь ненавидеть то чем занимаешься большую часть времени ?

Все, посаны, кажется я понял как сделать генеральный искусственный интеллект.

Гайз, а среди вас есть труЪ машлернеры?
которые конкурсы выигрывали, какие-то охуенные решения разрабатывают что-то в этом духе.
Или только на двощах пиздите дохуя?

>>1110201
Есть.

>>1109735
ну так давайте равняться на всяких недоумков.

Я охреневаю. Это просто пиздец. Каждые авторы либ выёбываются как могут.

sklearn.preprocessor - если есть хоть один nan или None бросает ошибку. И разрабам похуй, тикет уже много лет висит. А мне нужно именно с пропущенными переменными - методы обучения отсутствующие переменные обработают.

patsy - лютый пиздец. во-первых коверкает имена и даже отображения старая колонка <-> новые колонки не предоставляет. Ладно, с именами можно ещё вручную поебаться, хоть и заёбывает конкретно, но ... блять, во-первых имена каждый раз разные в зависимости от фаз луны, а во-вторых наборок колонок бывает разный, и не остаётся ничего, кроме полного перебора, обёрнутого в try - except. А без патси нельзя - делает то, что sklearn.preprocess делать отказался. А ещё в этом дерьме почему-то число строк во взодной матрице отличается от числа строк выходной. Но ещё большие проблемы возникают, когда пытаюсь сделть предсказание по регрессии. Ето дерьмо ругается на входной вектор, типа не те типы.

lifelines - либа типа нормальная, но что-то регрессия Кокса выдаёт сумасшедшие результаты.

xgboost - почему-то делает одно дерево глубиной 3 на 4х категориальных переменных, хотя я предоставил дофига численных.

короче, как мне со всем этим говном совладать?

>>1110257
Успокойся и нормально почитай доки прежде чем юзать либу. По тому что ты написал не увидел чтобы авторы где-то выебывались

>>1110234
ну так поделитесь достижениями, а то такое ощущение что тут одни школьники сидят и пиздят

>>1110134
вкотиться могут те кто еще десять лет назад вкотился в матан и прочее.
то есть опция вкотиться есть, но не для всех.
Если ты не из этих, то сорри братан

>>1110280
Двачну. И ведь это совершенно очевидно, но нет, никто из них не засядет за матан. Так и будут тут стенать.

>>1110278
Достижениями делятся на конференциях, в крайнем случае на реддите. Здесь просто потрепаться, обсудить новости или какие-то непонятные вещи. Это же анонимный форум, чувак.

>>1110283
Ну тогда расскажи чем занимаешься, как вкотился, какой бэкграунд.

Мимо тоже интересно

>>1110283
ну если он анонимный, то хуле тебе будет есть ты в одном сообщении с деанонишься. ты же фото с флажком в жопе не выкладывал в itt

>>1110257
> короче, как мне со всем этим говном совладать?
Использовать R вместо пистонопараши. Как вариант, можешь и дальше содомировать хуиту, не могущую даже в корректную обработку nan ов.

>>1110313
вот r - это и есть хуита хуит. Чтобы решить такую простую задачу, как парсинг числа из строки (число в хексе) пришлось конкретно заебаться. Выяснилось, что в r из коробки этого нет, после чего язык был послан по адресу.

>>1110467
Чушок, вернись в свой загон. В машобе рулит, педалит, нагибает и будет продолжать с++ и биндинги на пистон. Все остальное не более чем игрушки(разве что r еще). Я посмотрю как ты свою парашу будешь юзать на мобилках и полностью переписывать современные промышленные решения лишь бы можно было корутинами в жепу поебстись.

>>1110467
Хотя наверное ты просто шутканул про первую пикчу, а я пропиздоглазил. Но тем не менее видал goвнарей с похожими заявлениями.

>>1110472
Тогда почему твоих чудокрестов даже на графиках ОПпика нет? Ммм? Соснул, крестоблядь?

>>1110473
больше похоже что он сам лажонул

>>1110532
Я один не вижу разницы между этими червями (что слева, что справа, что по центру)?

>>1110467
Смешная шутка.

>>1110532
Даже для этого вопроса тебе нужно их разметить, т.к. я в упор не вижу никакой разницы между теми, что справа, слева и по центру.

>>1110588
Допустим у нас есть готовая программа, которая однозначно классифицирует твоих червей смотри конкурсы про тюленей и сортировку рыбы. Что ты дальше будешь делать с результатом классификации? Сортировать их по баночкам?

>>1110532
На глаз не проще? Из пушки по куколкам воробьям. У тебя же не конвейер. CNN, object recognition, вот ето всё. Только тебе дохуя примеров надо самому разметить

>>1110532
Ты отвратителен, анон

>>1110596
>Что ты дальше будешь делать с результатом классификации? Сортировать их по баночкам?
Вы таки победитель "битвы экстрасенсов"?
А так да, мелких сразу в корм, крупных селекционировать, средних для поддержания текущий популяции.

>>1110613
Так раскладывать все равно руками, там и определишь. Или как ты это себе представляешь? Если мечтаешь о роботизированной системе, лучше сразу забудь. Там работы на годы будет для целой команды специалистов.

>>1110613
>А так да, мелких сразу в корм, крупных селекционировать, средних для поддержания текущий популяции.
Думаю в твоем случае задачу стоит решать механическим способом. Как на заводах сортируют овощи, орехи и прочее. Сито разноячеестые и т.д.

Какое научное название твоих насекомых?

Поблевался с треда.

сука этот индус украл мою идею, собрал под нее инвесторов и воплощает ее в жизнь.
http://droicelabs.com/
как же печет.

>>1110668
ща он полечит нейронками индусов и их станет как литовцев

>>1110686
Они вообще-то на рашкованьках обкатывать технологию будут. Там в вакансиях требование русского языка есть.

>>1110699
>рашкованьках обкатывать технологию будут
до, до

>>1110668
>индус
>Aleksandr Makarov
>Mayur Saxena
>Harshit Saxena
>Tasha Nagamine

>>1110702
вайт хет кекера Ashanideepta Bhattacharya забыл

>>1110705
>Deep is a certified white-hat hacker (version 7).
>ГДЕ МОЙ ТРЕТИЙ УРОВЕНЬ ОБАЯНИЯ И СВИНЬЯ ДЕВЯТОГО УРОВНЯ СУКИ БЛЯДЬ????????
Это к ним вебмакака решила внедриться и украсть модель? Вангую что эта модель появится очень нескоро.

>>1110668
Watson с той же идеей уже лет 10 IBM пилит. А идея она довольно простая. Даже я на первом курсе хотел написать какую-нибудь базу данных с картами пациентов, чтобы врачам было удобнее смотреть какие лекарства помогли, а какие дали осложнения, и чтобы более точно диагнозы ставить. Конечно я хочет чтобы это потом всё в нейроночку да с AI, но тогда я даже не знал как к этому подступиться.

>>1110532
Дрочишь на них?

>>1110622
>>1110588
>>1110532
В чем твой профит с этих червей?

>>1110978
>250 руб/100 грамм.
Ну нахуй. Мраморная говядина гораздо дешевле. Я понимаю, если бы твои черви полтос за кило стоили.

>>1110978
Да они на вкус как мел. Не сказал бы что такие уж вкусные. Пробовал как-то жаренных в тайланде.

>>1110978
>>1111026
ФУУУУУУУУУУУУ
самый мерзкий тред в разделе

>>1111030
Это ещё что, дауны сверху вообще про нейронки говорили.

>>1110981
Еще пару лет назад я их продавал по 400р/100 грамм, но появились пидорасы-конкуренты - цены снизились, объемы упали.
>>1111026
Я конечно знаю, что они съедобны, но за те годы, что их держу так и не удосужился попробовать. Продаю их как корм для животных - хомячки, попугайчики, игуаны там, лемуры всякие. Хотя их уже и в святой Европке едят.

>>1111106
ну так несовершенство дыхательной системы - основной ограничитель предельного размера насекомых

Это домашних питомцев тред? Я хочу начать выращивать каких-то милашек, чтобы не требовали много регулярных усилий и все жили в ламповой мобильной коробочке.

>>1111128
прыщи

>>1111128
>выращивать каких-то милашек
коноплю вырасти

>>1110532
а что это за червячки? сделой сито с разными дырками или трубу через которую им нужно проползти, так и отсеишь.

Замечу, что так и заканчивались все нейронко треды, начиналась ни с чем не связанная хуита

>>1111158
Потому что, наверно, все задачи,которые можно решить нейронками, проще решить методами уровня >>1111156.

Какой фреймворк наиболее удобный для программирования через c++? cntk, tf?

Аноны, хочу машоб и нейроночки брать на диплом, посоветуйте несложную тему, я ещё не вкатился.

>>1111227
>посоветуйте несложную тему
сортировка червячков

>>1111217
Есть несколько фреймворков, поддерживающих кресты. Посмотри здесь, например:
https://github.com/tiny-dnn/tiny-dnn/wiki/Comparison-with-other-libraries
https://github.com/josephmisiti/awesome-machine-learning
Лично я бы, будучи привязанным к крестам, взял бы tiny-dnn, если не нужен ГПУ, и Darknet, если нужен.

>>1111227
Совсем уровня туториала - распознать мнист. Далее можешь усложнить. Например, пусть на картинке неколько цифр, и нужно определить их количество и распознать. Хардмод - если цифры могут пересекаться. Можно добавить шум. Используй какие-нибудь передовые методы из относительно свежих статей, и будет норм для диплома, да и в сиви потом хорошо пойдет.

>>1111248
Я до мая смогу осилить это?

>>1111248
Я сейчас вот что прохожу
https://github.com/Yorko/mlcourse_open

>>1111260
Я не знаю, слишком много факторов. В принципе это возможно. Посоветуйся с научником.

Почему kaggle и прочие не ограничивают вычислительную сложность решений? Получается в итоге, что петухи с фермами из титанов выигрывают, и никакого прогресса в нейронках.

>>1111332
Геморно проверять. Прогресс в нейронках не их дело, им главное показать, какая точность в принципе возможна. Далее заказчик сам разберется, на какой компромисс по вычислениям/точности он готов пойти.

>>1111332
>никакого прогресса в нейронках.
Там и не будет никакого прогресса, т.к. это асимптотически-эффективные алгоритмы. Вапник еще в 60х годах за это пояснил с математическими пруфами, сейчас мы просто наблюдаем это на практике - у кого фермы из титанов / кластеры больше, тот и крут. Умным людям и 50 лет назад было очевидно, что все эти индусско-хипстерские игрища - путь в никуда.

>>1111394
Как же ты заебал своим вапником.

>>1111400
Страдай, хуле.

>>1111332
>петухи с фермами из титанов выигрывают
Манямирок неосилятора. Ты всегда можешь объединиться в команду с тем у кого есть лишнее железо, если у тебя есть годные идеи. Но у тебя идей-то нет.

>>1111503
Пол мира дрочит на биток. Хотя могли бы протеины высчитывать например. Обьединение не имеет смысла пока не несёт профита.

>>1111505
Ясно. Ты теоретик.

>>1111507
Ну последний комент мой, а я мимопроходил. Так что жди пока тот анон ответит.

>>1111503
Суть объединения в команды - либо нарастить мощность железа, либо собрать ансамбль из моделей, что опять-таки равносильно увеличению мощности железа. Здесь нет никаких новых идей, это не прогресс, это заведомый тупик. А соревнования в нынешнем виде этот путь поощряют. Это неправильно.

>>1111541
>команды зло, все по одному
>это не прогресс
>Это неправильно
>я так скозал

Искусственный интеллект где же он? Где технологическая сингулярность?

>>1111610
мдауш

>>1111552
https://ru.wikibooks.org/wiki/%D0%9B%D0%B8%D1%81%D0%BF/%D0%A4%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B8
>>типа Си или Пёрла
я ща умру

>>1111639
Для того, чтобы хотя бы подобраться к правильной формулировке вопросов, тебе предстоит многое изучить. Можешь начать с "Plato's Camera: How the Physical Brain Captures a Landscape of Abstract Universals" Черчленда.

>>1111639
https://scisne.net/a-1003
Коротко: программирование в текущем виде - детская хуита

>>1111692
>Невозможно написать программу для машины Тьюринга или любой другой универсальной вычислительной машины, которая была бы способна имитировать работу человеческого мозга и, таким образом, имитировать в любых ситуациях поведение человека. Этот аргумент можно сформулировать и несколько иначе, в виде утверждения, что человек обладает способностью решать алгоритмически неразрешимые проблемы
Нейросеть обладает возможностью решать алгоритмически неразрешимые проблемы. При том что нейросеть тоже алгоритм. Остальное можно не читать.
Эти ссаные философы ни в чем не разбираются, но лезут во все области науки. Гоните философов, насмехайтесь над ними.

>>1111726
>в любых ситуациях
Ты читаешь через слово?

>>1111662
Спасибо, начну с этого. Можешь составить небольшой список?
>>1111692
Как-то да, учитывается только что программирование это выполнение конкретных инструкций без способности обучаться, что уже устарело.

>>1111758
А в чем проблема-то? Нейросеть работает с любыми данными на входе, значит обработает любые ситуации. Уж точно не хуже человека, который в нестандартных ситуациях тупит практически всегда.

>>1111789
Ты как себе представляешь ансамбль сеток для всего? Это какие вычислительные мощности нужны?
>тупит практически всегда
Ага, первое время. А потом очень быстро адаптируется.

>>1111793
>Это какие вычислительные мощности нужны?
Ну хотя бы как у мозга человека. Или ты хочешь ИИ на 1080? Так не бывает.
Да, и нужно добиваться большей генерализации, тогда требуемый объем сеток сильно сократится, а их производительность увеличится. Это хорошо видно на человеке с развитыми логическими и аналитическими способностями.

>>1111726
Пример алгоритмически неразрешимой задачи, которую спообен решить человек или нейросеть?

>>1111821
Это вопрос к Гёделю, с чего он взял, что такие задачи есть

Поделитесь хорошим списком рецептов/советов для трейна нейросетей.

>>1111924
Не трогать их, идти подскакивать кабанчиком в бизнес.

R хорошая технология? Можно даже не просматривать на питон?

>>1111965
>на питон
смотря на чей

>>1111965
И то, и другое, это обертка вокруг сишных библиотек, разницы нет.

>>1105498 (OP)
аноны, вопрос.

1 вот есть xgboost. Как его заставить предсказывать векторы вместо скаляров, используя одни и те же деревья, градиенты и хессианы?

2 есть ли либа для питон градиентного бустинга любой модели, а не только деревьев, если я предоставлю градиент и гессиан?

>>1111965
говно. по неюзабельности обошла матлаб.

>>1111503
а вот меня не хуй послали, сказали "ты хочешь майнить битки на нашем компе, на хуй пошёл", хотя я им реально объяснил, что не для битков, а для нейросети.

>>1111965
Лучше пистона в разы.

>>1112015
1. Никак. Кроме того, в предсказаниях не используются градиенты и хессианы.
2. Не знаю посмотри sklearn. Для градиентного бустинга не нужен ни градиент модели, ни хессиан. Нужна только сама модель, т.е. функция fit, и функция потерь вместе с ее градиентом.

>>1111965
R это питон курильщика.

>>1111965
> R хорошая технология? Можно даже не просматривать на питон?
R это изначально язык обработки данных, тогда как пистон нет. Отсюда, весь машоб в Пистоне это костыли.

>>1112015
> 1 вот есть xgboost. Как его заставить предсказывать векторы вместо скаляров, используя одни и те же деревья, градиенты и хессианы?
Хгбуст это miso модель, множественный вход и единственный выход. А тебе нужно mimo, множественные как вход так и выход. Суть в том, что любая mimo модель представима как совокупность отдельных miso моделей, посчитанных на одних входах для разных выходов (компонент твоего вектора).

>>1111505
зачем эти протеины нужны? очередное биологическое ненужно же

Ря не нужен. Питухон хоть в мультипроцессинг без особой ебли с ооп может, чтобы ебошить итераторы на ядра.

>>1112128
Эх, а ведь где-то новогоднюю версию проебал. Ебаный андроид, не может в сохранение картинок на сдкарту.

>>1112062

>1. Никак. Кроме того, в предсказаниях не используются градиенты и хессианы.

Если я хочу дать кастомную objective function, то туториал говорит передать функцию, которая вернёт кортеж из градиента и хессиана objective функции в данной точке.

>2. Не знаю посмотри sklearn.
Спасибо, но вроде смотрел, нет.

>Для градиентного бустинга не нужен ни градиент модели, ни хессиан. Нужна только сама модель, т.е. функция fit, и функция потерь вместе с ее градиентом.

Да, но xgboost требует это. Видимо предоставление в явном виде эффективнее, чем численное дифференциирование.

>>1112062
я хочу сделать, чтобы xgboost бустил коэффициенты нелинейной регрессии.

То есть выдавал вектор коэффициентов регрессии для указанного экземпляра (вектора ковариатов). То есть вот у меня регрессия Кокса. Коэффициенты регрессии - это риск. вектор коэффициентов умножается скалярно на вектор ковариат и произведение ставится в экспоненту. Ковариаты нелинейно зависят друг от друга. Проблема тут в том, что для смеси разных страт (групп экземпляров, где работает модель кокса) эта модель может не работать - то есть коэффициенты будут разными для разных страт, а коэффициенты от регрессии на смеси страт вообще бредом будут. Истинные коэффициенты я не знаю - их и надо подобрать. Возникла идея заюзать tree gradient boosting c кастомной objective function - той же, что и для регрессии. Для регрессии всё равно нужен гессиан с градиентом, то есть функция, их считающая, уже у меня есть. Надо теперь знать, когда бить на страты. Мне кажется, что градиентный бустинг деревьев сможет разбить на страты в зависимости от ковариатов. А считать коэффициенты той же регрессией. Цель - предсказывать коэффициенты регрессии по ковариатам.

Вообще, что посоветуете? Нейронку уже пробовал, не обучается она. Да и dataset маловат.

>>1112185
Твоя модель выглядит вполне как нейроночка. С одним нейроном будет один набор коэффициентов, с двумя - два и т.д. Распиши математически свою модель и сам увидишь. На питорче можешь ее записать буквально так, как и на бумажке, и подгонять коэффициенты градиентным спуском. хгбуст тут ни к чему, по-моему.

>>1112128
Все наоборот

>>1112263
Ещё раз посмотрел sk-learn, там действительно есть общий градиентный бустинг, погуглил и набрёл на градиентный бустинг деревьев, скрещенный с регрессией Кокса. Не уверен, что это то, что нужно, так как пока ещё не смог вывести результаты в графическом виде. Работает чертовски медленно, всё таки не xgboost, api крайне непонятное: то ему pandas.DataFrame не подходит, то даже простой numpy.ndarray не то. Видимо придётся дорабатывать напильником. Вот только результаты нуужны были ещё в прошлом месяце, а сейчас уже поздно, я просрал все полимеры.

какая-то херня тамошний градиентный бустинг. Не может предсказать даже то, что видно невооружённым глазом по графикам при стратификации по этому признаку.

Или скорее всего я херовый data scientist. Вместо этого пихает несущественные признаки в корень деревьев. Concordance 60%. 50% - это если бы был случайный результат. Я же ожидал (не посчитано, просто угадываю) как минимум 75-90%.

Порезал лишние признаки. Если опять не осилит - пойду дальше хренью страдать.

>>1112733
3 дерева глубиной 10 на lr 0.1 без dropoutа дают concordancce 74. Экспериментирую дальше. Поставил learning rate и dropout по 0.5.

>>1112034
>>1112017
В питоне никто мало-мальски серьёзной статистикой не занимается. только в R

>>1112755
ты скозал

4 дерева, глубиной 3 learning rate и dropout по 0.5 -> concordance = 0.71

Перепилил фиттер, чтобы юзал xgboost вместо sklearn, благо что нетрудно, так как sklearn имеет объекты с почти совместимым интерфейсом. Быстрее не стало, по моему даже стало медленнее.

Видимо bottleneck по скорости не в деревьях, а в питоньем коде.

Можно ли сделать такой инструмент дабы он обучал людей делать нейросети? То есть, тебе дают базу и подкрепляют задачами, и через некоторое время ты можешь приступать к серьезным нейроночкам.

>>1112788
Слесарьплов жи.

"АНТРОПОС — это агрегат агрегатов. Он состоит из тысячи двухсот самостоятельно работающих электронных агрегатов. Все эти агрегаты неодинаковы: все они принимают одинаковые данные, но решают их по-своему. Каждый из тысячи двухсот агрегатов создает свою картину будущего. Затем они автоматически подключаются к спормашине, то есть к машине спора. Они начинают безмолвно спорить между собой, и каждый агрегат путем логических доказательств отстаивает свой вариант будущего и в то же время, в процессе спора, вносит в этот вариант некоторые поправки. Постепенно некоторые агрегаты, подавленные логикой других, начинают выходить из игры. Когда останется только десять спорящих, в дело вступает агрегат-судья. Пока агрегаты спорили между собой, этот судья как бы слушал их, не вмешиваясь в спор, но все мотая на ус. Он вырабатывал свое мнение. От каждого побежденного в споре агрегата он брал частицу его правоты. На основании того, что он знает, судья вступает в переговоры с оставшимися десятью агрегатами и присуждает победу тому, чье мнение считает наиболее совпадающим со своим. Теперь, как понимаете, остаются два агрегата: победитель в споре и судья. Их прогнозы поступают в примирительное устройство, где вырабатывается основной прогноз."

"АНТРОПОС — это агрегат агрегатов. Он состоит из тысячи двухсот самостоятельно работающих электронных агрегатов. Все эти агрегаты неодинаковы: все они принимают одинаковые данные, но решают их по-своему. Каждый из тысячи двухсот агрегатов создает свою картину будущего. Затем они автоматически подключаются к спормашине, то есть к машине спора. Они начинают безмолвно спорить между собой, и каждый агрегат путем логических доказательств отстаивает свой вариант будущего и в то же время, в процессе спора, вносит в этот вариант некоторые поправки. Постепенно некоторые агрегаты, подавленные логикой других, начинают выходить из игры. Когда останется только десять спорящих, в дело вступает агрегат-судья. Пока агрегаты спорили между собой, этот судья как бы слушал их, не вмешиваясь в спор, но все мотая на ус. Он вырабатывал свое мнение. От каждого побежденного в споре агрегата он брал частицу его правоты. На основании того, что он знает, судья вступает в переговоры с оставшимися десятью агрегатами и присуждает победу тому, чье мнение считает наиболее совпадающим со своим. Теперь, как понимаете, остаются два агрегата: победитель в споре и судья. Их прогнозы поступают в примирительное устройство, которое и бросает монетку."

>>1113134
если не отговорю себя, буду использовать Keras. Питон вроде знаю

>>1113134
>Куда копать ?
что-то я закопался тут, сорьки

>>1113134
>Я хочу определить интервалы ступенек. Куда копать ?
В направлении скользящих средних и отклонения от них.

И сразу вопрос, относительно чего у тебя распознаются ступеньки. На одном масштабе у тебя 8 ступенек здесь, а в другом масштабе — АДЫН СТУПЭННЫК БИЛЯТЬ.

>>1113160
>В направлении скользящих средних и отклонения от них.
круто, пойду гуглить
>И сразу вопрос
не факт что я тебя правильно понял, но вот то что на графике это весь датасет который уйдет алгоритму, раньше/позже связаных с ним данных нет. При чем датасет может быть на временном интервале и 2ч как на пике, так и 8ч и с одной ступенью или вообще 24ч. При этом я не должен этого явно задавать. В алгоритм просто

>>1111821
Человек способен время примерно так почувствовать.

Насколько легко получить работу, связанную с машинным обучением без высшего образования?

>>1113322
Чуть труднее чем засунуть в анус бильярдный шар

>>1113337
Насколько труднее? Засунуть не высунуть.

>>1113349
Вот прям сейчас возьми шар и попытайся запихнуть. Если сможешь - все у тебя получиться. Нет - даже не пытайся.
На самом деле и с вышкой бакалавра вкатиться практически анрил

>>1113353
Мне поможет опыт игр на заднем дворе и смазка, все просто.

А почему анрил-то? В треде никого работающего нет?
Я обучаемый, если что, математику уважаю.

>>1113355
Я сюда заглядываю практически с первых тредов. Кроме очевидных кукаретиков и парочки школокаглеров и отчисленных из ШАДа тут проскакивало только 2 работающих анона, один из них был аспирантом(хз работает ли он сейчас в мл). Зато тысячи вопросов о вкате и том какой вопрощающих супер-пупер мотивированный и нитакой как все. Максимум через месяц они куда-то отваливаются. Выводы делай сам. + Практические во всех вакансиях(зарубежных) нужен мастер, а у нас как минимум ищут синьоров с парой лет опыта работы в МЛ/ДАТАСАЕНС.
Конечно каких нибудь йоба каглеров с золотыми медалями возьмут и без диплома, но это сам понимаешь, элитка.

Моя аналогия с шаром была рассчитана на тех, кто не имеет опыта игр на заднем дворе, но походу на двачах таких таки нет за исключением меня

>>1113367
вот-вот, нахуй эти нейронки нужны, когда можно веб макакингом столько же если не больше рубить.
к тому же у работающих анонов нет времени эту поебень задротить, там кучи матана, книг, накатывания либ, да и пистон со фласком ковырять фу.

>>1113521
У тебя странное определение нахуйнужности. Я занимаюсь МЛем потому что мне это интересно, а не потому что там платят. Исключительно ради получения большего количества бабла - да, нинужно. Само по себе - интересно и нужно.
Но про пистон конечно да, писать на этой параше что-то сложнее чем from slesarlow inport * нестерпимо отвратительно.

>>1113550
>Я занимаюсь МЛем потому что мне это интересно
ты ебанутый, чел. проверься у психиатра. я смотрю аниму и занимаюсь сексом, потому что мне это интересно.