3 пик мемный

Антоны, чем хайповая Рекурсивная Кортикальная нейросеть лучше, чем автоэнкодер? Он ведь тоже делит картинку на части и ищет закономерности.
Или у них вся суть в особой архитектуре?

>>1226379
>Рекурсивная Кортикальная нейросеть
че

>>1226386

>>1226387
Блять, как криво работает вставка.
http://science.sciencemag.org/content/358/6368/eaag2612.full

>>1226389
Статья за пейволом, иди нахуй.

>>1226389
А, Vicarious, это NTM-образная штука. Ничоси, они в Science опубликовались. При чем тут автоэнкодер не знаю, "делит картинку на части и ищет закономерности" это какое-то абсурдно-примитивное описание работы автоэнкодера. На таком уровне ничем, наверное, не отличается. Еще они оба компьютерные программы.

>>1226398
>40018
>не иметь подписочки на сцыенс
Плеб, плис.

Sci-hub отменили?

>>1226413
> 2018
> считать приемлемым ограничивать доступ к научным статьям

>>1226421
Да я тоже ни за что не плачу в интернете, лол

>>1226410
Эм, а что за NTM?
>При чем тут автоэнкодер не знаю, "делит картинку на части и ищет закономерности" это какое-то абсурдно-примитивное описание работы автоэнкодера.
Это к тому, что я не особо понял, как оно работает и из описания сразу вспомнил про автоэнкодер, мне показалось, что принцип работы похожий. А описание такое, потому что у меня некоторые проблемы с формулированием мыслей, извините.

Правительство выделяет деньги на развитие науки и благополучно распиливает налоги на исследованиях которые никого не интересуют.
@
Почему это правительство должно платить авторам статей, в которых кто-то заинтересован и хочет прочесть? Мы что, коммунисты?

>>1226450
Деньги за доступ к статье получают издательства (картельный сговор), а не авторы.
И если уж деньги на науку идут народные (налоги), то и результаты должны быть доступны этому самому народу.

Как добавить количество скрытых слоев? Скрытые слои - это количество итераций скрытого слоя?

>>1226458
Это размерность симплициальной резольвенты.

>>1226462
абеленизацию берем?

>>1226464
Только если сначала тензорно умнажаешь

>>1226466
умножил, получил гомологии группы G

>>1226448
HTM, я описался. Hierarchical Temporal Memory. Это старая модель, которую эти люди разрабатывают многие годы, основана на некоторых идеях о том, как может быть устроен неокортекс (область мозга). Авторы и их последователи считают, что это потенциально более интересное направление, чем, например, нейроночки. Мнение это оспаривается многими интернетными экспертами. Основная причина сомнений была в том, что преимущества модели не были продемонстрированы на практике.
Ну вот теперь они сделали эту штуку с капчей. Стоит признать, это довольно круто, хотя тест все равно синтетический, в то время как изначально предполагалось, что модель как бы будет более терпима к шумным real-world данным.
У меня отношение скорее скептическое. Еще у них постоянные попытки коммерциализировать это, какие-то непонятки с оупенсорсом - вроде бы они всегда выкладывают не самые крутые и последние наработки, кароч мутновато.

Если ты прочел только основную статью в саенсе, то неудивительно, что ничего не понял. В таких журналах основной текст это скорее что-то вроде расширенного абстракта. Вся суть статьи, технические детали и описания в supplementary materials. Читай их, может станет понятнее.

>>1226456
Они и доступны. Полтинничек заплати и читай себе. Или тебе еще бесплатный интернет, компьютер предоставить?

>>1226475
Ты хуйни не неси. Сейчас бы копротивляться за шекели (((правооблядайтеров))), которые в науке вообще посторонние паразиты и проходимцы, стригущие бабло с исследователей, читателей и со всех остальных, до кого могут дотянуться своими загребущими ручонками.

>>1226491
Бвахаха, полюбуйтесь на этого копротивленца, который как обычно не имеет ни малейшего представления, о чем говорит. Их кто-то под дулом автомата заставляет в Саенс статью посылать? Вон у них целый вебсайт есть, выкладывайте туда, или на гитхаб вообще бесплатно для всех. Посылай на конфу, там тебе найдут пару студней сделать пир ревью. Но нет, поди ж ты, они шлют в саенс, сами себе враги, наверное.

>>1226493
>Саенс
Вангую, эту парашу никто не читает, там только публикуют.

8 часов, 6 тысяч эпох - много для обучения однослойной сети?

>>1226560
Если ты ищешь бозон хиггса для ЦЕРН, то еще может быть в пределах нормы, а если это какой-то ирис или мнист, то ты где-то накосячила.

Покажите выходные значения из правильно обученной нейронки с активацией 0-1. Они должны быть ближе к 1 или к 0?

>>1226767
Что такое активация 0-1? Если у тебя функция активации возвращает только 0 или 1, то выходным значением может быть только 0 или 1, никаких ближе или дальше. Но в этом есть смысл только если ты работаешь с простой задачей вроде XOR.
В любом случае, какой лейбл у входящих данных, такой должен быть и выход. Если у тебя one-hot encoding, то на выходе бери то у чего значение ближе к 1.

http://www.deeplearningbook.org/
А эта книга - это уровень введения семестровый или чуть больше этого?

>>1226398
sci-hub же есть лол

>>1226938
Это полный курс. Там очень много материала, включая довольно новые модели, изложено довольно плотно местами. За семестр с нуля ты точно не сможешь все прочитать с пониманием, за год тоже вряд ли.

>>1226945
Отлично. Спасибо. Просто чтобы понимать корреляцию между объемом текста и сроком обучения

Да что с вами всеми не так? Все вопросы в треде формулируются каким-то дебилом или стремящейся нейронкой. Научитесь выражать свои мысли и пользоваться поисковиками, может вы потому и не можете ничего найти что гугол понять вас не может.
>>1226938
Что такое уровень введения семестровый? Это очень хорошая книга, с объяснением теории от начал математики до обзора базовых моделей, на которых стоит машобчик, включая модные и свежие. Ты можешь осилить ее за семестр, но фактически пройдешься по верхам, а впереди тебя будет ожидать имплиментация всего этого счастья (вот тут начинается реальное понимание), практические проблемы, попытки в свой пет-проджект, боль, унижения и годы (да, это не веб-макакинг, быстрого вкатывания не существует) тяжелой работы и чтения пейперов. Если тебе это нужно для того чтобы зарабатывать на хайпе, то я с удовольствием посмотрю на твои мучения, а если тебя увлекает тема, то ты бы не задавал тупых вопросов и не рассчитывал быстро проскочить.

Вы были ошибкой и ваши родители вас не хотели.

Нужен Демидович по нейроночкостроению.

That $35 that scientific journals charge you to read a paper goes 100% to the publisher, 0% to the authors. If you just email us to ask for our papers, we are allowed to send them to you for free, and we will be genuinely delighted to do so.

https://twitter.com/hwitteman/status/1015049411276300289

Насколько реалистично чтобы разные модели, например, простая многослойная нейроночка и рандом форест, классифицировали по примерно одинаковым фичам? Тоесть, если есть 100 фич, то топовые feature importance будут у одинаковых 10 в разном порядке.

На выходной нейрон [1] (индекс с нуля начинается) всегда приходят значения многократно выше (~ в 40 раз) чем на все остальные. Как следствие - он умирает сразу. Что делать?

Однослойная сеть. Как увеличить количество слоев?

Начало цикла,
форвард,
бэк,
сохранение веса.

Больше одного слоя - это форвард и бэк в цикл for взять?

>>1227080
Gradient clipping?

>>1227081
Да. И размерности увеличить.

>>1227087
Спасибо.

>>1227071
как ты у нейронки получишь feature importance? мне кажется, можно визуализировать, интерпретировать и тд, но прям фичи не получишь

>>1227119
Таки взял натренированную сеть и скармливаю ей один датасет той же размерности, но в каждой итерации заменяю один столбик на его среднее значение, тоесть убираю фичу и смотрю на результат. Рокет саенс.

>>1227147
Симуляции? Поди марковские цепи с монте Карло дрочат.

>>1227147
Вот удивили то!

В статьи все еще вставляют псевдокод или уже можно листинги на питоне?

>>1227765
Код кладешь на гитхаб, в статью ссылку. Псевдокод в тексте тоже приемлемо.

Перепробовал разное количество слоев, разные функции активации. Она не работает. Что не так?

>>1227806
Обучать не пробовал?

А что вообще такое Data Science?

>>1227816
Нейроночки

>>1227816
>А что вообще такое Data Science?
Мартышка к старости слаба мозгами стала;
А у людей она слыхала,
Что это зло еще не так большой руки:
Лишь надо применить нейронОчки.

Все модные нейронОчки себе она достала;
Вертит нейронОчки и так и сяк:
То тренирует их, то стопицот слоев нанижет,
То их в ансамбль соберет, а то полижет;
НейронОчки не действуют никак.

"Тьфу пропасть! — говорит она, — и тот дурак,
Кто на ютубе смотрит врак:
Всё про нейронОчки индусы мне налгали;
А проку на-волос нет в них".
Мартышка тут с досады и с печали
Делитом так хватила их,
Что только файлы засверкали.

Есть ли смысл делать гридсерч с N эпохами и кросс-валидацией k-fold из тренировочного сета, а затем выбирать лучший эстиматор и обучать его до early stopping или N*10 эпох, с валидацией на предварительно отделенном валидационном наборе?

>>1228261
Гридсерч чего? Гиперпараметров? Нет. Например, ты learning rate так выберешь слишком большой, а он за собой потянет все остальные гиперпараметры.

>>1228385
Гиперпараметров. А если вынести learning rate и через callback кераса уменьшать автоматически?

>>1228388
Learning rate это лишь самый очевидный пример. Все остальное тоже будет неоптимально в общем случае. Гарантий нет.

True positive rate это то же самое что и recall?

>>1228392
> Все остальное тоже будет неоптимально в общем случае. Гарантий нет.
Потому что нейроночки это машоб курильщика. Подрочить вприсядку с бубном, авось сойдется.

>>1228518
Тоесть, другие модели так можно тюнить? Или ты просто стриггерился на нейроночки?

>>1228518
Что лучше?

Я разобрал каждый шаг. Теперь не понимаю ещё больше. Не конволюшен сеть с фидфорвардом для предикшена да-не. Зачем делать скаляр на входе? А как ещё? Если скармливать не картинку, а какие-то данные, то как тогда делают? Тоже что-ли просто умножают все?

Мне нужен список сопоставлений. Например: "как найти тян" разбивалось на слова и лексемы и классифицировалась. Есть же что-то что отделит "как найти" - вопрос, "тян" - женщина? Как это делают?

Как найти причину почему сеть не может? Доходим до 20%

>>1228545
Морфологический разбор речи? Вроде учат в школе.

Поясните что такое lesswrong и что они делают. Все чаще замечаю пиар на дваче. Они вроде хотят сделать йобаИИ, по этому здесь и спросил.

>>1228656
Юдковский растекается мыслями по поводу того как работает человеческое сознание и полагает что его выводы делают понимание интеллекта lesswrong, большинство статей оттуда или обозревают и систематизируют выводы из когнитивистики, или не несут никакой пользы и абсолютно гуманитарны, а из того что представляет интерес получилось собрать годный фанфик по Гарри Поттеру, который этот самый lesswrong и распиарил. Для тех кто не может в английский есть перевод статей.
И в любом случае ты ошибся тредом.

Где прочесть про дисперсию из мат. статистики?

Я не могу понять, в чём её смысл? А именно почему разность между очередным значением и средним значением возводится в квадрат, а не берется по модулю? И что мне показывает полученное значение дисперсии? И почему процедура получения дисперсии именно такая?

>>1228717
Можно брать и по модулю, это просто другое определение расстояния в пространстве(метрики). Просто квадраты сильнее "штрафуют" за отдаление от среднего значения.

http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf

Ребята, хорошее введение в машинное обучение?

Вот я какой раз уже вижу тут гениев, которые лезут содомировать нейроночки, при этом понятия не имеют, что такое сигма, дисперсия итд азы. Вот просто по аналогии - много ли можно понять у какого-нибудь Достоевского, не зная русского даже не языка, а алфавита?.. По теорверу есть очень годный учебник Вентцель.
>>1228717
> Я не могу понять, в чём её смысл?
Разброс значений случайной величины.

>>1228736
>Вот просто по аналогии - много ли можно понять у какого-нибудь Достоевского, не зная русского даже не языка, а алфавита?..
Да

>>1228736
>учебник Вентцель.
576 стр лол
Надо с более простых вещей начинать, чтобы не пугать человека. Каких-нибудь вводных курсов по теорверу ВШЭ или МГУ более чем достаточно.

>>1228728
Ты же понимаешь что русских ноунеймов никто читать не будет? Может и хорошее, но можно просто взять http://www.deeplearningbook.org/

>>1228728
> Ребята, хорошее введение в машинное обучение?
Воронцов штоле? Лол, навернешь у него вариационного исчисления с первой страницы без объяснений что вообще происходит.

>>1228727
>Просто квадраты сильнее "штрафуют" за отдаление от среднего значения.
Спасибо за ответ. Я бы понял такое объяснение в случае не с дисперсией, а, например, с квадратичной функцией потерь, что там надо оштрафовать то, что сильно отклонилось от правильного ответа. Но вот с дисперсией - нет. Не пойму за что штрафовать? Зачем? Не могу осилить понимание механизма, который делает дисперсию правильной именно с квадратом, а не с модулем.

>>1228736
Благодарю за ответ.
>По теорверу есть очень годный учебник Вентцель.
Так то теор.вер., а я про мат. статистику хотел узнать. В теор. вере. формула дисперсии в другая, чем в учебниках мат. статистики. Например, в теор. вере ряд распределения дан с величинами и вероятностями. А мат. статистике просто ряд со значениями.

Вентцель просто дает формулу, вот формула дисперсии, пользуйтесь. А почему квадрат, а не модуль там не говорится.

>Разброс значений случайной величины.
Не могу смысл найти, разброс можно было бы и модулем померить, а тут квадрат.

>>1228749
>вариационного исчисления
Первый семестр теормеха

>>1228776
Не все учились в лицеях.

>>1226323 (OP)
Есть у коо полные ответы на Pattern Recognition and Machine Learning?

У меня на все нейроны одинаковый bias, одна и та же функция активации. Так никто не делает что ли? Каждому нейрону свой коэффициент? Зачем?

>>1229044
Каждому слою нейронов нужен свой bias, почитай что это такое прежде чем использовать. В каждом треде этот вопрос, пора его в шапку.

>>1227210
Ок, ступил, хотя это больше для мниста, тогда высокая вероятность, если это не какое-нибудь умножение или другая хитрая корреляция, но это ты и сам знаешь

>>1229045
Картинка, из нее скаляр * количество слоев + смещение и активация тангенсом. Я на выходе имею четкое отделение одного от другого. Зачем разный bias, если если я уже контрастно отделил одни числа от других? Смысл честно говоря не пойму.

>>1229059
Проблема в том, что науканы не пытаются понять, что делает нейронка. Они рассуждают примерно так: "Ну кароч нейрон что-то делает, хуйзнает, но мы его аппроксимируем линейной функцией, чтобы сильно не напрягаться. Поэтому у нас два параметра для обучения - вес и bias. А чтобы херни на выходе не получалось, мы края обрежем нелинейностью - сигмоид, тангенс, ReLU, похуй ваще, сами разбиратесь, нам это неинтересно."

>>1228656
Ты спрашиваешь про MIRI. Они там какие-то формулы придумывают, чтобы оценивать злобность/дружественность ии, или может просто деньги пилят.

>>1229082
> Они рассуждают примерно так: "Ну кароч нейрон что-то делает, хуйзнает, но мы его аппроксимируем линейной функцией, чтобы сильно не напрягаться.
Это ты так рассуждаешь, мань. Полно работ по биологическим аспектам нейрона, начиная с того же Розенблатта и Маккаллока с Питтсом. Вместо того, чтобы тут кукарекать, ознакомился бы.

>>1229089
>работ по биологическим аспектам нейрона
А самолет изобрели зоологи

>>1229098
и делают его из перьев

>>1229098
> А самолет изобрели зоологи
Тебя зоологи изобрели, судя по всему. Хоть бы с историей идей машоба ознакомился, прежде чем срать здесь.

>>1229101
>прежде чем срать здесь.
Смешно шутишь.
Насрал тебе на голову, кстати.
Маняматика нинужна, ЖС лучший и единственный язык, Путин - президент мира.

>>1229101
Что делает первый слой свертки в ResNet?

>>1229101
>Тебя зоологи изобрели, судя по всему.
Орнул

>>1229089
>Розенблатта и Маккаллока с Питтсом.
И чо и чо, как успехи у пасанчиков, соснуле?

>>1229089
>Это ты так рассуждаешь, мань. Полно работ по биологическим аспектам нейрона, начиная с того же Розенблатта и Маккаллока с Питтсом. Вместо того, чтобы тут кукарекать, ознакомился бы.

Это где относительно недавно глиальные клетки начали изучать и только десяток лет назад поняли, что это не просто балластный жирок?

А котематики уже кококок кучу моделей абстрактного говна нахуярили по мотивам старых исследований.

Надо математику выучить от самого начала...

>>1229186
>от самого начала...
И до самого конца

>>1229183

Кстати, у маняматиков на теме открытий в области нейроглии тут же обосратушки-перепрятушки и новые охуительные истории пошли, внезапные откровения озарили, бгг:

https://hal.inria.fr/hal-01221226/document

>>1229183
>Это где относительно недавно глиальные клетки начали изучать и только десяток лет назад поняли, что это не просто балластный жирок?
Кстати, а почему вся эта ученая пиздобратия считает, что мышление происходит в мозгу?

>>1229190

Да хуй его знает. У них самих из инструментов познания - только жидорептилоидные маняматика, да манялогика, которые им время от времени подгоняют. А потом отвлекают внимание на этих лошар, дескать они агенты зога. Лошары они слепошарые. Вот маняматики те да - чистые рептилии. Того же Перельмана вспомнить, как он способ управления миром по его словам открыл.

>>1229192
>них самих из инструментов познания
Есть же интроспекция - йога для бедных.

>>1229196
>Есть же интроспекция - йога для бедных.

Тоже в плену формальной и неформальной логик.

>>1229188
Это не обязательно.

>>1229197
Намного эффективней, чем хуярить мышь током и смотреть какие там у ней участки мозга закоротило, ну это физиологи допустим, а маняматики, какие у них эксперементы? Если они пытаются в аналогию мозга, то почему они не наблюдают за его работой? Откуда они понапиздили всюе эти нейроны и перцептроны?

>>1227210
>>1229053
но, хотя я и ступил, но это же не дает тебе фича импотанс в прям уж чистом виде, с тем же успехом можно просто смотреть веса первого слоя, как в простой регрессии
http://explained.ai/rf-importance/index.html

>>1229190
не знаю, зачем я тебе отвечаю, но потому что есть (и очень много) экспериментальных данных, как люди теряют способность к разным аспектам мышления при травмах головного мозга, и это просто из самых базовых объяснений

>>1226323 (OP)
и предлагаю из названия следующего треда убрать слово "НЕЙРОНОЧКИ", оставить только машинное обучение

>>1229283
> предлагаю из названия следующего треда убрать слово "НЕЙРОНОЧКИ"
Изначально его там и не было. Это позже петросянство началось. Диплернинхбук из этой же области, абсолютно непригодные для начинающего объяснения как работают те же сверточные сети.

>>1229278
>теряют способность к разным аспектам мышления
Это хуяня, а не объяснение. Если ты у радио выбросишь пару деталей, оно начинает хуево работать, но это не значит, что радиостанция находится внутри него. Веятного объяснения того, что мозг является мыслительным органом нет.

>>1229293
>Веятного объяснения того, что мозг является мыслительным органом нет.
В человеке мыслит душа, а не мозг

>>1229293
Но мозг - не радио.

>>1229298
Алсо, да покормил.

>>1229298
>Но мозг - не радио.
Ты скозал?

>>1229301
Да, я. Ты сперва докажи, что он радио, а потом поговорим. Если радио посадить в среду с изолированным внешним сигналом, то оно нихуя работать не будет, а человек будет.
Да, я поговорю с шизиком.

>>1229304
> Ты сперва докажи
Нет, это уж ты докпжи, что там происходят мыслительные процессы.
>изолированным внешним сигналом
Кто тебе про электромагнитные волны говорил, мань?

>>1229305
Активность нейронов, зависимость восприятия и мышлительных процессов от различных дефектов в строении нейронов. Других доказательств нет и пока кто-либо не предоставит другие, то все будут считать, что вычисления проходят в мозге.

>>1229314
А ты можешь предположить что-то лучше?

>>1229316
Могу предложить только одно - перестать матанопетухам наебывать людей. Вся эта нейронная билиберда чистый маркетинг, не имеющий отношения ни к мозгу ни к живым существам.

>>1229318
>Вся эта нейронная билиберда чистый маркетинг, не имеющий отношения ни к мозгу ни к живым существам.
Докажи

Аноны, кто-нибудь работал с Keras?
Как там подготовить свои данные,
то есть не скачивать готовое https://keras.io/datasets/ ,
а подготовить свои текстовые данные,

собираюсь заниматься анализом текстов с помощью построения RNN с LSTM, не понимаю как вообще организовать папку с данными, где есть данные и лейблы,
в документации ничего об этом не нашел, там пишут, мол качайте готовое, для вас быдла уже все сделано

>>1229319
>Докажи
Кампутервижин, НЛП, аутономусвехиклс, все это не работает.

>>1229324
И? Это не является доказательством.

>>1229329
>Это не является доказательством
Тоесть, когда ученые столько лет лепят пули из говна, а они не стреляют, нужны еще какие то доказательства?

>>1229335
Да.

>>1229337
Например?

>>1229339
Другая теория, которая бы смогла опровергнуть современные взгляды.

>>1229342
Пока ее не появится, вы будете делать пули из говна?

>>1229344
Да

>>1229320
Не совсем понятен вопрос. Упрощая - все данные это таблицы (и ты можешь невозбранно ручками скачать много таблиц ну хотя бы с kaggle). Это может быть база данных, а может быть csv файл, но это таблица с текстовыми данными. Если хочешь работать с текстами, создавай файл text.csv в котором первый столбик заполняй... текстом, это твои Х, а второй столбик лейблами, это твои Y, затем с помощью например pandas read csv ты загружаешь эту таблицу в программу, и например через train_test_split из библиотеки sklearn получаешь точно такие же массивы тренировочных и тестовых данных которым тебя уже приучил керас.
Картинки (и любые другие данные) обрабатываются абсолютно таким же образом, ты берешь файл картинки, делаешь из него строку или двухмерный массив со значениями пикселей от 0 до 255 (в черно-белом варианте) или трехмерный от 0 до 255 для каждого цвета rgb (спойлер, их три), хотя конечно я тебя никак не ограничивая и ты можешь представить картинку как побитовую запись файла или его хеш или как тебе приспичит, это дата саенс, детка. Запиши все это в первый столбик таблицы, а лейблы во второй и все. Дата саенс это не распознавание негров на однообразных данных, это обработка и анализ данных так чтобы из них начало получаться что-то стоящее, а использовать можно хоть линейную регрессию или деревья, деревья вообще тащат а XGB топчик. Перестань бояться данных, они твои бро.

Как обучать свою внутреннюю нейроночку?

>>1229382
Скармливай данные и лейблы, все. У нее годная архитектура, может научиться хоть лисьим хвостом управлять, хоть языком смотреть.

>>1229382
Поощряй за успехи, давай пиздюлей за ошибки.

>>1229351
хочу вот так же сделать, но со своими данными,
https://pastebin.com/bUXeqqaE
вот только не могу понять как их готовить

>sklearn
>pandas
можно ли как-то то же самое сделать через спарк и керас?
мне именно с ними надо работать,
ну типа спарком можно как-то обработать сырые данные и дать их на растерзание питоновскому скрипту, потестить разные параметры сети и разные архитектуры,
а потом самую удачную переписать на нативной спарковской библиотеке MLlib на Scala,
у меня такой план

>>1229450
Ты можешь это сделать через стандартную библиотеку питона, но зачем? Я тебе про идею, ты мне про инструменты. Это не веб-макакинг где нужно учить новые фреймворки каждые два года, pandas и все что входит в scipy это стандарт, к тому же, тебе всего пара функций нужна оттуда - сперва ты обрабатываешь данные, а потом используешь спарк, керас и что угодно, это два разных процесса в большинстве случаев. Керас просто не предназначен для препроцессинга на таком уровне, он упрощает какие-то специфические моменты в работе со строками и изображениями, но уже после того как по ним прошлись pandas или sklearn.
Кажется, тебе сперва нужно вообще разобраться с тем что такое данные и что такое эти ваши нейроночки, если у тебя нет представления о том что такое X_train.

>>1229468
хорошо,
а как придумать лейблы, если я собираюсь анализировать серверные логи,
например, "ERROR", "INFO" и "WARN" это хорошие лейблы?

>>1229479
0, 1 и 2 это хорошие лейблы. Начни с http://www.deeplearningbook.org/

>>1229483
хорошо,
спасибо

>>1229483
> 0, 1 и 2 это хорошие лейблы. Начни с http://www.deeplearningbook.org/
В диплернинхбук такое пишут? Хорошие лейблы это н-р "1 из N", https://en.wikipedia.org/wiki/Constant-weight_code А 0 1 и 2 будут просто непрерывными значениями как при регрессии.

>>1229489
One-hot encoding тоже один из стандартных метов и в диплернинхбук о нем пишут.

Почему не могут замутить нейронку, с помощью которой модно было бы говорить с животными?
Мне бы пригодилось, еще диплом сдавать и общаться с "преподавателями" в вузеке

Почему часто в статьях приводятся результаты для валидационного сета? Всмысле, есть резон следить за показателями пока проводятся эксперименты чтобы отловить какие-то косяки, но в качестве результатов эта информация кажется бесполезной.

>>1229639
> Почему часто в статьях приводятся результаты для валидационного сета?
Потому что они показывают, что модель правильно обучена и может обобщать, т.к работает на данных, не использовавшихся в обучении.

>>1229320
Ну потому что Keras таки для нейронных сетей, а методов препоцессинга в нем не много. Тебе лучше почитать про то, как готовить данные к ML в целом и как лучше векторизовать тексты в конкретной задаче, почитать про numpy, sklearn, pandas, попробовать чей-нибудь простое типа tf-idf и прочего, а потом открыть для себя doc2vec, word2vec, language models и прочее.
Мимо-нлпшник

Систему переустанавливал. Не занимался этим день.
Давайте с начала. Нужно получить да или нет ответ. На вход делаем цифры в каком-либо виде. Для контрастности добавляем смещение, активацией выравниваем. Цифры будут разделены на две группы. Зачем делать слои, менять learning rate и разные активации на каждом слое? Или вы получаете больше чем да-нет?

>>1229653
Да-нет это бинарная классификация. Есть классификация с множественными классами, есть регрессия, есть аппроксимация плотности распределения, априори неизвестной. В зависимости от задачи делается датасет и подбирается подходящий алгоритм, пусть хоть нейроночки эти ваши. Хотя я абсолютно уверен, что если задача не в том что бы негров распознать или котиков под Пикассо разрисовать, можно не изьебываться с сотнями слоёв, достаточно простой SVM.

Обойдите уже гугл капчу, я заебался эти машинки целыми минутами выбирать блять это пиздец. Хорошо хоть здесь есть нормальная капча.

>>1229794
Был же скрипт, который в гуглокапче включал аудио вариант и использовал для его распознавания сервис самого гугла.

>>1229816
Они включили йобазащиту, когда просто банят и не дают ввести капчу

>>1229528
>21 век
>не умеет общаться представителями своего вида
Какие тебе нейроночки, ты же сам животное, лол

Почему не сделают вокалоида как гугл мужика? И наоборот

>>1229649
>Мимо-нлпшник
Привет, ты тот анон с дисером? Как успехи?

>>1229644
Это показывают данные из тестового набора, а валидационный таки использовался... ну... для валидации по ходу обучения.

Почему в ёлу нельзя вставить большую картинку инпут? Эксепшен вылетает.

>>1229895
потому что эти статьи неправильные, а их модели оверфитнутые, но никто не проверяет же

>>1229963
Нет, в статьях идут таблицы и графики средних результов и тестов, и валидаций.

А расскажите, где нищему студенту можно взять сервер, чтобы там можно было установить все нужные библиотеки и погонять на нем нейронки? Зимой на месяц брал триал Azure, не разобрался, как получить студенческий доступ, и забил после окончания бесплатного доступа. Есть какие-то фри решения? Огромные вычислительные мощности не нужны.

>>1230119
Ты профнепригоден, если даже со студентческой халявой разобраться не можешь

>>1230122
Там попросили номер карты, я ввел, потом сообразил, что вообще-то могу получить студенческий доступ, создал новый аккаунт, а карту перепривязать не удалось.

>>1230126
Ну напиши им в техподдержку

Я знаю что старые алгоритмы вроде деревьев продолжают усовершенствовать всякими ансамблями, а что с генетическими алгоритмами? Они мертвы или просто потерялись за хайпом нейроночек?

>>1230253
Их отдельные энтузиасты пилят понемногу. https://journal.r-project.org/archive/2017/RJ-2017-008/ например. Не думаю, что тема мертва, там ещё есть куда расти и вообще, сама идея ГА (эволюционные методы оптимизации) интересна.

Прочел вот этот пост https://habr.com/post/334380/. В разделе про автоматическое дифференцирование, показывается, как вместе со значением функции сразу вычисляется градиент, без backprop-а. Однако затем есть пример, где вызывается backward. Зачем, если градиент параллельно считается?

>>1231293
Ты не понял, что там написано. Не расстраивайся, просто описание слишком поверхностное.
>вместе со значением функции сразу вычисляется градиент
Не вычисляется градиент, а строится граф для его вычисления. Т.е. символьно вычисляется выражение. Потом этот граф нужно исполнить, чтобы вычислить значение.

Программа делает кое-что. Из программы приходит снимок экрана и что программа сделала. Это нужно засунуть в нейронку которая будет анализировать качество действий. Что мне нужно? Классификация?

>>1231548
Deep reinforcement learning. Даже во всякие арканоиды и понги учат играть эти ваши гейроночки.

В Украине можно PhD получить?

>>1231691
Получай.

>>1228769
>Не могу осилить понимание механизма, который делает дисперсию правильной именно с квадратом, а не с модулем.
Дисперия случайной величины x есть по определению: Var x = E(x-Ex)^{2}, где E - оператор взятия среднего значения( математического ожидания) Предположим, мы считаем, что корректней определять дисперсия через модуль, т.е: Var x = E|x-Ex|. Раскрываем модуль: если x > Ex тогда |x - Ex| = x - Ex и наша новая "дисперсия" равна нулю, если x < Ex то тогда |x - Ex| = Ex - x, и наша дисперсия снова тождественно равна нулю. Таким образом наше определение, очевидно, несостоятельно.

>>1230253
>что с генетическими алгоритмами?
Идешь сюда: http://gecco2018.uma.es/proceedings/gecco18_papers_toc.html
И качаешь свежие статьи с недавней конфы.
user: gecco2018
password: kyoto

В целом на чисто ml-задачах GP сосет. Самый модный алгоритм epsilon-lexicase selection на задачах регрессии работает в 6-20 раз дольше, чем xgboost и дает, как пишут в их бенчмарках https://github.com/EpistasisLab/regression-benchmark чуть лучший результат.

Однако, что это за бенчмарки? Максимальный размер датасета на котором они тестировались был 1000 наблюдений на 100 признаках.

В общем пока представляет интерес только для соревновательного стекинга.

>>1231743
>Предположим, мы считаем, что корректней определять дисперсия через модуль
Ты только что стандартное отклонение

>>1226323 (OP)
>В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
At first i was like:
>HOLY SHEEEET THESE WORDS ARE TOO COMPLICATED
But then i:
>бля, я же по всему этому получил отлично в экономическом универе и даже через десяток лет всё помню и знаю большую часть
Тру стори, анончик. Как-то хожу сразу в нужные треды, а вот решил почитать и охуел изначально, чот трудна. И ушёл дальше. Вспомнил, что в шапке какой-то мемас есть и решил его понять. Прочитал ещё раз и охуел с того, что я же реально это всё великолепно освоил в универе.
Это ведь действительно глаза боятся, а руки делают.
Ещё один повод начинать кекать с моих одногрупников, которые "блееее, нахуй мне ваша матеша, она нинужна в иканомике" или "фу, ебучий эксель, КТО ИМ ВООБЩЕ ПОЛЬЗУЕТСЯ в экономике?". А теперь эти шакалы за 20к бумажки перекладывают в пыльных некондиционируемых офисах на самом деле, больше половины сидит по местным управлениям миллионника, а остальные съебали в другие страны, ведь направление было блатным и всех куда надо пристроили, только одна тян залетела от хуй пойми кого и в семью играет, ну и я, долбоёб, в кодерство ударился.

>>1231781
Только в современных соревнованиях обычно миллионы примеров.

>>1231801
А я не умею в квадратные уравнения.

>>1231781
поцеловала в щечку

>>1226323 (OP)
Ну почему я не учил математику в школе и не пошел на математическую специальность в вуз? Так хочется вкатиться в датасаенс, но не умею в английский и математику. Что делать, братцы?

>>1232136
Увы, скорее всего, поезд ушел. Английский выучить не должно быть серьезным препятствием, можешь начать с него. Все равно пригодится.

>>1226560
>однослойной сети
>2к18

>>1229045
На самом деле каждому нейрону свой биас, деб.

>>1230253
Это совершенно разные понятия. Нейроночки используют деревья как данные и иногда генетические как внутренние алгоритмы.

>>1232171
Одинаковый для всего слоя.

>>1232184
Почему?

>>1232173
Это все алгоритмы машоба, ньюфаг, про деревья читай random forest (и прочие леса) и всякие xgboost (и прочие ансамбли). ГА внезапно тоже могут в машоб, просто очень медленно.

>>1232186
Я прекрасно понимаю что это. Это совершенно разные понятия, которые к тому же относятся к машобу.

>>1227026
Какая-то чушь. Иначе бы рыночек давно бы порешал такие журнальчики.

>>1232441
> Какая-то чушь. Иначе бы рыночек давно бы порешал такие журнальчики.
Без публикаций в таких журнальчиках не сделаешь карьеры, вот и все. (((Владельцы))) таких журнальчиков настолько ушлые, что сами давно порешали рыночек.

>>1232136
Двачую, хотя английский это ерунда.

>>1232136
Если не секрет, то почему хочется вкатиться?
Меня, например, возбуждает история тян из штатов:
Есть сеть супермаркетов, Таргет (читай Лента), которая работает по картам покупателей. И вот, эта тян ~16 лет закупалась там постоянно и всё было заебись. Пока в один день её на почту (физическую) не начали приходить скидки на всякие памперсы и детскую еду. Батя этой тян впал в ярость берсерка от такой ошибки и начал бегать по судам. Таргет по итогу извинился бабками. И что же вышло в итоге? Тян и была беременной, сама этого не знала даже.
Бигдата Таргета сравнила её со всеми беременными тян и сопоставила изменения в её покупках с теми изменениями, которые делают беременные тян, и выдала такую рекламу.
Если у тебя от такой истории не встал писюн, то нахуй тебе бигдата и датасайенс, братишка?

>>1232441
> ВРЁТИ

>>1232246
Чё не так?

>>1232492
Она в Фейсбуке писала, она Гуглила. Ее запросы были отданы в ФБР. ФБР являясь американской организацией приняло решение защитить своего гражданина и оказать помощь в рождении ребенка и прислало на почту уведомление. Это очередной раз подтверждает превосходство Америки.

Как вкатиться в вашу хуйню по фасту? Матан немного знаю, если что подзабуду, то легко перечитаю, линал тоже помню. Заебал вебмакакинг, хочу нормальными вещами заниматься.

>>1232580
Самый быстрый вариант, ведущий к успеху, - PhD в Стэндфорде.

>>1232582
>>1232581
Так, значит я ваших матерей ебал, зелёные. Жду нормальных анонов.

>>1232580
Добавьте в шапку:
- работать без профильного PhD или хотя бы магистратуры получится только в стартапах на три человека, один из которых почитал про нейронки и решил что бывший веб-макака с этим справится.
- если считаешь что достаточно хорошо знаешь матан и после своих смузи-фреймворков без проблем вкатишься, открываешь http://www.arxiv-sanity.com/ и читаешь первые три-четыре статьи, это самое читаемое по машинлернингу типа ваших хабров и.. и того что там еще похоже на хабры. Никакой черезмерной сложности, это как раз ровный средний уровень, наслаждайся.
- если не знаешь английского то ты просто не нужен, у тебя нет шансов ни в науке, ни в средней работке, ни в личной жизни и твои родители тебя ненавидят.
- быстрое вкатывание это два года магистратуры, на диване это два года имплементации готовых алгоритмов, чтения статей и хотя бы одного большого пет-проекта
- если ты не публикуешься, ты зафейлил свое вкатывание

>>1232591
- шапку почти никто не читает
- чем она больше, тем меньше вероятность ее прочтения
- человек, не обладающий навыками/заслугами, которые ты упомянул, прочитав твой текст, не уйдет отсюда с окейфейсом. Наоборот, он будет долго нудеть о своей уникальной биографии и о том какой он обучаемый, умный и вообще молодец, а все остальные дураки, упрашивая кого-нибудь согласиться что именно в его случае ПхД не нужно и он может уже посылать резюме в гугл брейн и дипмайнд

>>1232619
Меня оскорбляет то что ты упомянул только проекты Гугла. Тред это безопасная зона в которой запрещены акты микроагрессии, извинись и мы продолжим нормальное дружественное общение в располагающей обстановке.

бамп

>>1232634
Но дипмайнд это компания группы alphabet, а не гугла.

>>1232638
Так толсто что даже бодипозитивно.

>>1232441
даже за нипс нужно платить оргвзнос

>>1232591
Не слушайте этого дауна, любой человек, закончивший ПМИ легко освоит абсолютно всё, что нужно за полгода максимум.

>>1232923
О, малыш, но ведь просто прочесть недостаточно, нужно еще и применить. А требование к PhD обязательное со стороны работодателя.

>>1228656
Это НЕ культ.

На сколько сложно распознавать порно и эротический контент, одевать людей из него в паранджу?

>>1233007
Ну или в общем в закрытую одежду

>>1233007
> На сколько сложно распознавать порно и эротический контент
Легко, ютюб уже лет десять это делает.
> одевать людей из него в паранджу?
Тоже не сложно.

>>1233048
На ютубе же толпа индусов распознает, не?

>>1233058
Не.

>>1233048
>Тоже не сложно
Сложно.

>>1233304
Кому как.

Говорят машобчик это ковыряние даты вилкой, а потом перебор всех подходящих алгоритмов и их параметров, это правда?

>>1233388
Всё так.

>>1233483
>обрисуйте
Открываешь хх.ру или другой сайт, где рабов покупают, и обрисовываешь себе до умопомрачения.

Анализ успешности компании и прогнозирование дальше. Как все параметры на вход представить? В одну строчку все цифры сделать или как-то иначе?

>>1233491
> спросил про порог вхождения

> предлагает посмотреть на хх

Што?

>>1233499
Порог вхождения на 4ом оп-пике, если задача именно разобраться в машобчике. Если речь о трудоустройстве, то да, тебе на хх.

>>1233426
Зачем тогда таким заниматься?

>>1233514
Практические профиты потому что. Ты аутист штоле?

>>1233523
Кому? Тому кто занимается или тому кто нанял раба?

>>1233312
всем сложно, нужно отделить от бэкграунда - это уже не очень просто. А учитывая все многообразие поз и того, как ткань будет вести себя в динамике, и вовсе невозможно на данный момент.

Требуют знать немного, платят много, но опыт от 6 лет
https://hh.ru/vacancy/26616968

>>1233562
>Требуют знать немного
>платят много
=)

>>1226323 (OP)
>>3
Вот за что люблю /pr так это за то что здесь картиночки смешнее чем в /b

В программировании ничего не понимаю

Есть reinforcement нейронка, которая выучила все варианты развития события. Она не угадывает, а просто берет данные из веса и делает как делала в прошлый раз. В чем ошибка? Если ей чуть-чуть энвайромент изменить, она просто будет заново переучиваться. Как сделать чтобы она думала что делает?

>>1233636
Это просто перемещение матриц, там нечему думать.

>>1233637
Предикшен в чем заключается? Из лучших весов выбираем лучший и его делаем? Мне нужно чтобы нейронка действие вперёд предугадывала.

>>1233636
Регуляризации навернуть

>>1226560
Количество эпох оценивается по количественным параметрам на training и validation множествах. Скоро всего ты уже 7 часов 59 минут как тупо переобучаешь.

привет датасантисты как правильно инициализировать веса для L1 регуляризации?
я думаю нужно просто часть из них зарандомить гауссовым распределением а остальные оставить нулями если

Как в lgbm указать количество итераций на котором стопить?
И как бы его получше определить?
Или лучше early_stopping_rounds использовать с кросс-валидацией?
А насколько имеет смысл что-то типо бустинга делать: пусть у нас есть выборка X размера N, тогда построим X_train выбрав N элементов из X с повторениями и в X_valid возьмём всё что не попало в X_train (или как-то по другому??) и будем учить на таких парах это всё K (какое выбрать?) раз.
Где почитать ответы на такое?

Кстати накидайте примеров использования какой-то нетривиальной математики _на практике_ в машобе
А то на кэгле даже доверительный интервал никто не построит никогда нахуя вы советуете тогда тут гамалогии учить?
мимо перекатывающийся студент-математик расстроенный тем что зря учил всю эту парашу

>>1233739
Нетривиальной математики даже в статьях почти не используется, что уж про кагл. Там про другое вообще.
Попробуй сам поучаствовать в кагле, чтобы понять что там да как.

>>1233785
Ды нет это понятно (то есть видно даже из моего очень скромного опыта), что почти никогда к математике никто не обращается. Хотелось бы поглядеть на исключения, как раз.
Если математику в статьях минимально я видел, то на кагле вообще нет.

>>1233788
>Если математику в статьях минимально я видел
Там математика как сюжет в порнухе.

>>1233788
Гугли manifold hypothesis и далее

>>1233735
slowfix:бутстрапинга

>>1233739
>нетривиальной математики
>_на практике_
Дефайн "нетривиальная математика".

>>1233875
а зачем? это же не натуральные числа кто может ответить на вопрос тот поймет

>>1233739
> нахуя вы советуете тогда тут гамалогии учить?
Кто тебе тут советует гамалогии учить? Наоборот, все пишут что третьего оп-пика достаточно.
> Кстати накидайте примеров использования какой-то нетривиальной математики _на практике_ в машобе
Вапник же. И вообще теория статистического обучения. Ну если вариационное исчисление для тебя достаточно нетривиально. В машобе сложнее ничего нет.

>>1233922
Чот не видел где там необходимо вариационное исчисление (ну или может максимум эйлер-лагранж), но это я наверное глупый.
А я же спрашивал на кэгле/в реальных проектах где посмотреть, что прям вот VC размерность чего-то посчитали и помогло..
Кстати в статьях видел и гамалогии и случайные матрицы, но это конечно экзотика.

>>1233735
https://lightgbm.readthedocs.io/en/latest/Python-Intro.html#early-stopping

>>1233735
LightGBM is a gradient boosting framework
конечно, с кросс-валидацией (или чуть раньше)

>>1234351
Скачай керас и посмотри получасовой тутор. Готово.

Где книг по TF на русском?

>>1234439
На nobrain.dk хорошие переводы были.

>>1234439
> на русском
Уже мог бы выучить английский.

>>1229190
А где тогда?

>>1229293
Манясигнал управляющий мозгом по определению материально взаимодействует с миром, иначе бы он не управлял мозгом. Таких взаимодействий не найдено.

>>1234495
>материально взаимодействует с миром
Кокие ваши доказательства?

>>1234492
В тонком эенергетическом мире

>>1234512
Не взаимодействуют, значит не управляют, значит источник - мозг.

>>1234513
Не влияет на материальный мир. Если влияет - не является тонким, а является частью материального.

>>1234515
>Если влияет - не является тонким, а является частью материального.
Расскажи ка дружочек мне про электрон из чего он состоит и к какому миру он относится

>>1234516
Заводи отдельный тред в другом разделе.

>>1234517
Нетъ

>>1234520
Школопидора ответ.

Вот я репорчу шизиков и всех, с ними разговаривающих, и ты так делай.

>>1234524
Азазаза

>>1234527
Ты бы лучше ИИ тянку зделол, ну или симулятор школотрона из 3б

>>1232591
Где можно получить профильное PhD в РФ?
>inb4: нигде

>>1234675
Занимаются кое-где. На ВМК МГУ есть кафедры. Но главный вопрос тут: зачем? Такое ПхД ты вряд ли потом сможешь использовать. Да и у нас не платят же за него.

>>1234675
>PhD
Нахуй тебе быть Доктором Философии, ебанат?

>>1234675
Получить профильное PhD в РФ можно выехав из РФ пока есть такая возможность. В прошлых тредах уже разжевали что это проще чем кажется и люди готовы пихать тебе деньги в карманы чтобы ты потратил часть своей жизни на исследования которые отнимет у тебя гугол и пейсбук.
>>1234771
Приходи сюда когда закончишь школу.

>>1234785
>Приходи сюда когда закончишь школу.
Закончил тебе за щеку, держи карман шире, а то деньги пихать не будут, прохфесор пхилософии

запускаю lgbm как-то так:
https://pastebin.com/cvJeNKUV
и она все равно мне на каждом шагу выдает скор.
то есть вопрос том как правильно использовать verbose
и еще как скормить lgbm'овский датасет в fit?

>>1234854
запустил и оно вообще у меня не останавливается, натаскивается на validation_bin почему-то

>>1234855
Лан с последним это уже я накосячил

>>1234863
и с verbose'ом тоже разобрался: почему-то надо указывать train'у аргумент verbose_eval, но почему он игнорирует значение в параметрах -- я не понимаю.
Остается только вопрос о том как скармливать lgm.Dataset fit'у

хочу купить видеокарту , но бюджет ограничен 26к понятно что gtx1080 отпадает остановился пока на 1060 https://market.yandex.ru/product/1729164449?track=tabs и https://market.yandex.ru/product/14141262?show-uid=325388165329143107616003&nid=55314&glfilter=4878792%3A13994072&glfilter=7893318%3A152863&context=search
чо скажете? стоит ли вообще экономить на памяти?
сколько по времени на такой карте будет тренироваться сетка с 4000 входами приблизительно при архитектуре допустим 4000/500/1

>>1234894
>стоит ли вообще экономить на памяти?
Нет. Будет ли тренироваться 4 часа или 8 часов - это в принципе похуй, один хуй будешь на ночь ставить, но если памяти нет, то ее нет.

>>1234902
всмысле если память кончится процесс прервется?
или что ты имел ввиду?

>>1234909
Нейронке требуется память под параметры самой себя и под параметры оптимизатора. Интересные архитектуры просто в твои три гигабайта не помесятятся.

>>1234914
:*

>>1234922
<З ?

Зачем в tf нужно отдельно инициализировать переменные? Мы же и так указываем значения, которыми их надо инициализировать. Почему бы автоматически эти значения не записывать при создании сессии?

В какой идти вуз, чтобы потом в машоб вкатиться
самый тупой вопрос в этом треде

>>1235006
В Стэндфорд.

Я уже писал сюд с вопросом, но теперь я уже лучше владею материалом и готов к конструктивной беседе.

Как можно организовать обучение нейронки "в рантайме"?
Например работает какое-то приложение на сервере и выдает какие-то логи, а нейронка бы их хавала определенной порцией и предсказывала бы, ведут ли потенциально эти логи к какой-нибудь фатальной ошибке типа "out of memory" или к ошибке типа "null pointer exception",
если да, то будут предприниматься какие-нибудь действия (например придет электическое письмо дяде сисадмину)
предсказывать будет какой-нибудь простой классификатор типа наив бейс или рандом форест или svm, но он вроде самый долгий,
второй вариант, что предсказывает какая-нибудь RNN, но с дип лернингом я пока не знаком,
насколько по вашему эта идея может взлететь?Как бы вы реализвовывали?

У меня такая реализация,
пока что я лишь присматриваюсь к нужному алгоритму, играю с логами и пишу методы, что б их парсить, весь ML реализован на Питоне с использованием библиотеки sklearn, а так же других стандартных библиотек,
парсинг логов и вытаскивание из них полезной информации целиком сделан с помощью регулярок и питоновской библиотеки re.Пишу в jupyter notebook на питоне 3.7

Можно анализировать лог, как естественный язык, есть набор тестовых логов, которые ведут к определенным ошибкам, к примеру: "out of memory" , "null pointer exception".
Проходимся по логу препроцессингом: убираем все знаки препинания;
потом идет Stemming - сокращаем слова до минимума, что бы осталась самая суть, (responsible, responsibility итд превращаются в response),
далее по тексту проходимся алгоритмом tfidf и превращаем текст в числовой вектор, это готовые features для классификатора, заранее берем от них 10% для тестирования, на выходе имеем 2 питоновских list
features_training и features_test
target это вектор, где единичка обозначает соответствующую ошибку,к которой ведет лог, нулевой вектор - нет ошибок


Думаю ни для кого здесь не секрет, что всем алгоритмам классификаторам пофиг на содержание текста, их интересует только частота появления определенного слова и наличие как можно большего количества тренировочных данных, больше того, наличие большого количества хороших данных это более внушительный залог успеха, нежели совершенность алгоритма,

Пока что проблема с подготовкой данных,
какую часть лога лучше брать для features ? Само сообщение лога или целиком строчку с таймстемпом,
Пример лога:

2017-03-14 22:43:14,405 FATAL [org.springframework.web.context.support.XmlWebApplicationContext]-[localhost-startStop-1] Refreshing Root WebApplicationContext: startup date [Tue Mar 14 22:43:14 UTC 2017]; root of context hierarchy
2017-03-14 22:43:14,476 INFO [org.springframework.beans.factory.xml.XmlBeanDefinitionReader]-[localhost-startStop-1] Loading XML bean definitions from Serv
2017-03-14 22:43:14,476 INFO [org.springframework.beans.factory.xml.XmlBeanDefinitionReader]-[localhost-startStop-1] Here is a multiline
log entry with another entry after
2017-03-14 22:43:14,476 INFO [org.springframework.beans.factory.xml.XmlBeanDefinitionReader]-[localhost-startStop-1] Here is a multiline
log entry with no entries after
2017-03-14 22:43:14,476 INFO [org.springframework.beans.factory.xml.XmlBeanDefinitionReader]-[localhost-startStop-1] Here is a multiline
log entry with no entries after
2012-02-02 12:47:03,227 ERROR [com.api.bg.sample] - Exception in unTech:::[Ljava.lang.StackTraceElement;@6ed322
java.io.IOException: Not in GZIP format
at java.util.zip.GZIPInputStream.readHeader(Unknown Source)
at java.util.zip.GZIPInputStream.<init>(Unknown Source)
at java.util.zip.GZIPInputStream.<init>(Unknown Source)
at com.api.bg.sample.unGZIP(sample.java:191)
at com.api.bg.sample.main(sample.java:69)

Пока что пишу классификатор на "плохое"(ведущее потенциально к скорой ошибке) и "хорошее" (нейтральные логи, которые не ведут к потенциальной ошибке)
соответсвенно target это вектор [0] - хорошо [1]- плохо (есть ошибка)

>>1234675
В Украине.

>>1235006
Учись дистанционно, интернет же тебе дан.

>>1235026
>Например работает какое-то приложение на сервере и выдает какие-то логи, а нейронка бы их хавала определенной порцией и предсказывала бы, ведут ли потенциально эти логи к какой-нибудь фатальной ошибке типа "out of memory" или к ошибке типа "null pointer exception"
А где здесь обучение в рантайме? Берешь тонну логов с заведомо известным итогом, обучаешь сетку. Пока она работает, копишь новые логи.
Можно либо каждый раз обучать с нуля либо, если данных ну реально дохуя, дообучать (я бы не стал), во втором случае возможно придется сделать некоторые трюки типа рандомизации весов или пилообразной кривой learning rate, чтобы нейронка вышла из локального минимума (а-ля алгоритм имитации отжига), но этого будет достаточно.

>Пока что проблема с подготовкой данных, какую часть лога лучше брать для features ?
Если у тебя дипленинг, скармливай текст целиком, нейронка разберется. Я бы взял сверточную нейронку, которая бы анализировала, допустим, 16 кб логов, и так скользящим окном и делала бы предсказания. Дешево, сердито и никаких RNN. А стэммингам-хуеммингам она сама научится.

>>1235071
Даже интересно, сможет ли оно что-то предсказать. Задача вообще-то нетривиальная, т.к. обычно искать нужно не какие-то конкретные паттерны, а всевозможные отклонения от нормы.

>>1235078
sklearn.ensemble.IsolationForest

>>1235078
>сможет ли оно что-то предсказать
Нет

>>1235078
Если ты сможешь объяснить за день алкоголику-бомжу, что делать, то сможет. Если не сможешь объяснить студенту мехмата за неделю, то не сможет. Вилка где-то такая.

Че котаны, как там ваши нийронки, что нового, кокие достижения?

>>1235109
http://www.fast.ai/2018/07/02/adam-weight-decay/ рекомендую

>>1235114
>http://www.fast.ai/2018/07/02/adam-weight-decay/
Нахуй мне эти графики и проценты? Давай рабочую и наглядную йобу, что бы ого го го

>>1235116
Когда выпустим дам

>>1235120
>Когда выпустим дам
Я уже хочу автономный автомобиль и ИИ не уебище Алису

>>1235126
Пока рынок не отобьет затраты, не дождешься. Мы тоже не все разработки в открытый доступ выкладываем, все равно конкурентов нет

Как подготовить фоточку к текст рекогнишену?
Юзаю openCV.
Не могу отделить нормально текст от фона для того чтобы заюзать бинаризацию, они сливаются. Пробовал контрасты всякие, насыщение етц, но тогда текст слишком сильно кораптит и иногда ocr просто рандомные значения выдает, к тому же "13" и "15" сливаются в одну циферку. Алсо фотка оч чувствительна к качеству, любой блик или тень к хуям вся портит.
пикчу перед обработкой обрезаю

>>1235191
Не надо ничего подготавливать. Больше данных, больше свёрток и сеть и так будет твои картинки распознавать

>>1235191
13 и 15 ты точно не отделишь. Сложный текст. Почитай статьи, как капчи распознают, может поможет.

>>1235191
Нейроночкой придется делать. Но датасет как ты будешь набирать я не знаю. Даже 10000 фоток (довольно маленькая выборка) ты помрешь делать.

>>1235191
Ищи паттерны цвета какие-нибудь. Блять. Это банальная арифметика, нахуя ты это спрашиваешь.

>>1235191

https://ru.wikipedia.org/wiki/YUV

>>1235239
Спс, няша

>>1235191
Индусам и китайцам отдай вместо капчи.

Кто может подсказать ресурс, где разбираются решение задач, можно на английском

Кто может подсказать ресурс, где разбираются решение задач, можно на английском

Что скажете насчет книг:
Deep Learning (Adaptive Computation and Machine Learning)
и
Hands-On Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems

Геймдев или нейроночки?

>>1236854
Гейроночки.

Ононы, не стукайте за даунские вопросы:
1) Есть ли Русская версии книги диплернинг.орг?
2) Нужно ли изучать основы программирования для работы с МЛ?там же на пайтоне и я пытался в него вкатится на днях-понял чуть менее, чем нихуя(алгоритмы, теории графов и т.д.)

>>1236924
Без английского тебе ловить все равно нечего, учи его сначала. Программировать нужно.

>>1235068
А как математику учить?

>>1236983
Как и программирование

>>1236958
Нужно начинать с основ программирования и только потом переходить в МЛ? Или просто начать читать эту книгу и кодить без фундаментальных основ программирования?

>>1237051
Да не нужно там программирование. Нужный объём за неделю осилишь, если не торопиться. Диплернинхбук - говно из жопы, попробуй сам почитать нраву про сверточные сети и убедиться, что авторы пишут хуйню, непонятную начинающему.

>а можно без английского языка?
>а можно без математики?
>а можно без программирования?
>а можно не умея читать?
>а можно будучи идиотом?
>а можно обезьяне?
>а можно камню?
Да можно, можно. Если кто спросит - говорите, что я разрешил.

>>1237073
А что не говно в таком случае?

>>1237087
Ебать, я как бы интересуюсь, а не собираюсь не делать лишнюю работу

>>1237073
Ниасилил и осуждаю, нужно чтобы в картиночках.

Если прорешал конкретную математику сложно будет вкатиться?

Если в свёрточку классификации в гуглопоиске закинуть изображение с комбинироваными признаками каких-то классов, то она может выдать такое же пересечение этих классов, но только с другими признаками. То есть сами признаки игнорируются, а соотносятся элементы классов. Это баг или фича?

>>1237185
Ничо не понял.

Че это за х....??))) идите лучше телак ебите))

Почему никто не советует cs231n или fast.ai? Всё разжевывают же и практических заданий хватает

Вот вы смеетесь, а на хабре новость: "Windows 10 использует технологию машинного обучения для определения возможности апдейта".
То есть по активности юзера винда пытается определить, отошел он поссать, или ушел домой, а значит можно скачать апдейт и перезагрузиться.

>>1237546
>хабре
тамошнее хомячье и не такое напишет

>>1237551
К чему тут снобизм? Вот первоисточник: https://blogs.windows.com/windowsexperience/2018/07/25/announcing-windows-10-insider-preview-build-17723-and-build-18204/

>>1237571
>К чему тут снобизм?
Потому что хабр для макак и переводчиков.

>>1237571
>How many times have you been immersed in a captivating virtual experience and…
>
> Wanted to take a quick peek at someone nearby?
> Wanted to reach for a drink, your phone or a keyboard?
> Needed to find a surface to set down your controllers?
>
>In the past you probably fumbled about or removed your headset, which can be clumsy if you have controllers in your hands.
Помогите определить уровень аутизма.

Существуют ли алгоритмы пригодные для генерации бредотекста кроме цепей маркова и charrnn/wordrnn?

>>1237676
Любая плохообученая RNN с текстом.

>>1237502
С 231cs'a неслабо рвется жопа от первых двух домашних заданий. Датасаентисту из пиков в шапке нахуй не усралось писать свертки/полносвязные слои на нумпае

>>1237676
>бредотекста
Если бредоязык типа англопараши то да, на нормальных флективных языках соснешь.