Тред #1: https://arhivach.org/thread/147800/Тред #2: https://arhivach.org/thread/170611/Тред #3: https://arhivach.org/thread/179539/Machine Learning 101:1. Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf )Читается легко, неплохая разминка перед ESL2. Pattern Recognition and Machine Learning, Bishop.3. Bayesian Methods for Hackers. Введение в байесовские методы, годно.4. http://neuralnetworksanddeeplearning.comВведение в нейронные сеточки для самых маленьких. Написано простым английским. 5. https://yandexdataschool.ru/edu-process/courses - базовые курсы ШАДа.Machine Learning Advanced1. Elements of Statistical Learning (http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )Сложность - 9 из 10. Шутки в сторону, можно читать годами. Если вы сможете полностью проработать эту книгу и прорешать упражнения, обязательно свяжитесь со мной - у меня найдется работа для вас.2. Optimization for Machine Learning. Edited by Suvrit Sra, Sebastian Nowozin and Stephen J. Wright, MIT Press, 2012.Иногда from sklearn.linear_model import LogisticRegression перестает работать и тогда нужно все переписать. Оптимизация квадратичных приближений на больших объемах данных, разреженные модели, суррогатные оптимизации - вот это все тут есть.3. http://www.cs.nyu.edu/~mohri/mlbook/Как ESL, только слегка по-проще. Попробуйте, может зайти.Дальше вас ждет дикий и необузданный мир. Два маяка https://vk.com/deeplearning и http://deeplearning.net/reading-list/ осветят дорогу: это списки литературы и обзоры статей для прощупывания пульса индустрии.Computer Science1. Introduction to Algorithms, Corman2. The Art of Computer Programming, Knuth3. Compilers: Principles, Techniques, and Tools. Разработчикам компиляторов и прочим авторам убийц питонов и крестов посвящается.4. Введение в информационный поиск, Кристофер Маннинг.Как работает поиск с теоретической точки зрения.Programming1. Python Unlocked. Короткая книжка без соплей. В ней описаны метаклассы, дескрипторы, системы типов, шаблоны проектирования и TDD. Всего чуть больше 100 страниц концентрированной сути.2. Code Complete (2nd), McConnell.Неплохая книга. Не то чтобы обдрочиться, но в голове всякие фишки по структуризации кода и его проектированию остались.Misc1. Telegram: @techsparksПодкаст про всякие гик-штуки.F.A.QПо мотивам предыдущего треда.Эти ваши книжки стоят овер 9000 рублей, как быть?http://libgen.ioКниги хорошо, но с чего начать практический вкат?Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2016 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ruЗдорово, но я так и не понял чем же вы занимаетесь в IT компаниях?Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.Имхо, мы все же остаемся в первую очередь разработчиками.Но ведь есть Machine Learning per se, чем он занимается?Действительно есть. Одаренная прослойка людей изобретает новые методы, но это правильнее называть просто математикой. Сейчас пищей для ума являются нейронные сети и их возможные архитектуры, но даже они двигаются рука об руку с практикой.Что такое TensorFlow?TensorFlow - часть гуглового инструмента для перемножения тензоров и оптимизации функционалов. Часть - потому что важные куски типа параллелизации еще не выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
>>776147 (OP)>прослойка людей изобретает новые методыКак туда попасть? ШАД, cs.hse годно?
>>776227а тебе что, ентерпраиз солюшены неинтересно разрабатывать?знакомая рижанка поступила на пхд на западе с обычным дипломом по матешетак что просто берёшь и поступаешь куда хочешь пока хайп не спал
https://www.youtube.com/watch?v=rIofV14c0tc
>>776147 (OP)Как обучают сеть чтобы она распознавала более сложные объекты, такие как классы автобус, кошек, яхты и т.д.
>>776596точнее, где берутся картинки для обучения?
>>776603Я нуб, но по-моему что выборки картинок, подходящих под описание формируются вручную.Читал недавно статью как чуваки делали фильтр прона для какого-то сайта. В итоге, чтобы нейроночка выдала хоть какой-то реальный процент правильно распознанных картинок, им пришлось вручную отфильтровать пару гигабайт порнухи.
>>776271>ентерпраиз солюшены неинтересно разрабатыватьНет. Я распознование капчи делал еще лет 5 назад. Это пиздец уныло.>знакомая рижанка поступила на пхд на западе с обычным дипломом по матешеБлядь, ну это же хуйня. На PhD любой дурак поступить может, вопрос делают ли там что-то реальное.
>>776697>нейроночка выдала хоть какой-то реальный процент правильно распознанных картинокисчо раз, нейронночка это говно и пеар, с технологиями оптических распознований объектов все плохо, от слова совсем.
>>776596>>776603очевидно сеть заставляет людей вручную составлять большие выборки помеченных картинок, чтобы потом сожрать иху этих выборка была несколько сот миллионов пикч:https://www.ted.com/talks/fei_fei_li_how_we_re_teaching_computers_to_understand_pictures?language=en
>>776769Короч все хуйня и нужно обучение без учителя, а то так заебешься.
>>776603Очевидный CIFAR для начала, дальше ещё Flickr.
>>776931что у тебя за задача?
>>776960пока никакой, просто разбираюсь че да как. С процом сижу обучаю цифрами с помехами
Итак, в одном из прошлых тредов мне никто не пояснил за SVM. Я нихуя не могу понять суть этого метода, как именно он работает. Очевидно, что дело в недостатке некоторых знаний, которые предполагаются у читателя. Вопрос в том, есть ли нормальное объяснение, не предполагающее а включающее все наобходимое для понимания?
>>777218Или задавай конкретные вопросы, или уёбывай читать Мёрфи/Бишопа, там кроме элементарного теор.вера, матана, линала и простейших оптимизационных алгоритмов от читателя не требуется.А то ноешь, как капризный студентишка: "НИЧЕГО НИПАНЯТНА!"
>>777229>читать МёрфиЭто что?
>>777232http://hagesjo.se/static/books/Murphy_ML.pdf
>>777237Благодарствую, будем почитать. Надеюсь, там понятно объясняется.
>>777240Проиграл с вебмки.
>>777218а зачем он тебе?
>>777257Прост)) Разобраться хочу как работает. Скажем, для общего развития. И вот мне несколько подпекает, что не могу вьехать.
>>777268а ты на картинки смотрел? ну там прямая разделяет точки, вроде все доходчиво
>>777277Хотелось бы именно понимания что и как происходит. Картинки и анимацию видел, ес-но.
>>777288даже незнаюа перцептрон тебе понятен?
>>777297Да, нейроночки и не только нейроночки норм заходят, и не только перцептрон.
>>777300с какого места непонятно?в лагранжа множители умеешь?
>>777218http://www.ccas.ru/voron/download/SVM.pdf
Как капчу-то распознавать?Особо интересует гугл капча с картинками и кликами.
>>777592Денег не хватит.
Жалко что я тупой, не осилю этого никогда. Я даже принстонский курс по алгоритмам не мог осилить.
Бля, анон, как же меня всё это заебало.Я уже четыре ебучих месяца мучаю различные варианты MCMC на Марковских сетях. У меня нихуя не получается.Кто-нибудь занимался графическими моделями?
Алсо, в прошлом тредике был анон, который пояснял за кучу Лапласов в разных точках. Как это культурно называется? Я правильно понял, что строится аппроксимация в виде смеси Гауссиан?
ОП, спасибо за перекат, у меня времени совершенно не было.>>776227>ШАДДа>cs.hseБакалавриат сейчас вроде бы ОК, магистратура - хуйня.>>777679Ветров занималсяОП прошлых тредов
>>777681> Я правильно понял, что строится аппроксимация в виде смеси Гауссиан? датут для графических моделей рассматриваются всякие другие методы, может для себя чего нового найдёшь:http://videolectures.net/mlss09uk_minka_ai/
>>777787Как сокровищницу нашёл. Спасибо.
>>777339>в лагранжа множители умеешь?Вот с лагранжа и непонятно. Точнее, все дальнейшие рассуждения.
>>777587Воронцова читал. Сначала вроде норм, а потом пошло-поехало.
>>778047посмотри на какую нибудь более простую похожую модельнапример у бишопа в начале 6 главы есть простой пример линейной регрессии с ядрами
Я кажется тебя узнал.
трепещите людишкиhttps://www.youtube.com/watch?v=tf7IEVTDjng
>>778290
>>778296Машин лерниг ин э нат шэл.
>>776147 (OP)Аноны, привет, вы меня помните?Так вот, я заебался, читаю эту вашу книгу по алгоритмам и дошел до наивного Байесовского классификатора.И охуел, я и так понимаю очень мало, так вот еще и там МАТАН, понимаете, самый что ни на есть матан в виде теории вероятности, которую я не знаю особо.
>>778634Есть куча книг и лекций по терверу и статистике.
>>778637НА АНГЛИЙСКОМ?Лел, уже не сегодня, голова болит от такого потока информации, который почти не разбираешь.Да и по идее я должен понять все прямо из учебника, но нет.
>>778639Видимо, ты слишком туп. Мне жаль, что так вышло.
>>778634продолжай, не здавайсябез твоих потугов тредик заглохнет
>>778648Да можешь лесом гулять, зеленый.>>778649Это уже не просто потуги, а план чтения целой книги за месяц, в виде получения профита от изучения пары сотен новых слов и очень многих тем в машинном обучении.
>>778639Уверен, что на русском тоже есть.Вот например:http://www.nsu.ru/mmf/tvims/teaching.html (есть лекции для студентов ЭФ 1-го курса и для ММФ 3-го курса)https://cs.msu.ru/node/1198 (лекции для ВМиК МГУ 2-го курса, pdf-ка на либгене)Сам смотрю вот эти:https://www.youtube.com/watch?v=KbB0FjPg0mw&list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIoК ним также есть учебник.
>>778653дочитай и сразу начни зановово второй раз будет понятней
Посоветуйте книгу для максимум дебилов. Статистику только немного знаю на уровне всяких доверительных интервалов для неизвестных параметров и функций правдоподобности.
>>778713
>>778738Очень содержательная обложка, много узнал из нее.home.manhattan.edu/~robert.geraci/apocalypticAI.pdf
>>778759поделись с нами знаниямикогда статистические модельки поработят человечество?
>>778772Вон биномиальное распределение уже заставило Британию выйти из ЕС. Скоро за дело возьмется линейная регрессия, тогда держись.
>>778841она в лучшем случае через года два выйдётэти мудаки ещё так затянуть могут что никто и не вспомнит о референдуме
>>777787Хм, а ведь можно ведь параметры смеси приближать чем-нибудь вроде SPSA, пытаясь минимизировать KL-дивергенцию.
>>778896среди параметров могут быть жирные матрицы ковариантности с тысячами элементов, не замахаемся ли приближать такое?
Лучше понять как дельта ошибки в сверточной сети в слое pooling считать
>>778908Они почти все разреженные, мб и сработает. Хотя так и просто постериорный риск можно пытаться минимизировать, но это печально работало.Блин, вывод в несопряжённых моделях – сплошная боль.
>>778943Интерполированная минус вход.
Аноны, поясните мне что значит следующее:>The first thing that we need to do to get these values is to quantise the measurement x, which just means that we put it into one of a discrete set of values {X},Что значит квантизировать измерение x?Типа есть некоторый прерывистый набор значений XИ у нас есть переменная, но как мы разместим значение x?
>>779026Получение дискретного множества значений из непрерывных измерений. Можешь погуглить про квантование и дискретизацию.
>>779031Я уже на основе определения понял, спасибо.
>>779031А что такое тогда Histogram bin?
>>779043Столбик?
>>779046Что подразумевается? Горизонтальный, вертикальный?Или просто последовательность чисел?
>>779050Графически гистограмма строится следующим образом. Сначала множество значений, которое может принимать элемент выборки, разбивается на несколько интервалов (bins). Чаще всего эти интервалы берут одинаковыми, но это не является строгим требованием. Эти интервалы откладываются на горизонтальной оси, затем над каждым рисуется прямоугольник. Если все интервалы были одинаковыми, то высота каждого прямоугольника пропорциональна числу элементов выборки, попадающих в соответствующий интервал. Если интервалы разные, то высота прямоугольника выбирается таким образом, чтобы его площадь была пропорциональна числу элементов выборки, которые попали в этот интервал.
Аноны, а что такое совместная вероятность? Вики говорит одно, а в книге написано >This is exactly what is plotted in Figure 2.10. Now, if we have lots of examples of the two classes, and the histogram bins that their measurements fall into, we can compute P(Ci , Xj ), which is the joint probability, and tells us how often a measurement of Ci fell into histogram bin Xj .Почему тут написано, что это то, как часто измерения Ci впадают в интервал гистограммы Xj?Но ничего не сказано про:>Вероятность суммы двух совместных событий равна сумме вероятностей этих событий без вероятности их произведения
>>779103А лел, простая математика, умножаем P на Ci и P на Xj, а потом складываем? И зачем нам узнавать, выпадет ли Ci или Xj?Или о чем говорится?
>>779001что-то я не заметил в примере питона каких-то изменений для этого слоя, не понятно че да как.
Есть один проект на .net. Нужно выбрать язык для анализа данных и обучения. Что выбрать? Стандартные python или R, или же может F#? Что местные обучатели бы выбрали?
>>779126Пиздон, ибо куча библиотек.
# y.shape[0] is (symbolically) the number of rows in y, i.e., # number of examples (call it n) in the minibatch # T.arange(y.shape[0]) is a symbolic vector which will contain # [0,1,2,... n-1] T.log(self.p_y_given_x) is a matrix of # Log-Probabilities (call it LP) with one row per example and # one column per class LP[T.arange(y.shape[0]),y] is a vector # v containing [LP[0,y[0]], LP[1,y[1]], LP[2,y[2]], ..., # LP[n-1,y[n-1]]] and T.mean(LP[T.arange(y.shape[0]),y]) is # the mean (across minibatch examples) of the elements in v, # i.e., the mean log-likelihood across the minibatch. return -T.mean(T.log(self.p_y_given_x)[T.arange(y.shape[0]), y])Бля, это получается не нужно обратное распространение ошибки?
>>779167я хочу из питона написать на паскале пример сверточной сети. Но вот написал с обратым расп ош и без батчей и вместо пуллмакса сделал матрицу весов 2*2(что неправильно как я понял)
>>779170везде как-то по еблански описали алгоритмы, и поэтому такие непонятки.
>>779167 grads = T.grad(cost, params) updates = [(param_i, param_i - learning_rate * grad_i) for param_i, grad_i in zip(params, grads)]а хотя не, вот же ОРО, вроде как
>>779159Да, я тоже бы взял питон, если бы не один аргумент. Но если я возьму F#, то я у меня еще появится шанс научиться функциональщине.
>>779175А нетThis tutorial will use the method of stochastic gradient method with mini-batches (MSGD)тока я чет вероятности нигде не вижу
>>779195Если преследуется чисто образовательные цели, то можно брать F# при наличии хорошей базы в ML и статистике.
>>779197Нет, проект коммерческий, просто у меня будет много свободы принятия решений в нем.
>>779200Что-то мне говорит, что F# будет достаточно дорогим решением, ибо спецов по нему не так много.
>>779201Ок, я понял твою мысль. Спасибо.
>>779167T.log - нахер этот логарифм? T.mean - это и есть аппроксимация?
Короч, на сколько я понял, логичнее всего где у нас пуллмакс просто записать из уменьшенного слоя в слой исходный просто размножить на 2*2, т.е. 4 раза повторить тот же результат что у нас был уменьшенном слое и все.
>>779216Мои поздравления:https://en.wikipedia.org/wiki/Nearest-neighbor_interpolation
>>779214Хрен с ним со средним значением, вроде как понятно что из всего батча он среднее считает. Но почему отрицательный логарифм? Понятно что он оптимизирует эту функцию(где об этом почитать?) градиентным спуском(берет производную от функции ошибки), но как понять, что там делается между такими специфичными слоями где пулмакс?>Между этими двумя видами градиентного спуска существует компромисс, называемый иногда «mini-batch». В этом случае градиент аппроксимируется суммой для небольшого количества обучающих образцов. Это вообще не пойму где в коде, там только среднее значение есть, суммы не вижу.
>>779224>Хрен с ним со средним значением, вроде как понятно что из всего батча он среднее считает. Но почему отрицательный логарифм? Понятно что он оптимизирует эту функцию(где об этом почитать?) градиентным спуском(берет производную от функции ошибки),Короч вот так на этот вопросA common choice with the softmax output is the categorical cross-entropy loss (also known as negative log likelihood). If we have N training examples and C classes then the loss for our prediction \hat{y} with respect to the true labels y is given by:\begin{aligned} L(y,\hat{y}) = - \frac{1}{N} \sum_{n \in N} \sum_{i \in C} y_{n,i} \log\hat{y}_{n,i} \end{aligned}The formula looks complicated, but all it really does is sum over our training examples and add to the loss if we predicted the incorrect class. The further away the two probability distributions y (the correct labels) and \hat{y} (our predictions) are, the greater our loss will be. By finding parameters that minimize the loss we maximize the likelihood of our training data.
Аноны, что здесь значит fall into?>Now, if we have lots ofexamples of the two classes, and the histogram bins that their measurements fall into, wecan compute P(Ci , Xj ), which is the joint probability, and tells us how often a measurement of Ci fell into histogram bin Xj.Давайте, вы же все знаете английский.Тут же говорится о совместной вероятности двух событий.Где все может быть записано как P(Ci)P(Xj), так почему тут говорится что одно fall into от другого? Опечатка?
>>779277> tells us how often a measurement of Ci fell into histogram bin Xj.> говорит нам о том, как часто измерение Ci попадает в интервал Xj
>>779290Но это же условная вероятность, разве нет?Причем тут общая вероятность?
>>779290>and the histogram bins that their measurements fall intoХорошо, а что тогда значит эта часть?
http://www.inference.phy.cam.ac.uk/mackay/thesis.pdf
>>779277> все может быть записано как P(Ci)P(Xj)Не может быть. Это верно только для независимых событий.Вероятность пересечения — количество измерений класса Ci попавших в интервал Xj делить на количество всех измерений (в x в обозначениях твоей книжки):P(Ci, Xj) = |Ci ∩ Xj| / |x|Аналогично:P(Ci) = |Ci| / |x|Условная вероятность P(Ci | Xj) — рассматриваем только Xj, это теперь это все наши измерения, других больше нет. Количество измерений класса Ci теперь равно |Ci ∩ Xj|, остальные выкидываем. Количество всех измерений теперь равно |Xj|, а не |x|.P(Ci | Xj) = |Сi ∩ Xj| / |Xj| = P(Ci, Xj) / P(Xj). Откуда:P(Ci, Xj) = P(Ci | Xj) P(Xj)
>>779349А все, получается, что я joint probability неправильно перевел и все по пизде пошло?Спасибо.
>>779358Верно ты перевел, joint probability — совместная вероятность или вероятность совместного появления (двух) событий.Для независимых событий это верно, что P(AB) = P(A)P(B), но в общем случае нет.
>>779364А все, тогда меня подвел русский интернет, который сразу выдал про независимые события.Ладно, уже подбираюсь к Гауссу по книге, завтра про нейронки буду читать, видел, что там наконец код появится.
Я правильно понял, что там разница только в том что целевая функция в ОРО разница сумм полученного значения и целевого, а в сверточной сделали сумму логарифмов произведения полученного значения и целевого?
>>779455Хз, о чём ты, но первое напоминает MST, а второе кросс-энтропию. Ты об этом?
>>779458> MSEбыстрофикс
>>779458https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%B1%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B3%D0%BE_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8https://wikimedia.org/api/rest_v1/media/math/render/svg/78c57cb0c9229b0698f980dd213390367f9b87d2http://www.wildml.com/2015/09/implementing-a-neural-network-from-scratch/http://s0.wp.com/latex.php?latex=%5Cbegin%7Baligned%7D++L%28y%2C%5Chat%7By%7D%29+%3D+-+%5Cfrac%7B1%7D%7BN%7D+%5Csum_%7Bn+%5Cin+N%7D+%5Csum_%7Bi+%5Cin+C%7D+y_%7Bn%2Ci%7D+%5Clog%5Chat%7By%7D_%7Bn%2Ci%7D++%5Cend%7Baligned%7D++&bg=ffffff&fg=000&s=0
>>779462Да, ты об этом. Значение обоев знаешь?
>>779464Ну какбе 2 разные целевые функции, но почему в одном случае одна, в другом - другая, я -хз.
>>779466во втором какая-то муть с вероятностями(стохастическая типа)
>>779466https://goo.gl/dRWwHahttps://goo.gl/eMT3rk
>>779471Ясно, спс. Т.е. метод тот же - ОРО, только целевая функция другая?
>>779513> ОРОДаже если бы вместо ОРО ты писал BP, было бы понятнее, хотя BP - ещё и Belief Propagation.Да, целевая функция другая, её выбор зависит от ситуации.
>>779521Английский понимаю через слово, не совсем понял в каких ситуациях.
>>779521правильно ли я понимаю, что считать ошибку теперь надо так?
Аноны, а ведь нейронную сеть можно применить в РПГГде твой персонаж будет реально учиться владеть мечем, кидать ножи, стрелять из разного оружия
мне бы твой энтузиазм и рвение
>>779546И в чем будет заключаться реальность? "Мышцы" правильно двигать, подставлять в нужное положение?
>>779546Классика тредика:"А ведь нейроночку можно применить в X для Y"
>>779539А хуй знает, в статье что пишут?
>>779556Хз, не находил.Короч по логике, если сигмоида, вроде так окончательно получается.
>>779565Бля, тока без минуса перед двойкой для последнего уровня.
>>779553Ну тоже вариант.Еще правильно стрелять с разных расстояний и оружия, перепрыгивать через препятствия.
>>779587https://www.youtube.com/watch?v=wBrwN4dS-DAhttps://www.youtube.com/watch?v=pgaEE27nsQwСмотрел уже?
>>779591Эх, смотрел, но во втором это не нейроночка, а эволюционный алгоритм
Как можно применить нейроночки для новой нейро-АИБ?
>>779605Применить RL для имитации шатаний Абу, но это оффтопик.
если сделать нейроночку с 100 миллионов нейронов то получится искусственный интеллектпочему вы ещё не додумались?
>>779626100 миллионов нейронов еще применять нужно научиться
>>779626исскуственный интеллект - массивследовательно монада - искусствненный интеллект
Ребят, такая вот задача. Есть выборка в 100к предложений, независимых друг от друга. Все они принадлежат одному классу. Необходимо по любому предложению оценивать, принадлежит ли оно данному классу. Как решать такие задачи?
и восстали машины из пепла ядерного огня, и пошла война на уничтожения человечества и шла она десятилетия, но последнее сражение состоится не в будущем, оно состоится здесь, в наше время, сегодня ночью
>>779896>Как решать такие задачи?Рассчитать хеш по строке, наверное.
Эх, парни, когда-нибудь и я буду с вами итт умные вещи обсуждать. Но придется сперва добить свои текущие скучные нудные проекты.
>>779565пиздос, тут уже другая формулаhttps://www.ics.uci.edu/~pjsadows/notes.pdf
>>779626Про переобучение слышал?
>>776147 (OP)Аноны, а бесконечное число при высшем количестве измерений будет сжиматься? Как взаимодействуют бесконечность и проклятие размерности?
>>780050> бесконечное числоdefine> сжиматьсяdefine
>>779923Чушь полная.
>>779896Может я плохо выразился, по любому предложению, даже не принадлежащему обучающей выборке.
>>778639По теорверу и основам статистики есть годный учебник - Вентцель, "теория вероятности". Не на английском.
когда вообще можна вкатываться в этот ваш ML, учу web и думаю стоит ли вообще идти делать вышку или сразу пытаться найти работу с минимальными знаниями в web, темы вроде бигдаты и ML интересуют меня, но берут ли туда без опыта в чем то проще типа того же веба, даже если я выштудирую большую часть тех книг из шапки возьмут ли меня каким то джуном (в ML) без вышки и опыта? Как быть анон, наверняка в треде матёрые специалисты сидят, которые могут дать совет
Короче, что я понял за SVM (если несу хуйню, прошу поправить):1) SVM представим в форме нейроночки (Воронцов), скрытый слой которой - ядра, умноженные в т.ч. на соотв. им множители Лагранжа, которые равны 0 для всех векторов датасета кроме опорных. Т.о. число элементов скрытого слоя = пространству Вапника-Червоненкиса для данного датасета. 2) Сами множители Лагранжа находятся оптимизацией квадратичного функционала ф-ии лагранжа с заданными ограничениями, что сводится к задаче квадратичной оптимизации и решается любыми подходящими солверами. 3) Ограничения заданы так, чтобы множители Лагранжа имели ненулевое значение только для опорных векторов, т.е. тех, что лежат точно на границе гиперповерхности, разделяющей классы датасета. Ебля с ядрами нужна для работы с линейно-неразделимыми классами в датасетах. Суть использования ядер в замене линейного расстояния между элементами датасета на нелинейное между их отображениями, задаваемыми ядром.4) В реальных SVM вместо простого решения задач квадратичной оптимизации используются всякий онанизм вприсядку, т.к. при больших датасетах матрицы получаются совершенно конских размеров (10000 примеров-векторов в датасете даст матрицу в 100000000 векторов и т.д.).
>>780217Зачем тебе МL? Потому что платят якобы больше?
>>780218>множители Лагранжа,>слоя = пространству Вапника-Червоненкисаебаные наркоманы, теперь я понимаю почему вся эта ваша ии хуета не работает
>>780222В нормальных туториалах нет такого говна.
>>780219просто интересуют темы посложнее, не хочу всю жизнь пилить сайтики, конечно я понимаю что прийдётся тратить овер дохуя времени на самообучение, но это намного интереснее, просто я понятия не имею как выстраивать карьерную лестницу, загуглил оферы по мл там только всего околок 7 оферов и в 6 нужео сеньор, в 1 практика для студентов. А в остальном посмотрел на оферы в целом, почти везде требуются знания web
>>780228P.S. оферы в целом я имею ввиду на разные технологии типа питона, джавы
>>780217бамп
>>780222>теперь я понимаю почему вся эта ваша ии хуета не работает Потому что тебе не знакомы какие-то слова в тексте? И причем тут ИИ?
>>780346а нейронные сети уже не ии?
>>780365>а нейронные сети уже не ии? Нейроночки просто удобное представление для алгоритмов МЛ, т.к. в любом из них есть элементы, слои, веса и т.д. Задача собственно моделирования функций нервной системы или какой-то ее части ставится в очень немногих алгоритмах, из которых практически используются перцептроны, SOM да сверточные сети. И они как раз норм работают. Сверточные сети на сегодняшний день самый годный сетод распознавания изображений.
>>780365А SVM является нейронной сетью?
>>780377всё является нейронной сетью, няшадаже твоя мамка, даже аллах, даже брексит
И таки я примерно правильно понял суть SVM, только что нашел, в пакете для R kernlab расписано как запилить SVM вручную, пикрелейтед. Сначала подготавливают данные, затем делают RBF-ядро и задают параметр С, затем натягивают сову на кернел получают проекцию датасета на кернел и далее подкладывают все это солверу для нахождения седловой точки совы множителей Лагранжа.
>>780376>Задача собственно моделирования функций нервной системызадача нейронной сети пилить гранты и кормить говном ньюфагов, к биологическому подобию мозга неимеющего абсолютно никакого отношения, а также полный абасрамс в любом более менее серьезном ии проекте, например ocr
>>780398да всё вернотеперь разберись с RVM - модная патентованая модель
>>780217>>780217попробую ещё раз бампнуть
>>780416Как видишь, у нас тут толком математику никто не знает. Зависит от математической базы всё.
>>780799>у нас тут толком математику никто не знаетанончик поясни, нахуй твоя математика вообще нужна?
>>780864Чтобы брать гранты от всяких научных организаций и заниматься всякой интересной мне хуйнёй, заодно заигрывая со студентками и аспирантками.А вообще дата сайенс нормально так хайпнут, а здесь без этого никуда. Тут дохуя примеров приводилось.
>>780799насколько я понял для всякого ии и дата сайнс придется все же делать вышку? Тогда такой вопрос, что начинать изучать если у меня до поступления в вуз несколько лет ещё + несколько лет обучения, что б не тратить время в пустую( я имею ввиду технологии/области матана)
>>780879Счастливчик, вместе с погроммированием и алгоритмами пробуй начинать изучать вузовский курс математики. Не торопясь и основательно. К третьему курсу уже будешь давать на клыка всей своей шараге.
>>780879Посмотри шапку этого треда:https://2ch.hk/sci/res/369067.htmlТолько в целом со ски осторожней, у них там дохуя поехавших. Обрати внимание на элементарный курс и базовый.
>>780870>заодно заигрывая со студентками и аспиранткамиты ебанись, поехавший
>>780889Я же не уточнил, что это всё в моём влажном манямирке. На деле заигрывания для меня сводится к кивку знакомой страшной дырке, поверхность лица которой неплохо описывается Гауссовским полем, фигура линейно разделяет пространство, а волосы напоминают логотип Хабра.А гранты ирл есть, да.
Это что получается, что гиперболический тангенс для кросс энтропии не используешь из-за того, что не сокращается знаменатель?https://www.ics.uci.edu/~pjsadows/notes.pdf
>>780919всмысле?
>>781022ну если в знаменателе 0, то лажа получается
>>781178точнее вычислять можно, как-то это теано делает, но вот просто взять производную - хер.
https://github.com/open-source-society/data-science/blob/master/README.mdЧЁ ТАК МАТЕМАТИКИ МНОГО
>>781294> децкий комиксовый пиндоский линальчик> децкий комиксовый пиндоский матанчик> децкий комиксовый пиндоский терверчкикесли закостенелое 200-летнее говно мамомнта для тебя "математика" то бедапичаль конечно
>>781294Все эти онлайн курсы чушь по сравнению с тем, что заставляют учить в рашковузах.Возьмем, например, вот этот:Linear Algebra - Foundations to Frontiers 15 weeks 8 hours/weekСмотрим на список тем:Week 0 Get ready, set, go!Week 1 Vectors in Linear AlgebraWeek 2 Linear Transformations and MatricesWeek 3 Matrix-Vector OperationsWeek 4 From Matrix-Vector Multiplication to Matrix-Matrix MultiplicationWeek 5 Matrix-Matrix Multiplication5 сраных недель на то, чтобы добраться до перемножения матриц! На это хватит недели.Week 6 Gaussian EliminationWeek 7 More Gaussian Elimination and Matrix InversionWeek 8 More on Matrix InversionWeek 9 Vector SpacesWeek 10 Vector Spaces, Orthogonality, and Linear Least SquaresWeek 11 Orthogonal Projection and Low Rank ApproximationWeek 12 Eigenvalues and EigenvectorsЭто еще максимум пару недель.А вообще, весь этот курс или эквивалент можно за неделю выучить, если время есть.
>>781302Дрочить матан ударными темпами, чтобы забыть 95% материала после экзамена - это по-комсомольски, да.
>>781302Лол, не верю.
>>781309Плюсану. "Выучить" это за неделю можно только ради сдачи экзамена, что в рашковузах и практикуется.
>>781309Разумеется придется повторять или применять после этого, это к любым навыкам и знаниям относится. Use it or lose it.
>>781300А это не математика для тебя еблан, теория комплексных полей и арифметика оба математики
Что делать дальше?
>>781316Разбираться.
>>781294>4 курса по питону общей длительностью полгодаЭто для даунов, что ли?
>>781324При чём тут accuracy и что делать с kf?
Короч, я так и не понял как применить кросс энтропийную целевую функцию, если функция активации у меня гиперболический тангенс.
>>781353а теано применяет automatic differentiation,а как мне -хз
>>781353Типа выебнулся словечками умными?
>>781359Те кто в теме должны понимать же. А что вы ту забыли, уважаемый?
>>781316Ну помогите
>>781353применяй как обычоу тебя на самом внешнем слое сигмоиды/софтмаксы же?тогда логарифм праводоподобности разложится на сумму кросс энтропии, ему похер какая у тебя функция активации во внутренних слоях
>>780883>>780885спс, аноны!
>>781368хм, точно, тока щас обратил внимание, что в питоне в примере софтмакс на последнем слое.
>>781368Разговор семена
>>781398тебе чо пригорело штоле?
>>778896Такое уже есть:https://projecteuclid.org/download/pdfview_1/euclid.ba/1386166315
Всем привет. Учиться по этому ресурсу норм?http://deeplearning.net/
>>781907приветкакие у тебя цели?
>>781951приветя просто услышал что это модно и хочу влиться в илитную тусовку
>>781992приветтогда http://deeplearning.net/ - то что тебе нужно!
Я вот хотел начать курс по тому что кидали выше на гитхабе, но вы его раскритиковали, мол как так, там алгебра за неделю учится! Плюс там как я посмотрел много повторяющихся вещей, а может какой нибудь еще есть роадмап, потому что в оп посте сразу в книгу по статистике кидают. На фоне у меня опыт только в мобильной разработке меньше года.
>>782273https://www.reddit.com/r/MachineLearning/wiki/index
>>782273Учебник по мат. анализу.Учебник по линейной алгебре параллельно к матану.После этого учебник по терверу и статистике.Этого должно быть достаточно для того, чтобы начать читать книги по ML.По ссылке в >>782327 предлагается курс по алгебре Strang'а, он не углубляется в теорию, но его должно быть достаточно. Материал относительно простой и подается нормально. Есть пдфки с контрольными работами и ответами к ним, даже указаны баллы за задачи, так что можно будет выставить себе оценку.ML класс от Andrew Ng не рекомендую, слишком поверхностно, лучше посмотреть его лекции на ютубе и читать материалы к курсу, которые доступны здесь:http://cs229.stanford.edu/Но этот курс только после того, как закончишь с тервером и статистикой.Про остальные ссылки из той вики ничего не могу сказать.> хотел начать курс по тому что кидали выше на гитхабе, но вы его раскритиковали, мол как так, там алгебра за неделю учится! Что касается онлайн курсов. То, что в них подается все в довольно поверхностном или практическом виде и не требует значительного времени на изучение, не обязательно является чем-то плохим. Во всяком случае для чтения книг по ML инфы там достаточно, а углубиться в какую-нибудь тему можно будет по необходимости.
>>782369Поддвачну, но лучше наверное начать с линала, а потом в матан.
http://ofir.io/How-to-Start-Learning-Deep-Learning/
>>777218https://www.youtube.com/watch?v=_PwhiWxHK8o
>>782402Вот этот момент не понял. Почему х+ = 1-b, а x- = 1+b
>>782464По определению.
>>782465Да нет, он это как-то вывел из уравнения yi (xi w + b ) -1 = 0
>>782468Даунский вопрос же. Где там выписываются это равенство? Мужик говорит, x times w equals to 1 - b.
>>782464если х+ и х- опорные векторы то это следует прямо из определения на 9 минуте
>>782483>Где там выписываются это равенство?В рамке за нумером 2.
>>782493Где-то здесь.
>>782496Сорян, ссылка отклеилась.https://youtu.be/_PwhiWxHK8o?t=1071
>>782499Нужно вычислить величину (x_+ - x_- ) w / |w|, где x_+, x_- опорные векторы, то есть такие, которые удовлетворяют уравнению+1 (x_+ w + b) - 1 = 0-1 (x_- w + b) - 1 = 0соответственно. Теперь сложи их, поделив на норму w, и получишь ширину полосы с точностью до множителя.
>>782505В целом годная лекция, хотя и не все сходу понятно, но лучше Воронцова, лол.
>>782369Ну вот скажи мне зачем мне все эти доказательствам криволинейных интегралов в MLили зачем мне аффиные и банаховы пространства в ML, конкретики больше, пожалуйста. Какие темы? Не всего ж мне Ильина ж читать
>>782757Нормы без Банаха не нормы, читай всего, хуже не будет.
>>782902Нет времени на все и так работаю и учусь параллельно
>>782937Ты же хочешь когда-нибудь в Silicon Valley уехать? А туда не берут без знания метрической геометрии и функционального анализа. Не осилишь - так и будешь до конца жизни в рашке энтерпрайз солюшены крудошлепить.
>>782937За 21 день хочешь всё освоить?
ООООО ооооо О Цветы полевыыыые, ООООО оооо О В кустах как в бутылке!!
>>782757Вот тебе краткий курс того, что требуется:http://cs229.stanford.edu/section/cs229-linalg.pdfhttp://cs229.stanford.edu/section/cs229-prob.pdfИз матана будет достаточно того, что используется в этих выжимках — производные и интегралы.
>>782967 Ещё подумалось, глядя на это всё, что прослеживается некоторая цикличность в развитии. Сначала были простые объекты — числа. Людей на практике интересовало число. Но работать с числами — это сложно, и люди изобрели алгебру, чтобы упростить себе жизнь. Алгебра породила анализ, дифференциальное и интегральное исчесление, понятия предела. Анализ породил сложные геометрические объекты, в т.ч. в многомерном пространстве, которые уже тяжело исследовать методами анализа. Анализ слишком детален для этого. Тогда изобрели топологию и начали исследовать объекты топологическими методами, а позже (ещё более?) «мягкими» — алгебраическими. Так анализ породил алгебру второго порядка абстракции: гомологии всякие, когомологии, Tor'ы. Но когда начали исследовать эту алгебру в целом, в совокупности, вырисовался анализ этих объектов! Дифференциальная гомологическая алгебра! В книжке, которая выше цитируется, есть глава про эту тему. А потом что? Новый анализ породит ещё более абстрактную алгебру? Такое впечатление, что когда мы идём вверх по пути всё большей абстрактности и общности, анализ и алгебра чередуются друг с другом. Не знаю, насколько эта мысль нова/стара, но я её нигде не слышал.Вообще, я бы, наверно, выделил следующие три уровня: Алгебра первого порядка: школьная (всё, что мы знаем). Алгебра второго порядка: линейная и общая (матрицы, линейные пространства, группы, кольца, идеалы и т.п. множества). Алгебра третьего порядка: гомологии, когомологии и т.п.Алгебра n+1'ого порядка имеет объекты n'ого порядка как свои элементарные.
>>782967>, что используется в этих выжимках — производные и интегралы.Производные я и так сейчас умею брать, все таки что-то помню с курса примата, интегралы вручную - ну хуй знает, всегда с ними были проблемы, всегда в вольфрамах высчитывал.
>>782967Пролистал алгебру, так это все вспомнить - максимум день, ну в плане перемножения матриц и работы с векторами.
>>783005Только чем дальше в лес, тем толще абстракции и тем меньше людей в них могут. Как итог, в IUTeich Мотидзуки могут 4 человека из 7 млрд. Вот и приехали.
У меня вот какой вопрос. Как известно, существует немало попыток использовать для сверхбыстрых вычислений специализированные оптоэлектронные решения, заточенные под конкретный алгоритм. Есть подобные варианты нейросетей, нечетких моделей пикрелейтед и т.д. А есть ли подобные реализации генетических алгоритмов? Что-то гуглю и пока ничего интересного не нагуглил.
>>783255https://cloudplatform.googleblog.com/2016/05/Google-supercharges-machine-learning-tasks-with-custom-chip.html
>>783266>ASIC >tailored for TensorFlow. Это ж ПЛИС, да и в TF разве есть генетические алгоритмы?
>>776147 (OP)Кто-нибудь тут пытается торговать на бирже?
>>783281Ты случайно не в Израиле живешь?
>>783277>Это ж ПЛИСРазницу между ASIC и FPGA хотя бы выучи, диплернер хренов.
>>783507В Дс живу. Только ради этого всю эту сраку учу.
>>783520Излагай, чего достиг.
>>783255Как ты себе это представляешь?В известных мне оптических нейроночках всё происходит на гологораммах. Для ГА же нужны элементы случайности, ещё требуется порождать новые объекты с новыми свойствами. При желании можно достичь первого, покрутив источник излучения. Второе же достичь достаточно трудно, на мой взгляд.
>>783255Хотя эволюционные методы используются для получения оптических элементов.https://www.osapublishing.org/oe/abstract.cfm?uri=oe-14-21-9909
Бля, вы такие крутые, т.е. если я умею работать с матрицами, брать производные и прочее - то уже могу заняться этим всем. Доказательства ведь не обязательно знать? А то помню так затрахался в институте их сдавать, зубрил. ибо не понимал.
https://github.com/HuwCampbell/grenadeGRANATA
>>783933> HaskellНет, спасибо.
Сложно написать прогу которая по звуку морзянку расшифровывает? Что для этого нужно выучить?
>>784198http://www.inference.phy.cam.ac.uk/itprnn/book.pdf
>>784223Там много слишком всего.
>>784231только первые 250 страниц жэ
>>784252Начал с первой главы. Там начиная со второй страницы всё в формулах. Я ничего не понимаю. Что проще есть?
>>784263ищи готовый солюшен
>>784266Нет нужно самому. Одного какого-нибудь алгоритма достаточно?
>>784252>только первые 250 страниц жэ нейроночки начинаются только с 460
>>784282Так они же не надо.
Пара тупых вопросов по раскуриванию сути нейросетей.1) Есть 2 искусственных нейрона: к одному подключено, например, 10 входов, к другому 2 входа. Это ведь получается, что первый нейрон гораздо легче активировать, нежели второй? Никак ли это не компенсируется/корректируется в структуре или параметрах? Если нет, то каков в этом смысл с точки зрения какого-то принятия решения или типа того? Вряд ли же будет верно то, что чем больше входов у нейрона, тем он важнее?2) В учебниках и статьях нейросети изображают обычно так, что каждый вход подключен к каждому нейрону сети. Всегда ли это именно так делают? Можно ли вмешиваться в структуру сети, делая, например, чтобы в первый нейрон входили 1, 2, 3 входы, во второй какие-нибудь 2, 5, 6 и т.д.? Или все-таки структура должна быть однородной и веса сами скорректируют "отбор" нужных входов?
>>784288Начни с раскуривания сути линейной регрессии.
>>784267нейроночка
>>784288начни с вкуривания сути бейсовской логистической регрессии
>>784301>>784308Что можно почитать для раскуривания?Само понятие и представление о регрессии и регрессионном анализе не дают ответов на мои вопросы.
>>784313http://www.inference.phy.cam.ac.uk/itprnn/book.pdf
>>784302Да зачем? Там же наверняка всё проще.
>>784315Ты всем советуешь какую-то якобы умную книжку, которую сам не до конца осилил?
>>784267Тебе не ML нужен, а DSP. Достаточно тебе enveloper follower + moving average filter, далее run length encoding, а потом можно уже анализировать цифры.
>>784326>DSPЧто это?
>>784329digital signal processing
>>784285Для распознавания аудио сверточные нейроночки сейчас самый смак, по-другому уже никто не делает.
>>784331Мне программку на питоне надо, а тут какие-то микросхемы
>>784334laba.py?
>>784334> processing vs processor
>>784324Я не он, не эту конкретную книгу я прочел. Хорошая книга.
>>784334https://www.google.ru/search?q=python+envelope+follower https://www.google.ru/search?q=python+moving+averagehttps://www.google.ru/search?q=run+length+encodingКогда добьешься этого, далее будешь распознавать буквы и пробелы между буквами и пробелы между словами.
>>784332Сложно же ему, пусть HMM хуярит простейшие.
Здарова ебатьвы матан охуенно наверно знаете?
>>784346демидович под картошечку с пивком.. ммм..
>>784346<<Действительный анализ>> Тао под сидр.
>>784343Да там тоже черт ногу сломит. Если уж совсем от сохи, то просто делать DFT, сделать ручной детектор писка по частоте, потом детектор длинного/короткого сигнала, ну и таблицу забить. На коленке за день можно сварганить.
>>784369ну или так, с аналитическими сигналами ещё поиграться можно. Способов тьма, только все хотят простой метод.
>>784346Колмогоров, Фомин с самогонкой, бараниной и чесноком ЗАЕБИСЬ
>>784393а картофан?
>>784346Зорич с сыром и Шато Бардо располагает
>>784288Короче допетрил до ответов сам.Но вот ко второму появилось некоторое дополнение. Если даются какие-то входы, и нужно получить выход (зависимость от входов), то в общем-то нужно все входы соединять со всеми нейронами, чтобы веса сами настроились как надо, и получились эти нужные коэффициенты регрессионной модели.Однако в сверточных нейросетях эти входы могут все-таки разбиваться в некоторые группы, которые при этом могут и пересекаться, и эти группы в некотором роде можно называть признаками каких-то особенных деталей из входных данных. Вопрос как раз в том, когда инпуты разбиваются, а когда они полной охапкой передаются в слой сети? В чем природа этого разделения входных переменных?Про сверточные нейросети я, правда, только обзорно читал, возможно при углублении это снова мне станет понятным, но все-таки.
>>784416Очень хороший вопрос, но пробелма в том, что все бьются над тем какаой должна быть "правильная" архитиктура нейросетей. Поэтому то, что сейчас называется глубокие сети уже большая находка.Алсо, посмотри записи с DeepHack, там были обсуждения архитектур нейросетей и решаемых ими задач.
>>783572Слил 10к на фьючерсах сбербанка.
>>784503> Слил 10к на фьючерсах сбербанка.Да это плевать. Давай лучше методику обсудим.Почему этот инструмент используешь? Как минимизируешь риски? Какая используется модель? Торгуешь в (полу)автоматическом режиме? На какой срок строишь прогнозы? Как проверяешь прогнозы? Через какого трейдера работаешь?
>>784529Трейдер финам, но это вообще фигня, не я выбирал, пришел батя, сказал вот счет, ты ж сына программист, сиди торгуй.Торговал в полностью автоматическом режиме, прогнозы не дальше дня.Пробовал арбитраж. То есть берешь, грубо говоря, нефть и акцию лукойла, одно покупаешь, другое продаешь, в теории в среднем должен быть небольшой +. Как что от чего зависит изучем с помощью ml. Модель была простая линейная, всякая умная фигня типа нейронных сетей работала хуже. Но я изначально неправильно тестировал, не учел комиссию. Опять же писал свой тестировщик. Когда наносался хуев пошел дальше учить теорию ml+питон, который для этих дел оказался лучше матлаба.
>>784540> Трейдер Брокер же. Трейдер это я.
Аноны, у меня появилась безумная идея симулировать поведение живых существ в игре с помощью нейронной сети.Но потом вспомнил, что нейронные сети всего-лишь аппроксиматор функции.Значит ли это, что мне надо использовать несколько нейронных сетей, направленных на обучение в каком-то направлении?Например, с помощью одной сети паук учится нападать на человека, с помощью другой бегать, с третьей оценивать ситуацию, с четвертой разрабатывать тактику?Или как это работает? Писал перцептроны до этого.
>>784550Обучение с подкреплением.
>>784550В мозге по сути так и есть, выделяют различные области коры по из назначению, например: зрительная, моторная. За какую-то логику отвечает префронтальная кора.
>>784554Использовать этот метод, хорошо.А можно ли сделать обучение непрерывным? Или одна сеть должна научиться выполнять 1 тип задачи?Можно ли написать зависимости между сетями, чтобы результаты обучения 1 сети действовали на другую?Можно ли сделать так, чтобы сети эти зависимости нашли самостоятельно или не стоит?
>>784557Да, по сути так и происходит у животных, правда эти твои "зависимости" называются гормонами.
>>784557> Писал перцептроны до этого.Странные вопросы. Иди ботай мат. часть и возвращайся.
>>784574Кое-чего я так и не понял, можно ли его чему-нибудь новому научить? Этот как с функцией XOR, только есть одна странность, у меня число методов, которые можно использовать неизвестны.Есть ли какой-нибудь расширяющийся перцептрон, например? Или как это еще можно решить, кроме добавления слоев?
>>784584> Кое-чего я так и не понял, можно ли его чему-нибудь новому научить?Не знаю, как с нейроночками, но людей можно даже обучить видеть с помощью языка и камеры:https://www.youtube.com/watch?v=n1ViNeWhC24Нейроночкам можно скармливать данные по мере их поступления, т.н. online learning. Может быть если данные кардинально изменятся, то со временем нейроночка полностью перестроится под новые данные аля "видеть языком". Проблема в том, что обычно архитектуру сети подбирают под задачу и какой-то универсальной работающей хорошо на всех типах задач, как я понимаю, до сих пор не придумали.
>>784617Да я уже почти со всем определился.сети, сеть на ходьбу, вторую на оптимальный путь, третью на атаку, четвертый на анализ боевой ситуации убежать, какую атаку использоватьИ сеть над ними, которая будет учиться эффективно все это использовать.Но тут уже настигают проблемы, так как локации могут быть разными.В одной, например, может быть множество вертикальных объектов, а в другой надо быстрее бегать.Как боту разделять признаки, когда и какую стратегию лучше использовать? Ведь признаков может быть бесчисленное множество и выделять их можно до бесконечности.А вот проклятие размерности не даст мне ничего подобного, а использовать огромное количество ресурсов на обычного моба - глупо.
>>783876У нас был такой вуз, что запускают по 5 человек в аудиторию на 4 препода, которые смотрят за тобой. при шуршании малейшем народ выгоняли пачками - охуенно спишешь да?
>>783876Да и на вопрос по сути не ответил ты.
>>784661> при шуршании малейшем народ выгоняли пачками - охуенно спишешь да?Надо было списывать с памяти.
>>784656Ой я дебил, разгадка то кроется в сети, которая настроена на оптимальный путь.Именно все множество методов из нее и будет определять множество стратегий.И чем больше будет в ней нейронов, тем больше и в остальной сети будет методов.Эх, не в этот раз я столкнусь с проклятием размерности, не в этот.
>>784663Зубрить это и есть списывать с памяти, проблемы? Вспоминаешь листок тетрадки фотографически и хуяришьКороче чо ты доебался, вот чо ты доебался?
>>783847конечно начинай, няшабудет интересно
>>784666Расслабься, это всего лишь шутка была. Что-то на уровне:- как вспомнить определение теоремы во время экзамена?- вспоминаешь доказательство и выводишь из него определениеХотя это уже не совсем шутка.
>>784549> Брокер же. Трейдер это я.Опечатался.Оцениваешь VaR'ы всякие? Пробовал интегрировать уравнение Блэка-Шоулса?> Как что от чего зависит изучем с помощью ml.Это корреляционные коэффицинеты считать что ли?> Модель была простая линейнаяЛинейная регрессия? Что в фичах? Какая регуляризация? Какой функционал качества? Чем оптимизируешь?> нейронных сетей работала хужеНе удивительно.> ml+питон ... оказался лучше матлабаСейчас питно де факто стандарт научных и околонаучных вычилений. Обрати внимание на pandas, если ещё не работал с ним.
Кто-нить работал с СММ(HMM) ? Есть пара непонятных моментов с выбором начальных данных и при переходе от дискретного случая к непрерывному.
>>784951Есть. Задавай свои ответы.
>>785123Сап.Наблюдаемые данные - n-мерные вектора (15-20 мерные);Координаты векторов, вещественные числа меняются в пределах [-1:1] (В теории, на практике скорее всего разброс может быть меньше);Тут данные имеют непрерывную природу, и не получается использовать дискретное распределение.Какой закон распределения использовать для наблюдаемых данных? Если есть желание помочь, могу скинуть фейко мыло.
>>785200Непрерывное распределение, очевидно. А скрытые переменные?Пиши тут лучше, я фейкомыльце редко проверяю.
>>785210Суть вопроса матрица вероятностей для наблюдаемых значений - тут и предлагают использовать непрерывное распределение. Брать n-мерный интеграл от плотности распределения ( в данном случае за плотность взял Гауссову функцию распределения)? (Приложил картиночки, там вроде в второй картинке ошибка, как раз без n-мерного интеграла?)
>>785218Основываюсь да данной работе, так взяты 3-мерные вектора (http://linkstore.ru/articles/pestov2013.pdf)
>>785218Для Гауссовской функции интеграл можно взять аналитически. Для сложных распределений можно использовать методы Монте-Карло (importance sampling, rejection sampling, MCMC) или использовать вариационные аппроксимации.
>>785226А как скажем так "правильно" выбрать распределение?
>>785230Зависит от задачи. Часто бывает так, что информации о распределении шумов нихуя нет, тогда Гаусс берётся по дефолту.
>>785232Значит для начала Гаусса взять норм?
>>785233Гаусс (экспоненциальное семейство вообще) хорош тем, что там обычно хорошие, трактуемые распределения, т.е. вывод прямой возможен.
>>785236Вот тут при расчете B (матрица вероятностей для наблюдаемых значений) - мы просто берем Гауссову функцию распределения? Или нужна именно функция распределения? (то бишь интегрировать Гауссову функцию?)
>>785254Функция.
>>785257Интегрировать вот эту функцию?
>>785262Её интеграл единица. Что ты хочешь?
>>785275а как B_j(x) считать тогда?
прост плотность бери же
>>785281Спасибо, вроде разобрался. А то этот непрерывный случай сложно давался. тервер только дискретный знаю.
>>785296
Можно ли обойтись без смещений? Большую ли они роль играют?
>>785571Ты про смещения в нейронах?Если да, то можно и без них. В некоторых задачах, говорят, они могут дать намного круче результаты, нежели без них (сам не пробовал).По сути, смещение поднастраивает активационную функцию, сдвигая ее график влево или вправо (т.е. соответственно "облегчая" активацию, или наоборот, делая так, чтобы требовалось еще большие значения на входах нейрона).
>>785597>Ты про смещения в нейронах?Да. Спасибо. Надо все же потестировать самому. Чуток в питоне переделаю готовый пример да гляну че да как.
>>776147 (OP)Аноны, я пока читаю свою книжечку, которую вы мне дали и появились пара вопросов: В книге говорится о том, как изменять весаи дана эта формула>Wik = -(yk-tk)*xiyk - то, что нейрон сделал в этот моментtk - то, что должен был сделатьЗачем мы ставим - перед ними?Думаю, разгадка в этой строчке, которую я не могу правильно перевести>That element of the input could be negative, which would switch the values over; so if we wanted the neuron to fire we’d need to make the value of the weight negative as well.
>>785710если минус то тогда ты максимизируешь лог-вероятность вместо минимизации ошибкиразницы особой нет
>>785736Не понял
>>785746как твоя формула выводится в книге?покажи нам страницы
>>785748
>>785755пиздец нихуя не понятно exexвозьми производную от кросс-этропии и получишь то же самое, только без простыни
>>785774Ты думаешь, что я знаю, что такое кросс-этропия?А как же те люди, которые говорили Иди читай книги на английском?
Мне иногда кажется что это тред одного шизика и он сам с собой беседует
>>785710Я не точно уверен, но по идеи мы используем что-то типа градиентного метода минимизации функции, а сам градиент направлен в сторону наискорейшего возрастания функции. Поэтому если мы хотим вниз спускаться, то градиент надо брать со знаком минус.
>>785778вот тот же момент в другой книге у бишопасначала выписываешь вероятность данных при заданных параметрах/весах (4.89)потом берёшь негативный лог этой вероятностии потом берёшь производные, получается такая же формула как у тебя (4.91)только в твоём случае с переди минус потому что автор не брал негативный лог в шаге 4.90
>>785788Я еще не знаю, что такое градиент, это только начало книги, все, о чем вы говорите будет дальше.
>>785791Да зачем мне вероятности считать? Тут же просто показывают принцип, до которого я допереть не могу.Эх, ладно, пойду к переводчикам.
>>784416>Вопрос как раз в том, когда инпуты разбиваются, а когда они полной охапкой передаются в слой сети? В чем природа этого разделения входных переменных?Я ж тута уже упоминал статью Горбаня http://kpfu.ru/portal/docs/F1732864826/02_5.PDF , в ней опять же, разбирается результат, полученный еще Колмогоровым и составляющий собственно суть нейроночек: представление одной функции многих переменных через суперпозиции частных функций от 1-2 переменных. Сие и есть ответ на твой вопрос о разбиении входов. Кроме того, нелишне разобрать теорему Стоуна-Вейерштрасса.
>>785797о, вот этот дело говорита колмогорову правда маленькие мальчики нравились?
>>785796Черт, ну что за двачах за аутисты то сидят, пиздец?В тексте написано, что мы показываем векторы нейронной сети и один нейрон неправильный (его выход не совпадает с целью). Это веса m, которые соединены с нейроном, каждый из которых весов - это входная нода. Если мы назовем нейрон, который неправильный, как K, тогда веса, которые нас интересуют - это Wik, где i - промежуток от 1 до m. Так мы знаем, какой вес меняется, но нам необходимо решить, как изменить значение этого веса.Первое, что нам необходимо узнать - это является ли значение веса слишком большим или слишком маленьким. Это типа очевидно: веса больше, если нейрон активируется когда не надо и меньше, если не активируется когда надо.Так мы посчитаем y(k)-t(k) - это является разницей между тем, что нейрон получил и целью. Это возможная функция ошибки.Если она негативна, когда нейрон должен активироваться и не сделал это, то мы делаем веса больше и наоборот если она позитивнаИ дальше я нихуя не могу понять, написано Держитесь, поехали дальше.
>>783801>Как ты себе это представляешь?Я подумал, что вряд ли идея запилить GA на оптронике принадлежит мне и скорее всего кто-то уже пытался, хотя бы на бумаге. И таки я нашел, некие жиды разрабатывали такое. Вообще, странно что эта тема не развивается, нейроночки на оптике должны быть быстрее и дешевле чем на электронике.
>>785807Так, а дальше написано>Этот входной элемент может быть отрицательным, что поменяло бы значение местами. Так если мы хотим чтобы нейрон активировался нам необходимо сделать значения весов негативными также. Чтобы обойти эту проблему мы умножаем их вместе, чтобы посмотреть как мы должни изменить веса. Wik = -(yk-tk)*xi, и новое значение веса это старое значение плюс это значение.И тут я потерял логику, старое занчение чего плюс новое значение чего? Весов?
>>785855А может быть ну его нафиг? Зачем тебе эти нейроночки?
>>785858Хочу программирование освоить, питон знаю на лоу уровне, теперь нейроночки хочу.
>>785855Мб если yk < tk, т.е. нейрон дал слабый сигнал, хотя должен был быть сильнее, при этом (yk - tk) получается отрицательно, но нам нужно прибавить весу, чтобы в следующий раз сигнал был как надо, поэтому мы инвертируем эту разность, получаем -(yk-tk).А если yk > tk, т.е. нейрон дал больше, чем надо, тогда (yk - tk) положительно, и чтобы уменьшить вес, надо снова взять эту разность с отрицательным знаком.
>>785866У нас получается, что если нейрон дал слабый сигнал, то необходимо его усилить.А если нейрон дал сильный сигнал, то надо уменьшить веса, путем вычитания значения ошибки.
>>785871Но если значение входа уже отрицательно, то это поменяет значения местами, тогда, если мы хотим, чтобы нейрон активировался, нужно сделать значения весов отрицательными
>>785875И чтобы решить эту проблему мы ставим -Но откуда в этом выражении появился X(i) - хуй знает.i - это промежуток от одного до mИ хуй знает, что он обозначает.
>>785882Есть нейрон. От 1 до m входов. Один выход: принимает значение yk. По обратному распространению на "выход" пришло необходимое значение tk.Мы получаем ошибку как бы для всего нейрона, это yk-tk.И эту ошибку уже надо применить ко входам этого нейрона, которых m штук, а значение на каждом из входов x(i).
>>785882>>785875Опять же, я давал ссылку на видос, где создатель этого алгоритма поясняет его суть, в т.ч. с рисунками. Поясняет почему удобна именно квадратичная функция (потому что параболоид). Мне сказали, какой-то старый дед, давай что-то поновее. https://www.youtube.com/watch?v=hc2Zj55j1zUhttps://www.youtube.com/watch?v=skfNlwEbqck
>>785886Так i - это число входовТо-есть мы берем отрицательное значение от того, как должно быть и умножаем это на прежние значения весов, где x - это значение веса, а i - индекс веса?
>>785892Точнее да, ошибку умножаем на значение каждого нейрона.
>>785897нейрона*веса, блять.
>>785892i - это размерность входа. Xi - это вещественнозначный вектор.
>>785902Нет, I - это число входов>When we looked at the McCulloch and Pitts neuron, the weights were labelled as wi, with the i index running over the number of inputs.
>>785902И да, я не знаю, что значит слово "вещественнозначный", даже гугл не показывает его значение.
>>785905Вектор, компоненты которого вещественные числа. Число входов равно размерности входного вектора.
Подождите, это алгоритм обратного распространения ошибки?
Анон, а как так получается, что:w(i,j) ← w(i,j) − η(y(j) − t(j) ) · x(i)То, что мы хотим найти это то, что мы ищем - выражение?
>>785913Не совсем. Это годится скорее для чего-то однослойного, например перцептрона, когда слой знает о том, что получилось и о том, что нужно было получить, и таким образом R-элементы может подправить веса от входов, которые поступают с А-элементов.Но между S и A веса не регулируются.
>>785920Это разве не логическая ошибка?Если я хочу узнать массу планеты.То мне надо знать массу планеты? Или на это w(i,j) после стрелки не обращать внимание?
>>785920Программирование знаешь?w[j] = w[j] - deltaМы переписываем значение переменной.
>>785926Там было еще [_i_], но оно куда-то пропало.
>>785926>>785924А нет, это просто число весов умноженное на число нейронов, оно то нам уж известно.
>>785929точнее, не умноженное.Просто input nodes, что в данном случае аналогично весам и число нейронов.
и так, что мы имеем:нейроночки - искусственный интеллекталсо нейроночки - массивследовательно монада - искусственный интеллектнейроночки можно применять в РПГ-игруляхбиномиальное распердение вызвало брекситколмогоров баловался попками маленьких мальчиков
>>785938нечёткость и Сёрла забыл.
>>785938Нечеткость для петухов
Байесовский вход, это как условие if else, верно?Типа, если вход равен чему-то, то берем вес такой-то?
>>785943Перельман, как и положено шизоидам, посмотрел бы на пацана как на долбоеба и пошел дальше, а то и вовсе не посмотрел бы.
Аноны, а как тогда делают всякие нейроночки, где просто дохуя всяких переменных?Типа той, что играла в го и обыгрывала военного летчика.Это просто сеть, у которой хуева туча слоев?
>>785938Вот этого >>785944 запиши ещё
>>785948Да иди нахуй, я просто научиться хочу, а спрашивать мне больше не у кого.
>>785949Спрашивай сам у себя, заебал. Спрашивай у книг. Спрашивай у гугла. Спрашивай у тетрадки с ручкой.
>>785949Начнем с того, где ты вообще этот термин взял - "байесовский вход"?
>>785950Так я и захожу сюда в последнюю очередь.>>785951Ой, Байесовский вход.
Пиздец. Почему здесь так много аутистов с тупыми вопросами. Прошлись бы по основам ML, взяв курс хотя бы на курсере, а не лезли бы сюда с илиотскими вопросами.
>>785953Брать платные курсы?Я и прохожусь по основам ML
>>785952Так где ты термин такой надыбал?
>>785958По привычке прочитал Bias Input, я уже понял все.
>>785957Если ты тот, что ботал на неделе SVM, то ты норм. Но прибегают другие аноны с абсолютно хуёвыми вопросами.
>>785938байесовский вывод - эт тип когда приоры)))нечёткая логика - единственное перспективное направление в млдискретный матанАНОНЧИКИ, ПОСОВЕТУЙТЕ КНИЖКУ ПО ДИП ЛЕАРНИНГУ, ТОЛЬКО НА РУССКОМ БЕЗ МЕТЕМАТИКИ, РЕГИСТРАЦИИ, СМС И КРОСС-ВАЛИДЕЙШЕН. АНОНЧИКИ, А МОЖЕТ ЛИ СЕТОЧКА НАУЧИТЬСЯ ГЛУБОКОМУ БЛОУДЖОБУ? НО ВЕДЬ ЛЮДИ ТАК НЕ ОТЛИЧАЮТСЯ, СЁРЛ, СЁРЛ, СЁРЛ.КАК ПОСТУПИТЬ В ШАД, ЕСЛИ У МЕНЯ ДЕВЯТЬ КЛАССОВ ОБРАЗОВАНИЯ В ШКОЛЕ ДЛЯ ДЕБИЛОВ?
>>785962ПОСОВЕТУЙТЕ ГОДНЫХ КНИЖЕК ПО ML@ЧТО ТАКОЕ ГРАДИЕНТ?
>>785977Понятие градиента знакомо минимум людям на 2-м курсе, ни в школьной программе, ни даже на 1-м курсе нету этого.
>>785978>>785792Сосни раз.
>>785979Причем градиент вполне рассматривается в этой книге, но позже, ты же стал нести неадекватную хуйню.
>>785962бекпроп - градиентный спускГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ + НЕЙРОНОЧКИправа роботов
>>785985>ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫЗаебешься перебирать.
>>786046зато как круто звучит!
>>785985>ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ ХЗ, но у меня они давали результат не лучше чисто случайного поиска.
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на deeplearning.net и изучаешь библиотеку theano от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути изучив бейсовское фичё селекшн, покупаешь и изучаешь видео карту, рекомендую NVIDIA GTX980. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхбыстрые асинхронные машины больцмана, tensorflow. Отсос хиккующих выблядков / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.
>>786102>Отсос хиккующих выблядковНо ведь этим как раз хиккующие выблядки и занимаются.
>>786102>рекомендую NVIDIA GTX980Почему не 1070 или 1080?
>>786102> через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.Это сколько? Я сейчас питоновебдевом могу получать 4800-5600 в месяц.
>>786141> могу).
>>786102Все самое интересно вроде же выжали из сетей с нынешним уровнем производительности видеокарт. А вот что еще можно придумать если что-то помощнее появится?
>>786151Вообще хорошо бы было натравить сеточки на перевод текстов.
>>786102> асинхронные машины больцмана> глубокие машины больцмана?>>786105Поддвачну, здесь лучше сказать про веб-макак и прочий энтерпрайзный успешноскам.>>786151Дальше всё более глубокая интеграция вероятностных графических моделей и RNN для большего Байесоёбства.
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на deeplearning.net и изучаешь библиотеку theano от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути изучив бейсовское фичё селекшн, покупаешь и изучаешь нормальную видеокарту, рекомендую NVIDIA GTX1080. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхбыстрые глубокие машины больцмана, tensorflow. Отсос веб макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.норм? добавьте ещё чего, может в окончание kaggle вместо сумм и заменить фичё селекшнDL-варианта этой пасты ещё небыло
>>786301Подарите мне систему с видюхой такой, а то у меня нубук 2012-го года.
>>786313да ну ты чо> нубук 2012-го года.самый смак для нейроночек
>>786325как я туда видюху то запихаю?
>>786327пускай торчит хуле
>>776147 (OP)Люди, не теряйте свободного времени, тренируйте нейронные сети!
Поясните как эта хуйня генерирует тексты Егора Летова?
>>786526дмитрий маликов в треде, все в рояль!
>>786526> генеративные модели> семплирование
Ребята, куда подаваться на тематическую магистратуру? Сам заканчиваю мухосранский матмех, и пока вижу только два адекватных варианта: ВШЭ и американский вуз средней руки с прицелом на аспирантуру в лиге плюща.1
>>787152уса - лучший вариант, или вшэ с миграцией за бугор
>>786301Эта паста всех подзаебла уже.Пусть НЕЙРОНОЧКА сама напишет какую-нибудь смешнявку.
Я опять с тупыми вопросамиПоясните вот за это вот:Making the OR data is easy, and then running the code requires importing it using its filename (pcn) and then calling the pcntrain function.В чем смысл? Алсо, я наконец полностью разобрался в перцептроне и могу написать его на питоне, сейчас еще узнаю, что он не может в функции XOR и перейду к нормальным нейроночкам
>>788046Персептрон может в xor.
>>788050Однослойный вроде не может весы настроить, разве нет?
>>788051Не может, да.
>>788051>>788076Зависит от определения
>>788097Охуеть, давайте тогда обсудим, что же считать слоями. ВОт дискач то будет. Дискач века.
>>785302Еще один дурацкий вопрос, вот тут >>785254 сколько брать распределяющих функций Гауссовой смеси?
>>788123Особенность физической модели, model selection, или от балды, если первое ничего не говорит, а второе мутить впадлу.
>>788119S-А связи по идеи просто описывают структуру входных связей, т.е. если есть то возбуждающий или тормозящий вход, если нет - значит нет.Обучается же слой A-R.
>>788127Один хуй два слоя же. Что ты имел в виду под> зависит от определения?
>>788131https://ru.wikipedia.org/wiki/Многослойный_перцептрон_Розенблатта>Многослойный перцептрон Розенблатта — перцептрон с дополнительными слоями А — элементов, расположенными между S и R элементами. Дополнительных слоев А нету - значит однослойный.
>>788141Ну и безобразие, мы как-то всегда их считали.
>>788119Просто прочти на русской вики по поводу задачи XOR. Не может в XOR некий "однослойный персептрон", который, внезапно, является линейным классификатором, и был придуман много позже собственно персептрона (благо автор персептрона не был таким дебилом, чтобы взять линейный классификатор и назвать его йоба-названием).
Аноны, спасибо большое, что ведёте данный тред! Почерпнул для себя кучу полезной инфы по поводу обучения ML, теперь в ближайшие полгода буду ебашить матан изо всех сил.
>>788165Охуеть, ну хоть кому-то.
>>788126Число распредлений в смеси настраеваемый гиперпараметр, но есть непараметрические методы, где требование задавать число распределений обходится.
>>788168Всмысле "кому-то". Всем бля. Ему, мне, тебе, Петру I. Всем!
>>788154То, что я сейчас знаю в качестве персептрона - это весы + сумматор и пороговый классификатор.
есть ли у нейроночек похоть?
и вообще со скольки слоёв персептрон начинает осознавать свой gender identity?
>>788322>весы + сумматор и пороговый классификаторЭто нейрон, не?Перцептрон, когнитрон, неокогнитрон состоят из множества нейронов.
>>788350Написано, что персептрон, на самом деле не важно, я наконец понял, как и зачем нужны матрицы и массивы.
>>788254Мы же не одни здесь!
Аноны, а расскажите как делается поиск пути на нейроночках?
>>788440> поиск пути на нейроночках
>>788451Наверное научить персонажа идти из пункта А в пункт Б с помощью нейроночки.
>>788455Дурачок. В играх AI строит маршрут совсем по другому. Что-то вроде жадных алгоритмов обхода препятствий. Катись в /gd/
>>788458Научись читать и понимать прочитанное сначала, потом посылай других куда-либо. Это во-первых.Во-вторых, если он действительно хочет зафигачить так, чтобы АI сам учился искать пути именно с помощью нейроночки, то почему бы и нет?
Про лабиринты там тоже есть.https://youtu.be/mF5-tr7qAF4https://youtu.be/6bOMf9zr7N8
Аноны, а расскажите как делается FizzBuzz на нейроночках?
>>788562http://joelgrus.com/2016/05/23/fizz-buzz-in-tensorflow/
Правильно ли я понимаю, что при обучении батчами мы вычисляем среднюю dW(где Wij=Wij+dWij) по всей выборке батча. Т.е. вычислений по-сути будет чуть больше из-за промежуточного сохранения всех dW которые мы дели в конце на размер батча, только обновление весов будет один раз за батч?
>>788584>по сути
Аноны, поясните мне за Теорему сходимости Перцептрона но не так, будто вы объясняете умному человеку, а так, будто работаете с дауномВ частности, что обозначает это вот неравенство?tγ ≤ ||w(t−1)|| ≤ √t
>>788709на шаге номер t:tγ <= длина вектора w(t-1) <= √t
>>788709Так, вообще, ||w(t-1)|| - это разве не значения весов на прошлом шаге?А что тогда ty? t - насколько я понял, количество шагов обновлений весов.А y - наименьшее расстояние между гиперплоскостями или просто прямыми линиями.То-есть доказывается, что количество шагов умноженное на минимальное расстояние между линиями меньше или равно весам на прошлой итерации и значения весов на прошлом шаге меньше или равны корню из количества шагов обновлений весов?Что за бред?
>>788799ты нашол ошибку в долазательстве персептрона?
>>788839Я не думаю, что все правильно понял, я же даун.
>>788857Я кстати застрял на части в реализации кода, Питона знаю хуево, это мне отвлечься от книги на немного дней или изучать Python параллельно, дабы я мог все примеры выполнять? Это задержит примерно на неделю.
>>788709Откуда ты вообще взял это неравенство? Скинь полностью со всеми пояснениями.
>>788871Надеюсь текст различим
>>788888Лучше бы начал с чего-нибудь попроще, раз ты даже питон толком не знаешь.
>>788902Я параллельно буду ебашить, сначала 10 страниц питона, потом 10 страниц отсюда.
>>788888Там конечный смысл не в сравнении веса с какими-то числами, а в том, что ty <= sqrt(t), т.е. t <= 1/y^2.Вернись в начало параграфа, там как раз написано, что количество итераций ограниченно этим самым числом.
>>788972И в чем общий смысл кроме доказательства сравнения сходимости?
>>788981В том, что оно сойдётся на линейно разделимом датасете.
>>788985Готов к тупому вопросу?А что с чем сойдется?
>>788989И теорема состоит в том, что число итераций ограничено 1/y^2?
>>788989Перцептрон может обучиться за конечное число шагов, т.е. за конечный промежуток времени.>>788993Теорема состоит в том, чтобы показать, что это самое число шагов ограничено каким-то конкретным числом, а не бесконечностью или неопределенностью какой-нибудь.Пока матан на первом курсе универа не пройдешь - лучше не лезь во все эти доказательства.
>>789000>что это самое число шагов ограничено каким-то конкретным числомДа это я понял.Нет, не понял конечное число из 1/y^2 - это какое?
>>789009Гамма - это не просто расстояние между гиперплоскостями, а это расстояние между классами (margin гугли, об этом упоминалось в твоей книге), которые перцептрон должен разделять.Понятно, что если это расстояние 0 - то перцептрон будет обучаться бесконечно, и так и не сможет различать классы в пространстве, потому что между ними нет границы.Ну и дальше сам додумывай.
>>788709Может посоветуете школьнику самые основы методов оптимизации? Какой-нибудь лайтовые лекции или конспекты. У самого пусто.
>>789021Сходить в универ.
>>789021Что-нибудь по выч.мату почитай.У обо/sci/шей было что-то такое.
>>789024Серьёздно. Кун(тян?) уже неделю заёбывает тупыми вопросами, но ему хватает упорства продолжать.
>>789027Хуй знает, я ничего отдельного не читал, но нарыл вот такую штуку:http://rutracker.org/forum/viewtopic.php?t=4650397На днях тоже полистаю.
>>789032> Первое издание - 1986 г.Вангую. Устарело как содержание, так и методология.Вот что нагуглил. Парвая лекция должна составить общее представление.http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%BE%D0%BC%D0%BEВот эта годная. Боюсь, что малыш не потянет.http://stanford.edu/~boyd/cvxbook/
>>789009А может объяснения и не надо понимать? Ну запомнил, что число итераций ограничено и все? Или это выйдет мне сильно боком потом?По сути, я понял, что мне надо понять неравенство Коши-Буняковского.
>>789063>>789019>мне надо понять неравенство Коши-Буняковского.Пиздец, ты не там ищешь "глубинный" смысл.
>>788584бамп вопрос
>>789066Но ведь оно доказывает, что весы через некоторое количество обновлений = > tyИначе я не могу понять, как из неравенства получается так, что число деленное на другое в квадрате будет равно чему-то, а не стремиться к бесконечности, например.
>>789073>число деленное на другое в квадрате будет равно чему-то, а не стремиться к бесконечностиС чего бы это?Охуенная у тебя каша в голове. Гугли пределы и сходимость.А лучше в универ сходи, тебе там все по-порядку разложат.
ML тред. Вышка нужна.
>>789075Я на 2 курс шараги перехожу.
На русском то есть нормальные книги для новичка?
>>789082Хаха, нет, иди английский учи.
>>789084Да могу и на английском читать, но придется напрягаться.
>>789075А, пределы я знаю.Нас в шараге не учат тому, что такое пределы, нас учили их считать.
>>789091Как нам препод говорил, в пту учат ремесленников, в универе инженеров. Учишься ремесленником - значит твоя задача не думать, а делать по технологии, оттачивать мастерство. Учишься на инженера - нужно разбираться в куче различных областей, иногда даже напрямую не связанных с основным направлением.
>>789097Но у меня илитная шарага, МГИМО, прикладная информатика, лол, самый глупый выбор в жизни.
>>789097> Как нам препод говорилОткрою секрет - каста преподов - это хуже червей-пидоров, проткнутых и опущеных.В универчик идут работать преподами самые днища, которые никуда больше приткнуться не могут. Зато там они могут читать 1 час 45 минут хуиту с книжки и требовать ее записывать.Ну ты понел.
>>789102Ага, и к ним посылают новоприбывших за знаниями, которые необходимы в ML.На зоне тоже к петухам сразу будешь посылать?
>>789102Довольно грубое обобщение.В адекватном универе - адекватные преподы, я так считаю.
>>789110Ага, на зарплату в 13 тысяч.Когда плата за год - 75.У нас не Япония, дабы профи работали.
>>789112Публикации/конференции/патенты ты в зп тоже не считаешь? В хорошей лабе хорошие зарплаты.
>>789112Так и у них у многих еще какие-то основные или же наоборот второстепенные работы есть. У кого-то вообще собственные фирмы есть, связанные с тем направлением, на которое они учат. По крайней мере у нас так.
>>789115Лол, а шо, за патенты платят?А публикации - это уровня "я написал книжку, кто из студентов не купит - будет иметь проблемы на экзамене?".
То-есть при каком-то значении 1/y^2t просто перестает существовать?
>>789129Ну это уже толсто.
>>788584Да вычислений чуть больше и пускай. Принципиальный момент это сами батчи, а не просто случайный вектор выборки и регуляризатор.
>>789082Воронцовские лекции в разное время. Для начала пройди курс на курсере.
>>789119Публикации, учитываемые скопусом, уровня вот мой говно-йоба-алгоритм.За них хорошо платят.
>>789129То-есть с каждым обновлением весов расстояние уменьшается1/y^2 и t просто перестает существовать? Но как выходит так, что, например, у нас веса обновились 10 раз, расстояние сошлось.Как 10 может быть меньше или равно тому маленькому числу? С чем это связано?>>789136Я не троллю, я реально не понимаю.
>>789150Гугли что такое гамма в твоих формулах.
>>789153гамма-функция?
>>789150Но также, веса после 10 итерации не существуют.Да как так? Я понимаю, что математически это можно обосновать, но логически не понимаю.
>>789137Да просто были сомнения что суммировать, тельту ошибки или dW. Если бы дельту ошибки, то появился бы вопрос, а как именно. Еще немного сбило с толку, что было написано, что батчами вычислять быстрее(но в другом месте было уточнение, что только в параллельных вычислениях)
Ладно, допустим я хочу компьютер научить говорить, что я для этого должен делать?
>>789244В линупсе, например, festival.На маках есть say:> say - Convert text to audible speech
>>789189Аноны, так с чем это связано? Как так выходит, что количество итераций обращается в ноль, хотя до этого росло?
>>789396съяби уже, а?
>>788440https://www.youtube.com/watch?v=V1eYniJ0RnkГугли (Deep) Reinforcement Learning. на udacity есть такой курс. Вот этот >>78845 защекан слышал где-то про алгоритм A* (поиск пути), но почему-то пропустил хайп 2 летней давности вокруг DeepMind
>>788455>>788451>>788458>>789424
анончики, а как ищется элемент в массиве на нейроночках?
>>789458мамка твоя ищет
Что скажете о курсе Machine Learning на Coursera?
>>789687> ctrl+f> bayes> results:0говно
>>789687Хороший поверхностный курс>>789709для даунов.
>>789687 >>789716Полноценные лекции, которые он читал в Стэнфорде:https://www.youtube.com/playlist?list=PLA89DCFA6ADACE599Конспекты лекций и прочие материалы:http://cs229.stanford.edu/materials.html
Что-то аноны, сегодня совсем хуево, начал читать эту вашу "Unlocked Python", так он что-то совсем не идет.Хотя написать перцептрон уже могу и понимаю, зачем и как нужны массивы в нем.
>>789412Не съебу, ни за что, я смогу и в нейроночки и в питона и в матан и в английский.
>>789737>начал читать эту вашу "Unlocked Python"потому что скорее всего там математическая муть без практики
>>789739Нет, там именно код дается, только все в очень странной форме, концепция не объяснена и написано косноязычно немного.Но оно уже и не особо нужно, я уже написал перцептрон.
>>789737Таски выкладывай. Может быть толпой завалим.
>>789742Да нет, все нормально.Просто надо по другому пути Питона изучать, эта отдельная хуйня, где говорится, что и как можно делать с разными вещами совсем не формирует общую картину и даже не запоминается никак.
>>789744И кстати, в реализации простого перцептрона не надо импортировать целый класс pcn, достаточно только pcntrain переписать же.Просто в целом коде PyCharm находит ошибку
>>789750Что ты делаешь? Нахуя реализовывать персептрон?
>>789760Чтобы понять, как простейшую нейроночку писать, а потом приняться за сложные сети.Да и по учебнику так идет же.
Что такое граф-модели? Пояните за них, позязя.
>>789766Смотри сюда, ёбана.Есть граф.Есть вершины.Есть рёбра.Вершины - случайные величины.Рёбра - описывает условные зависимости между вершинами.То есть эта хуита позволяет добавлять структуру в данные (учитывать пространственную структуру изображений, вводить гладкие приоры в задачи предсказания и интерполяции, учитывать зависимость между симпотами болезней).Смотри лекции Воронцова кароч, а потом читай Бишопа с Мёрфи, у них там по несколько глав про сабж. Охуительная тема.
>>790093Алсо, нейроночки тоже представимы в виде граф-моделей.
Аноны, автор учебника ебнутый?Его код нихуя не работает.Он говорит import pcn_logic_egОкай, вот файл с названием https://seat.massey.ac.nz/personal/s.r.marsland/Code/Ch3/pcn_logic_eg.pyв 47 строке ошибка.Он не мог проверить, работает его код или нет, блядь?
>>790096И всё это представимо в виде массивов. Анончик выше не пиздел.
>>790103он писал на питоне 2.0, по-моему это и дауну должно было быть понятно
>>790116Но он же года 3 как устаревшее и никому не нужное дерьмо
>>790119А похуй, суть в скобках в print
>>790093То есть это будущее ML? Как такая хита обучается?
>>790148Это настоящее ML.Кратко не опишу, но кароч хуячим аппроксимации апостериорного распределения.
https://2ch.hk/pr/res/790256.htmlhttps://2ch.hk/pr/res/790256.htmlперекатываемся мужикиhttps://2ch.hk/pr/res/790256.htmlhttps://2ch.hk/pr/res/790256.html
>>776147 (OP)Было предложение поработать c tensorflow для начала за сотню баксов в неделю, после того как я вкачусь в ml, но вкатится не хватило знаний и времени, ибо в ml вообще ноль.Предложение было действительно интересным и работодатель был из штатов, если бы получилось был бы очень хороший опыт + строчка в резюме.
