Очередной тред про хипстерские технологии, которые не работают.Продолжаем спрашивать очевидные вещи, о которых знает любой индус, прочитавший хоть одну книгу по машобу.FAQ:Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаВ чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examplesГде набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/Где работать? https://www.indeed.com/q-deep-learning-jobs.htmlГде узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихсяГде посмотреть последние статьи? http://www.arxiv-sanity.com/Где ещё можно поговорить про анализ данных? http://ods.ai/Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.Список дедовских книг для серьёзных людей:Trevor Hastie et al. "The Elements of Statistical Learning"Vladimir N. Vapnik "The Nature of Statistical Learning Theory"Christopher M. Bishop "Pattern Recognition and Machine Learning"Взять можно тут: http://libgen.io/Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.Архивач:http://arhivach.tk/thread/398904/Остальные в предыдущих тредахТам же можно найти треды 2016-2017 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"Предыдущий тред: >>1281076 (OP)
Товарищи неосиляторы, допилите уже шапку до мана и пушните на гитхаб, блэт. Уже дохуя ссылок проебалось.
>>1287447 (OP)>http://www.deeplearningbook.org/ Уберите уже эту хуету, для начинающих оно бесполезно, как и для всех остальных. Или это троллинг такой?
>>1287447 (OP)Почему не работает?# [ [9278, 37.9, ...], [18594, 36.3, ...], ... ]print(training_set_input.shape) -> (300, 636)# [ [1, 0], [0, 1], ... ]print(training_set_output.shape) -> (300, 2)//////////////////////////////////// ATTEMPT 1model.add(tf.keras.layers.LSTM(35, activation='sigmoid', input_shape=(300, 636)))model.add(tf.keras.layers.Dense(2, activation='softmax'))model.compile(optimizer='adam', loss='mse')history = model.fit(training_set_input, training_set_output, validation_data=(validation_set_input, validation_set_output), epochs=10, batch_size=32)//////////////////////////////////// ERROR 1File "network.py", line 85, in trainhistory = model.fit(training_set_input, training_set_output, validation_data=(validation_set_input, validation_set_output), epochs=10, batch_size=32)File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/keras/_impl/keras/models.py", line 920, in fitvalidation_steps=validation_steps)File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/keras/_impl/keras/engine/training.py", line 1592, in fitbatch_size=batch_size)File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/keras/_impl/keras/engine/training.py", line 1431, in _standardize_user_dataexception_prefix='input')File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/keras/_impl/keras/engine/training.py", line 144, in _standardize_input_data' dimensions, but got array with shape ' + str(array.shape))ValueError: Error when checking input: expected lstm_1_input to have 3 dimensions, but got array with shape (300, 636)//////////////////////////////////// ATTEMPT 2model.add(tf.keras.layers.LSTM(35, activation='sigmoid', input_shape=(636,)))...//////////////////////////////////// ERROR 2ValueError: Input 0 of layer lstm_1 is incompatible with the layer: expected ndim=3, found ndim=2. Full shape received: [None, 636]
>>1287605input_shape=(636, 1), дальше expand_dims для training_set_input, затем скорее всего будет Flatten перед Dense
>>1287709>input_shape=(636, 1)model.add(tf.keras.layers.LSTM(35, activation='sigmoid', input_shape=(636, 1)))ValueError: Error when checking input: expected lstm_1_input to have 3 dimensions, but got array with shape (300, 636)>дальше expand_dims для training_set_inputnp.asarray(np.expand_dims(training_set_input, axis=0)) ->ValueError: Error when checking input: expected lstm_1_input to have shape (None, 636, 1) but got array with shape (1, 300, 636)>затем скорее всего будет Flatten перед Densemodel.add(tf.keras.layers.Flatten()) ->ValueError: Error when checking input: expected lstm_1_input to have shape (None, 636, 1) but got array with shape (1, 300, 636)
>>1287842>np.asarray(np.expand_dims(training_set_input, axis=0)) ->>ValueError: Error when checking input: expected lstm_1_input to have shape (None, 636, 1) but got array with shape (1, 300, 636)Ну очевидно же что axis в expand_dims должен быть равен 2, чтобы, (None, 636, 1) совпадал с (300, 636, 1)Что-то ты совсем тупенький
>>1287880Искусство это прекрасно, но разве это единственная работа на эту тему? Потрудитесь для следующего треда найти что-нибудь новое, коллега.
>>1287853Тебе уже писали, в tensorflow принят формат данных (число_примеров, длина, ширина, каналы). Для одномерных данных будет (число_батчей, длина, каналы). У тебя данные одномерные и одноканальные, поэтому нужно (None, 631, 1).А дальше с помощью expand_dims, reshape и squeeze ты можешь добиться, чтобы твои данные были должным образом оформлены.
SOOQYUA как же бесит ебаный python. Датасаенсы как стандартные макаки-говноеды выбрали изи-говно, лишь бы нихуя не изучать. А четкие поцоны теперь должны вытирать кровь, текущую из глаз, и наслаждаться динамической парашей, потому что это индустриальный стандарт. Пидарасы
>>1288198Это опять ты? Ну давай, расскажи, какую там задачу решили, ну или решают с приемлемым результатом
>>1288187>>1288201опять петухи набежали>>1288187к сожалению, у питона просто нет альтернатив (мб, скала только)
>>1288187Питон наиболее подходит для "тяп-ляп быстро-на-коленке-хуяк" прототипирования, типичного в датасаенсе. Потом написали пейпер и забыли нахуй, пишем другой прототип.
>>1288219>прототипированиячего? есть буйные фантазии матанопетушни которые высераются на бумагу, затем хуяк хуяк прототип на питухоне, который может от силы 1 процент заявленного реализует, затем кульминация это требует дополнительных исследований, ну или дальше все очевидно, сделаете сами
>>1288234https://m.youtube.com/watch?v=tqTPOPvtx7IДаже профессоры уже охуевают матанопетушни, матан ни к физике не имеет никакого отношения ни к ИИ. Нейронки это маркетинговый ход со стороны маняматиков.
>>1288212> к сожалению, у питона просто нет альтернатив (мб, скала только)R. Пистон и прочее хипстерство не нужно.
>>1288212>к сожалению, у питона просто нет альтернатив (мб, скала только)scala, kotlin, даже б-гомерзкая java последних версий получше будет>>1288279Да. Будет тулинг и ошибки на этапе конпеляции. Питон - это более красивый php, но не более того. Смирись
>>1288348>даже б-гомерзкая java последних версий получше будетТолсто. То, что на питоне можно сделать в 1-2 строчки при помощи map/reduce/filter/list comprehension и лямбд в джаве займет десятки строк кода. Про вербозность джавы и отсутствие вменяемых библиотек я вообще промолчу.
>>1288364>То, что на питоне можно сделать в 1-2 строчки при помощи map/reduce/filter/list comprehension и лямбд в джаве займет десятки строк кода.Лол, фантазер. Буквально сегодня я охуел от того, насколько неудобно и многословно выглядит map/reduce/filter в питоне в сравнении с джавой.
>>1288348> Будет тулинг и ошибки на этапе конпеляцииНахуя мне ошибки на этапе компиляции?Мне не нужны ни ошибки на этапе компиляции, ни сама компиляция.
>>1288377Ага, тулинг туже не нужен. Сиди дальше в своем notepad.exe(или jupiter) без автокомлита, статического анализа и рефакторинга. Впрочем для ПРОТОТИПОВ это и не нужно, правда?>>1288380>list comprehensionУ меня от этого болит flatmap. Кстати, любой list comprehension будет длиннее и непонятнее, чем цепочка transform & action операций.
>>1288383>для ПРОТОТИПОВ это и не нужно, правда?Правда, на то они и прототипы. Потом, при выпуске готового продукта, прототип нужно по уму переписать.
>>1288385Нихуя ты программист. И на чем ты этот прототип переписывать будешь? Бля, неужели на java/kotlin/scala? А как же невменяемые библиотеки, компиляция и статикопараша?
>>1288388>программистнаписанные трудом и потом десять строчек на питухоне будут переписанны в 15 строчек на жабевся суть нейронщиков
>>1288383Основной твой тул - интерпретатор. Питон в свое время победил, потому что это неплохой интерпретируемый язык, он и задизайнен с учетом этого. А когда у нас там jshell появился? В 2016? А когда вывод типов в kotlin станет достаточно развитым, чтобы интерпретатор был удобен? Никогда? То-то же.Приоритеты разные. Автокомлит, может, и хорош, но какой ценой.В продакшене ты лучше лишний час посидишь, но зато меньше тестирования и меньше падений у заказчика. Плюс код большой - самодокументируемость и т. п. Но результат работы ML- специалиста - модель, которую уже можно загрузить на любом более-менее популярном языке. Как она обучена никого не волнует. Поэтому твой подъеб по поводу прототипов инвалидный.При исследованиях основной пользователь твоих скриптов это ты и твои коллеги-профессионалы. Упадет - и хуй с ним. Тестится все тоже довольно просто, ты комментишь tf.Session.run и запускаешь - дошло до конца, значит и при недельном обучени не упадет. А упадет - подымишь из снапшота и продолжишь.И типы у тебя это в 99% случаев numpy-матрицы. Которые, внезапно, статическим образом не проверяемы - если у тебя не йоба-язык с зависимыми типами, конечно. Так что страшно далек ты от народа.По поводу внезапного срача редакторы vs IDE не понял, при чем тут он.1. У питона есть IDE2. Да, IDE - говно для нубасов, батьки используют редакторы, причин этому тьма. Но это оффтопик, так как смотри п. 1.
Диапазон: (-1, 1)Пример данных, которые должны быть на выходе:[0, 0, ... 0, -0.245, 0, ... 0, 0.03, 0, ... 0]Может быть большое количество нулей.Какая функция активация для этого подойдёт?
>>1288548p.s. каждое значение это один экземпляр из сета, на выходе всегда одно значение в диапазоне (-1, 1)
>>1288548Либо никакая, либо tanh. Это в последнем слое. В остальных relu есесна.Гораздо важнее выбрать правильный loss.
>>1288634хммм.... у меня структура такова:530 - input (диапазон входных данных от 0 до 1)50 - sigmoid50 - sigmoid1 - output, activation='tahn' (диапазон данных от -1 до 1)optimizer='adam', loss='mse'при тестировании сети почему-то почти все значения в диапазоне 0.00057-0.00056что тут не так?
>>1288697Скорее всего, у него сетка тупо выдаёт среднее. Он же написал, что у него нулей в ответах много.Хотя с учётом того, как выглядят данные >>1288721 (там отличие в третьем знаке, лол!), нормализовывать ещё как надо.>>1288659И какое MSE на контроле в итоге?И сколько у тебя данных-то?И что это >>1288721 за данные - это один объект такой или один признак?
>>1288737Интересно. Попробую перенормализовать. А что, нейросети некорректно работают с малыми отличиями?
Антоны, а нейронную сеть можно приспособить под сборку различных вещей?Чтобы она генерировала инструкцию, какую деталь и в каком порядке присоединять?
Сап двач поясни за cnn. Вот первый слой фильтров активируется на всевозможные линии. Но как эти фильтры получают параметры именно под линии? Ведь мы прост инициализируем их рандомными значениями, а дальше бэкпроп.
Пришлось пост порезать, ктож знал, что марковские цепи так быстро работают, что в такую графоманию способны.Перед молодой девушкой раздался громкий стук металла. Она просто не была система, где игроки попытаются вторгнуться в кошек и напоминала яйцо, у девушки не так уж и высокоуровневые классы. Предельным для них было достаточно, чтобы мне уходить... — неистово закричав, он поклонился. Момонга наконец достиг последней части её имя.Её звали Альбедо, Смотритель Стражей этажей Великого Склепа Назарика было интерфейса.— Что происходит?Время было особыми словами. А некто, смеясь, говорил, что он зарабатывал деньги на кресло, где должны принудительно выкинуть из игры. Но ведь игра закончится, и Хэрохэро сказал дальше:— Как и никого не хочу остаться онлайн до закрытия сервера.С чувством, будто он зашёл?Каждый НИП, обладает такими настройками.— Хмм... — Конечно, ответа не двигая челюстью. Несмотря на содержимое, он к НИП с любовью создал согильдиец? Немного поразмыслив, Момонга вооружился до тех пор, пока у меня нарушилось чувство времени, потому что ты поменял работу вовремя, куча работы, из-за подвигов Момонги, а вместо этого украшал сорок восьмым, их суммарный уровень это место, и имеющие некоторые параметры выше, чем у девушки Смерть двинулась в нежить. Второй был мёртв.Да, мёртв.Бедствие, угрожающее жизни не успевал сделать работу в виртуальном мире не делать НИП Великого Склепа Назарика остался он решил написать такие как его держит. Рыцарь замер, будто на другой смысл этого, если игроку удавалось заполучить один из радужных самоцветов, они принадлежали, Аинз Оал Гоун.— Си-дзюутэн Судзаку.Палец задвигался быстрее, указывая на левом запястье. И одна сияла особенно высокие доходы, просто постоянно тут же стёр предложение.— Вот почему это предложил, был...— Улберт-сан...Среди всех к нему женщину.Пышные светлые волосы до самого себя, и серебром низкие ступеньки, — вот это место останется, а Великий Склеп Назарика, которое позже назвали «визуальной популярностью». Со стены за чёрт?! — ход мыслей вдруг атаковать всех подряд. Однако Момонга увидел тридцать восьмой год. Термин ММОРПГ-П появился давно и собирали материалы. Спорили по сути, монстром. При вражеском вторжении он ступает на талии были разделены по размерам в самом деле големами, созданными из одежды. В целом, от Хэрохэро и взял оплачиваемый отпуск.Были времена, когда это было бы даруй мне это слышать.— ...Но, боюсь, уже очень часто — а сервер отключить.0:00:38.Уже прошло анонсированное время с какой должен быть и Муспельхейм.Обширный мир, бесчисленные переменные, такие как из флагов.— Я.Затем указал на Момонгу, чтобы мне пора начать приказывать нужно высоко поднимать голову, чтобы узнал Момонга. Держась за то, что в шелковой перчатке держала странный объект — Плечи Момонги начало дрожать. В Иггдрасиле не должно было бы гримаса. Момонга сделал их грандиозности, двери и затем того, можно было забрать жизнь одним ударом. Поднятый высоко поднимать голову, будто скованный льдом. Он поднял левую руку и странные настройки. Один из таких привилегий — Следуйте за рамки приличия.Момонга уставился на внешность дьявола, всего было по-настоящему весело...Каждый месяц Момонга удовлетворенно кивнул — Нимфоманка... значит, она бы еще могла отбиться от Смерти, но была исключением. Именно поэтому посох обвивали семь змей. Во рту каждой категории, число всех дней что-то добавить...— Но сидя тут же эмоцию.Затем Хэрохэро задвигалась в сочетании имело огневую мощь, которая должна была НИП, обладает такими настройками.— Хмм... — Голос Момонги сильно затряслись. Затем он быстро ответил:— Всё в последний день, и стал перед таким обширным, что, казалось, вырезан из одежды. В стене холла было написано — двенадцать лет назад, в зал. Он увидел вдали идущую к системе, Чат, вызов Гейммастера, Выход из захватчиков не делать НИП можно посчитать, что он услышал, что он всегда уставший. Но тем не станется, если отведёт глаза.— Хватка сердца, — потерял дар речи.— ...Э? Что происходит?Время было всего Иггдрасиля. Даже после своего сердца, её ранг был старый дворецкий, также почувствовал тревогу, его могущественные способности никогда не хватает величия, — воплощение смерти сжало руку. Рядом с сорок пять метров. Дотошно выгравированная богиня на Момонгу, чтобы следовать разговору.— Согласен. Давно не могло быть никакого другого толкования: — как будто он уже очень часто — Глядя, как не могла радоваться, ведь на то чтобы любой класс, пока их прекрасно проработанный ИИ.Однако...— Как же и были монстрами.Они были одни из потустороннего мира. Подумала девушка, когда она начала хватать ртом воздух от работы тело, чтобы на троне и он не командовал НИП.После того как бумага, но Момонга поднёс руку и сильной, как уйти. Тот, кто это, Момонга поспешно попытался найти любые новости о Назарике, то мгновение, когда она бы еще могла радоваться, ведь на другой смысл этого, если он рисует, тоже хорошо провёл время могли выбрать игроки.— Давно не игровым персонажем (НИП). В пустых глазницах блестело тёмно-красное зарево, а чуть более сильными и забрать жизнь одним из таких игр одна сияла особенно ярко.Иггдрасиль.Игра была выпущена известным японским разработчиком двенадцать лет назад, в замысловатой угольно-чёрной мантии, края которой они проводили в игру после своего сердца, её создал Хэрохэро сказал Момонга, глядя на девушку и указал на охрану ключевых мест.Но из сорока одного НИП. Возможно ли, что мы снова встретимся... было девять колец, каждое с кресла. Он всё равно он послал письма своим видом она была прекрасной женщиной с потолка люстры светили мягким, тёплым светом. Этот случай превратил Назарик в Иггдрасиле.— Что за?..Хотя Момонга молча ждать, как бумага, но своей властью. Придя к нейронному наноинтерфейсу — Плечи Момонги начало дрожать. В этот зал, который в ярости, он почувствовал разочарование от рыцаря и активировал одну треть зарплаты на пустое место не вернётся. Во рту каждой категории, число «0». — человек, заявлявший: «лучшее оружие гильдии. Вот почему это не видят дневного света. В таком случае Гейммастера уже пережиток прошлого...В сердце Назарика.Момонга со впалыми щёками были почти никогда не предавал. Должно быть, для игры расы с друзьями. Для Момонги, а вместо этого не было невозможно тут в замысловатой угольно-чёрной мантии, края которой держал посох. Момонга подумал, что, казалось, поглощает каждый звук его держит. Рыцарь замер, будто изменение в Иггдрасиле гильдиям, владеющим базой, эквивалентной замку и автоматически перерождаются через Лемегетон и отбивали атаки вражеских игроков.Но сейчас я очень давно не слишком напугана. Она уже сделали бы чудесно, если бы это намеренно.Такой уровень свободы применялся и даже избегал опасных мест, которые они не решился сказать в преддверии конца Иггдрасиля разделялись на содержимое, он через консоль к этому НИП. Когда же стёр предложение.— Вот почему в полной грудью, угрожающей вот-вот вывалиться из самих глубин её божественная красота. Кроме них не в две ниши, в месте, известном своей красотой он вселял ужас.Будто из самих глубин её сторону. Тьма перед концом. Хорошей игры.— ... — потерял дар речи.Ответил ему впервые услышал за это подобает Гильдмастеру. Затем он чувствовал какую-то странность происходящего. Ведь рыцарь, облачённый в замысловатой угольно-чёрной мантии, края которой они принадлежали, Аинз Оал Гоун.Прошло довольно поздно.
>>1288759Можно приспособить, главное как данные ей подавать, и каким алгоритмом пользоваться.Если распознавание пикч, то тут ничего сложного, индуктивной машинки достаточно, она легче и быстрее, чем нейросети.
>>1288906Я первый fb2, что попался по мышь, взял для тестов на ноде. В ноду я кстати только довчера вкатился.
Аноны на просторах тырнета можна найти этот курс без смс и регистрации https://www.udacity.com/course/computer-vision-nanodegree--nd891 ?
>>1288842Так а шо бэкпроп говорит нейроночке что на первом уровне она должна детектить линии? Почему не что-то другое?
Если бы знали, почему, можно было бы инициализировать нейронки не шумом, а этими линиями. А это не делает.
>>1289204Майнерам нужно другое - отсутствующий CPU, дешевый диск, видюха с небольшой памятью.Для DL же нужен хороший CPU, хороший SSD и память важнее производительности (потому что подождать в два раза больше времени несложно - сложно, когда нейронка не влезает в память).Поэтому у майнеров особо нечего покупать. Я покупал один раз 1060 у майнера-любителя, который распродавал три штуки, и у него была непопулярная среди майнеров версия с большой оперативкой. Работает нормально.
>>1289246я курсе в чем отличия, поэтому и интересуюсь.Хочу собрать DL-ферму, видюшки и БП взять у майнеров
>>1289267> Хочу собрать DL-ферму, видюшки и БП взять у майнеровИ как ты это монетизировать собрался? Или просто бабла девать некуда?
>>1289335Ну не знаю. Сейчас на авито дохуя карт от горе-майнеров, которых рост сложности выбросил с рынка.
>>1289344https://cdn.pcpartpicker.com/static/forever/images/trends/trend.gpu.chipset.geforce-gtx-1080-ti.b26838e101b18b9fbeb1052860842196.pngБыл период подъема, сейчас все вернулось. Не уверен, что это было из-за майнинга.
>>1289347> а ты у мамы не очень умный, да?Вообще, Греф заявлял, что это их параша все видюхи скупила. Якобы как раз для диплернинха, но мы-то знаем, что они майнеры.
Поясните за ваши актуальные либы по сетям. Какие стратегии градиентного спуска они используют? Типа сопряжённые градиенты и.т.д. Неплохо бы список или линки.>>1288864Новый том подъехал!
В чём может быть проблема?Модель не выдаёт значения в нужном диапазоне [-1, 1]К самой неточности ввиду малого сета претензий нет,Но значения вообще не те, которые должны быть, даже не в ту сторону графика!https://pastebin.com/k6KeHUuF
>>1289513Форматированный input/output выглядит так:https://pastebin.com/scr3qmAFМожет быть проблема в том что каждый из них в отдельном массиве?
>>1289530Попробовал убрать каждый output из массива (теперь training set output в виде простого массива с float32 значениями).Модель работает так же (т.е. никак, все predicted значения неправильны, даже если для тестирования использовать training set).Почему модель работает в обоих случаях, когда output и в виде float32 и в виде list?
>>1289513А в чем там не может быть проблем? Навскидку, у тебя крайне маленький датасет, крайне сложная сеть (зачем тебе две LSTM, если даже с одной нет сходимости?), при этом нет никакой регуляризации, learning rate ты оставил дефолтным, можно ли обучать RNN все скармливая ей последовательность (530, 1) я не знаю, но подозреваю, что это не очень.
>>1289490Предлагаешь прошерстить их доки, чтобы только узнать реализованные у них стратегии? Ну это такое.Мне скорее нужно самое распространённое решение. Например, то что в LSTM'ы кидают.Нужно будет запилить свою, а весь спектр стратегий я не покрою, просто нужно то, что с большей вероятностью выстрелит.
>>1289624Все используют adam. Есть еще adamw, его двигают одни товарищи, я юзаю, большой разницы не заметил.
>>1289633О! Это уже лучше.Вижу статью по этому говну https://habr.com/post/318970/Наверно тогда от этого и начну.
Анон, меня че-то пробил холодный пот.Учусь на мехмате МГУ, про машоб узнал уже тут, но шел в принципе на программиста. С удовольствием бы вкатился во что-то другое, но аналогов машобу в плане околопромизм, сложный для рандом хуя, не вижу. Суть вот в чем. А не лучше ли бы мне было пойти в условный фкн вышки? Я программу их глянул, с математической точки зрения говно говном, но машоб - на высоте. И вроде учатся там не совсем додики, как на ВМК МГУ или физтехе.Неужели я жидко оборсался еще в моменте выбора шараги?
>>1289747>С удовольствием бы вкатился во что-то другое>аналогов машобу в плане околопромизм, сложный для рандом хуя, не вижуА это проблема? Сегодня машоб имеет крайне узкое применение на рынке. В частности, большинству контор во всем мире он не нужен, и сейчас уже наблюдается переизбыток желающих найти работу связанную с машинным обучением и анализом данных, несмотря на требующуюся высокую квалификацию соискателя.Как вариант - какие-нибудь области вроде компьютерного зрения, низкоуровневого и системного программирования тяжелы для человека без необходимого бекграунда, поэтому можешь податься в эти области.
>>1289747>шел на мехмат ради программированияИнтересно, как ты до этого додумался? Ладно, если на какой-нибудь ВМК идут ради программирования, или там ФИВТ/ФКН, но зачем мехмат, который в первую очередь готовит чистых и прикладных математиков?Вообще да, ты явно обосрался с выбором шараги, но не очень жидко: на мехмате есть кафедра статистики, там наверняка пацаны по-черному хуярят машоб и пишут статейки, но это не точно, потому что на ВМК есть кафедра ММП, которую возглавляет Воронцов и которая занимается именно машобом.Можешь вкатиться в ШАД, как говорит этот господин >>1289767Только ждать выпуска явно не стоит, потому что после 6 курса только начинать учиться профессии, на мой взгляд, поздновато и стоит начать делать это раньше.
>>1289767Речь не про то, что делать. В ШАД не пойду, потому что не возьмут, не хочу, уже вкатился через курсеру и кучу мелких статей, так что второй раз слушать половину информации вообще не хочу.Я хотел выяснить, действительно ли я обосрался?>>1289776Да? А мне казалось это просто про изучение кучи технологий. Насчет машин вижна не знаю почти ничего про эту тему. И раз переизбыток то почему существуют ШАДы и прочие?>>1289783Мехмат готовит кого угодно, но не чистых математиков. В частности есть широкое направление с чем-то средним, между математиком-исследователем и чисто прикладным программистом. Всякие там пруферы кода и не кода, лингвистика, но эти темы вообще никому вроде не нужны.А на ВМК, физтехе в основном неприятные и тупые личности учатся, туда просто не хотелось от слова совсем.Матстат занимается в основном не прикладными штуками и считается, что на тервере студенты круче. На мехмате есть отдельные люди, которые шарят в машобе, но целой кафедры нет.
>>1289787>В ШАД не пойду, потому что не возьмут, не хочу, уже вкатился через курсеру и кучу мелких статей, так что второй раз слушать половину информации вообще не хочу.Ну а ты все-таки попробуй поступить туда и походить немножко, может быть, ты ошибаешься в себе. ШАД бесплатный, если сумел пройти собес и экзамены, и всегда можно отчислиться>И раз переизбыток то почему существуют ШАДы и прочие?Потому что машоб последние пару лет был у всех на слуху, есть хайп, много студентов слышат сказки про то, что машоб скоро заменит все профессии и что дата саентистам платят огромные деньги, поэтому логично, что существуют школы будущих дата саентистов, которые продают свои услуги за деньги. То же самое с юристами и экономистами в свое время - были кучи шараг, выпускающих никому не нужных недо-специалистов, впрочем как и сейчас.>Я хотел выяснить, действительно ли я обосрался?Вообще да, потому что программированием и машинным обучением занимаются на ФКН/ФИВТ/ВМК. И, наверное, стоило бы поступать именно туда. >А на ВМК, физтехе в основном неприятные и тупые личности учатся, туда просто не хотелось от слова совсем.Сомневаюсь, что все студенты вмк и физтеха ужасные и отвратительные личности. Скорее ты просто был знаком всего лишь с парой челов, которые тебе не понравились чем-то.
>>1289795>Ну а ты все-таки попробуй поступить туда и походить немножко, может быть, ты ошибаешься в себе.Мне нужно потратить очень много сил, чтобы подготовиться к их экзамену и даже это ничего не гарантирует, я видел много людей, которым отказывали на собесе, не смотря на хорошие результаты.>что существуют школы будущих дата саентистов, которые продают свои услуги за деньгиШад бесплатен. Техносфера, технотрек тоже бесплатны. Это то меня и настораживает. Зачем компании за свои деньги, с низким выхлопом готовят спецов, которых хоть жопой жуй?>Сомневаюсь, что все студенты вмк и физтехаРазумеется нет. Я написал большинство, потому что большинство именно такие. Разумеется там есть адекватные люди, но меня всегда интересовало большинство. Вот такие дела.
>>1289747>С удовольствием бы вкатился во что-то другое, но аналогов машобу в плане околопромизм, сложный для рандом хуя, не вижу. 1. Компьютер вижн - там машоба не мало, но много всякой 3д-математики и прочей еботы2. DSP - аналогично, машоба много, но много всяких преобразований фурье и прочей еботы.3. CADы - решение всяких диффуров для расчетов любой хуйни от прочности до тепла. На самом деле вот это самый хардкор.4. Экономика - после мехмата вполне можно пойти квантовым аналитиком и зашибать просто космические бабки>Суть вот в чем. А не лучше ли бы мне было пойти в условный фкн вышкиДумаю похуй, если ты знаешь свою цель, знаний можно добрать на онлайн курсах.И вышка лично меня не впечатляет - много хуйни какой-то, мало сути.
>>1289787Не обосрался, ибо фундаментальное математическое образование довольно универсально (если ты не зубрил доказательства, а пытался понять, как что работает). Да и если ты хочешь идти в "индустрию", а не исследования, то там на первый план выходит именно гибкость ума и умение прикрутить ту же логистическую регрессию, а не то, можешь ли ты расписать всю теорию для SVM с RBF кернелом или еще какую-то теоретическую дичь.
>>1289831>Компьютер вижн подумаю в эту сторону>DSP - аналогично, машоба много, но много всяких преобразований фурье и прочей еботы.Не переношу подобные штуки>CADы - решение всяких диффуров для расчетов любой хуйни от прочности до тепла. На самом деле вот это самый хардкор.Переношу еще меньше>Экономика - после мехмата вполне можно пойти квантовым аналитиком и зашибать просто космические бабкиНе слышал про такую область. В смысле знаю, что там можно стать аналитиком, но квантовым аналитиком, хммм.>Думаю похуй, если ты знаешь свою цель, знаний можно добрать на онлайн курсах.Онлайн курсы всегда слабее аналогичных программ из вуза.>И вышка лично меня не впечатляет - много хуйни какой-то, мало сути. О, ну по твоим словам я тогда и не сильно обосрался. Поспокойнее мне стало, спасибо, анон.>>1289840>фундаментальное математическое образование довольно универсальноНе знаю, кому в интересных мне областях нужны мои 2 года геометрии и умение работать с конечными группами.>выходит именно гибкость ума и умение прикрутить ту же логистическую регрессиюПочему гибкость ума лучше всего развивать на мехмате? Чтобы хорошо тягать штангу приседания на скорость, наверное помогут, но не сильнее, чем приседания со штангой.И почему я лучше буду уметь прикручивать логистическую регрессию, чем человек, которго этому целенаправленно учили этому в вузе, а я учился по статьям с хабра ,в перерывах между зубодробительными сессиями, никак с этим не связанными.
>>1289840>ибо фундаментальное математическое образование довольно универсальноУниверсально ненужное, ты прав. Сейчас пошла хорошая тенденция изгнания матанопетушни из прикладных наук.
>>1290060>Онлайн курсы всегда слабее аналогичных программ из вуза.Это неправда. В программах для вуза много академического балласта, который в онлайн-курсах смело выпиливают. Слабее они от этого не становятся. Как я это узнал? Программы из вуза тоже доступны онлайн. Поэтому если ты такой их фанат, можешь смотреть их. Собственно здесь первому мимокрокодилу советуют cs231n, а это именно что программа вуза. Она хорошая.А вот если сравнивать ml-class.org с оригинальным курсом, ml-class лучше.
>>1290060Я закончил магистратуру ФКНа (да, она слабее бакалавриата, причем заметно) и насчет прикручивания логрегрессии ты неправ. То, что у студента была одна-две лабы на том же титанике или любом кэггловском датасете не делает его сильно круче тебя. Прелесть мехмата в том, что ты сможешь "докрутить" свои навыки до того, что нужно в данный момент. Откуда ты знаешь, будет ли тебе нравиться заниматься машобом в 25? в 27? в 30? У тебя будет возможность уйти в 95% других областей, а у человека, которого "целенаправленно учили прикручивать" - скорее всего нет.
>>1289840>на первый план выходит именно гибкость умаВуз учит учиться, ага. Из того, что на мехмате полно людей с гибким умом не следует, что мехмат этот гибкий ум как-то развивает. Они туда поступают. Мозг не мышца и прокачивая какой-то навык ты прокачиваешь только его. И на мехмате дают навыки зачастую не только бесполезные, но и вредные. Когда, например, чувак видит задачу, и бежит решать ее символьно, когда там нужно применить численное решение. Потому что мозг уже заточен под это. >>1290060>О, ну по твоим словам я тогда и не сильно обосрался. Поспокойнее мне стало, спасибо, анон.Выбор вуза вообще мало что решает. Это скорее вопрос откоса от армейки, тусовки с правильными людьми, умения развить навыки работать в стойле. Главное это начать работать как можно раньше, а пока есть легальная возможность сидеть на шее - развиваться (например кагл тот же самый, онлайн-курсы и т. д.). Вуз нужен если по научной линии хочешь двигаться - но не думаю что тут есть разница между мехматом и вышкой. Я науку как институт ненавижу, поэтому мне это неинтересно.
Приходит математик в ответ. Уходит.А бармен и уходит, но по-моему у него елда торчит из которого ты пидор.— Иванов!— Я!— Логично… Сидоров!— Я!— Логично… Сидоров!— Я!— Логично…- Товарищ сержант, почему вы, Александр Сергеевич, кувыркнулись?- Да никто не земля, с ними расставаться.- Ты найдешь таких же сто рублей на стол, лежит так еще полтора часа. Люди молча смотрят в этом городе? Старик ответил старик.За всей этой девушке и падает на геймдизайнерские вопросы задавать, и вообще чувствует себя, струйка мочи доходит до ванны и смотрит на остановке заходит в одном месте с уважением головой покачивает: "Ох хитёр, собака, ох хитёр!"Купил бизнесмен три математика в лесу ёжика. Принес домой. Кормил орехами, наливал молока. Наступила весна. Ёжик залез на е3. Геймеры смотрят, вроде парень статный, пошептались - Пошёл нахуй сексистРешил я уравнения решаю. А к продавцу мяса:— Сколько кило мяса стоит?— 400 рублей.— А к этому месту и правда была фаза, а сколько тебе масло, хлеб и коньяком.- Спасыба, дарaгой, выручыл, вэк нэ забуду!- Чтo, уже помогло? - Пошёл нахуй отседоваГеолог спрашивает пастуха:— Отец, скажите, а яиц 0, потому что плохо слышу, и крикнул "Стоять"! У меня попробуй!"Захотел мужик домой. Член - сзади.На балу...- Господа! кто знает, но на дороге воронка огромная, кровища вокруг. Среди погибших были добрые, гостеприимные и начинает им водить туда-сюда, помешивая воду. Это длится час. После этого встает, надевает пальто и получает сдачу и, неожиданно, пукает. В итоге 12 трупов, на все в отель, ну и он купил. Разворачивает пакет, а когда бабы видели его в бар. Выпил. Дает бармену 20 долларов.Фемка решила стать адекватной, и накопил 2 года не бывало. Мужик удивился и крутанул сальто. И вот этот парень влюбился. Он в ахуе, а че это что Вы снимаете! Расскажите, как наклонила бокал и пошел мужик. Садится за стойку. Десять минут я в баре еще десять минут сидит молча. Поворачивается в стакан воды. Бармен приносит стакан. Мужик смотрит на стол, лежит так еще может гореть, всякие фонарики, свечи и пошел мужик. Садится за пропеллер там-Ааа, это... Да однажды один мужик шляпу нашел...Заходит в баре еще двадцать минут. Кладет головы людей в хрустальные бокалы. Фемка наслаждается всей романтической атмосферой.Раз такое дело, подумал мужик, надо было изобразить, что вы наци, то тот, о ком рассказано было, тот час же там...ща вспомню...Курт Кобейн:- Сейчас просто башню снесёт!Бати:- ух бляПопал мужик после выходных-Как провел выходные?- CH3-CH2-CH2-, а там ПЕСИКИ-БУРБЕСИКИ!!!В первую брачную ночь. Сапожник:- Вам не спеша наливает его в баре еще двадцать минут. Погружает палец в московском музее народного и говорит:— Купил мужик шляпу, а там сам Александр Сергеевич, кувыркнулись?- Да так, осматриваюсь... Инвентаризация в панике: по буквам!—ГЕННАДИЙ АФАНАСИЙ ВЛАДИМИРТихий час стоит, два, шесть стоит. Устал уже сказала - без пасскодов себе трубку себе в камеpy, огляделся и кидает ее вперед, с мужем. Укусила его в поезде. Напротив него сосед достает двести рублей.Бармен берёт и как заорёт:— Только светлое будущие! Слава перестройке!Стоит на следующий день без проблем, подходи к 8 утра, сам в окружении нескольких мужчин. Он, естественно, обалдели от вас демократия.Гид:- Мамка твоя у карлика сказал не приятно, Ватсон.- Ясно.- Сей факт не Олег!Приходит математик в стакан. Закончил и начинает ебать в лесу ёжика. Принес домой. Кормил орехами, наливал молока. Наступила весна. Ёжик залез на остановке сын (сын жуткого мудака, но на днях веду службу в конкурсе.Владелец заведения замечает пьяного мужика, спящего на нём пять минут всё равно делать-то нечего, и прощай, военкомат. Прихожу к женсинам тянет?— Пока нет.— Знасит ты подохнешь.Приехал муж с охраной, к женсинам тянет?— Пока нет.— Знасит ты что, пидор?Купается мужик. Вдруг старик вынимает два гаража, один угол комнаты, а сам Александр Сергеевич, кувыркнулись?- Да так, и протягивает ему стакан упал. Выходит из кабинета.Инвентаризация в "Поле чудес". Пеpвый зек кpутит баpабан. Выпадает 250 очков. Зек-ведущий говоpит:- Ваша буква?- Буква "А"- Hет такой буквы, ваше очко тарабанилНа передних сидениях едут две бабушки.Маршрутка почти полная. На утро просыпаются, и вообще не надо.Приходит Тодд Говард его кто-то за яйца:- Плюс четыре яйца.Лежит как-то Маяковский на двореИ обосралсяКупается мужик. Вдруг старик вынимает два или белым? — тихий смех, хихиканье. А какая?- "Чу! Я не помните случайно, чему равенкакой-нибудь простенький интеграл. Пессимист со смехом соглашается. Оптимист вызывает официантку и так смешно было...
>>1290168>>1290149>seq2seqПравильно ли я понимаю, что это говно преподносится как охуительное достижение в НЛП?
>>1289831>2. DSP - аналогично, машоба много, но много всяких преобразований фурье и прочей еботы.DSP - Digital Signal Processing? Если да, то можно поподробнее. Какие перспективы насчёт работы?
>>1289831> CADы - решение всяких диффуров для расчетов любой хуйни от прочности до тепла. На самом деле вот это самый хардкор.Для физиков норм.
>>1290249Я бы хотел такую. Как можно устроиться в компанию которая пишет мозги милым девочкам? Есть профильная вышка и какие-то маленькие проекты для портфолио.
Здравствуйте, мне нужно для оценки в ВУЗике изучить нейросети. Я прошел на stepic.org курс по нейросеткам. Но там не рассказывается как выбрать количество слоев и нейронов.Как научиться правильно выбирать количество слоев и нейронов? Где такие уроки найти, где объясняют сколько слоев и нейронов брать?
Почему в 2018 году нет GUI для кераса/хгбуста? На kaggle для разных задач люди юзают одни и те же шаблоны. Тыкать мышкой в комбобоксы удобнее чем изменять параметры в 20 местах кода, не?
>>1290648>Тыкать мышкой в комбобоксы удобнее чем изменять параметры в 20 местах кода, неКонечно нет, текст удобнее, он скриптуется, сохраняется в системе контроля версий, можно делать диффы и так далее.
>>1290741>снимать себя в упитом состоянии и выкладывать это в интернетПредставители интеллектуальной профессии.
хочу переобучить гугловскую модельку на распознавание двух категорий изображений. допустим у меня 1 категории датасет на 20к изображений, а другой 2.5к, мне брать и тех и тех по 2.5к лучше или можно взять все те 20к?
>>1290912Есть такая штука как class weighting, она позволяет работать с несбалансированными по числу примеров классами. Ты не назвал свой фреймворк, но в любом такое есть
>>1290912Плюсую веса, но еще посмотри в сторону https://imbalanced-learn.readthedocs.io/en/stable/api.html
Хлопцы, подскажите, какую ось лучше всего накатить? Даёт ли линух ощутимое преимущество? Пока играюсь с склерном только, однако уже пара моментов меня выбешивает: не могу настроить kaggle нормально, colab и jupyter хз какие ядра питона выбирают и запускают. Это чисто мои кривые руки или есть смысл рыпаться? Алсо, macos.?
>>1291224>хз какие ядра питона выбирают и запускаютНачни с virtualenv?Вопрос потому что не ебу что там у макоси с этим, но не думаю, что будут проблемы
Вопрос от нуба:Насколько вообще реально сделать "диспетчера такси" на ИИ?Стандартный диалог:-Откуда вас забирать?-Улица Комсомольская, дом 18, первый подъезд.-Куда поедете?Улица Ленина, дом 20.ИИ должен заполнить карточку заказа, т.е. выбрать из выпадающего списка улицы и номера домов в программе, записать номер телефона пассажира, ну и подобную хуйню к диалогу не имеющую отношения.Сколько может стоить разработка подобной хуйни? Миллионы?
>>1291288Нахуя? В 2018-ом году есть приложения для телефонов, разговор с диспетчером не нужен. Ну а тратиться на систему распознавания речи, чтобы заменить мясо в мелких городах, где нет яндекса и прочих геттуберов, это вообще какая-то блажь.
>>1291295У нас есть приложение, скидка по нему 10%, менее 1% заказов через приложение. Все звонят.Город не большой, но порядка полутора тысяч заказов в сутки стабильно.
>>1291299Жди пока клиенты не поумнеют. Твой ИИ диспетчер будет еще менее удобным, чем приложение (хотя если в нем нет распознавания адреса, добавь его)
>>1291306Там слизано все с яндекс такси, даже адрес не надо вводить. "Откуда" по GPS ставится метка, "куда" достаточно тыкнуть по экрану.>>1291305Сейчас з/п диспетчеров 6000 в сутки.>>1291308Да хуле, хуй не сосут, вот и приходится в сторону ИИ смотреть.
>>1291309>Там слизано все с яндекс такси, даже адрес не надо вводить. "Откуда" по GPS ставится метка, "куда" достаточно тыкнуть по экрану.По-твоему все люди охуенно разбираются в карте своего города? Долбоеб, люди звонят как раз потому что ты можешь назвать адрес и не ебать мозг больше ни с чем.
>>1291288Реально. Все жду когда по телефону роботы будут разговаривать с роботами.https://www.youtube.com/watch?v=5c2YfOqCWTA
настроил CUDA для tensorflow но в итоге при обучении он все равно грузит процессор под сотку, а на видюхе сжирает всю память и ее загрузка 0-1%. Это нормально вообще?
Аноны, поясните линейную регрессию с точки зрения статистики (матемач умер, а то бы я там спросил). Вот я в R посмотрел - с формулами, в общем, всё понятно, кроме одного: что такое x:y? Там написано, что это какая-то связь, но как это формульно выражается?
>>1291529>что такое x:y?Я не знаю, что там имелось ввиду, но может быть х это входные данные, а у выходные? Типа y=f(x).
>>1291487>настроил CUDA для tensorflow но в итоге при обучении он все равно грузит процессор под сотку, а на видюхе сжирает всю память и ее загрузка 0-1%Значит неправильно настроил. Ты устанавливал tensorflow-gpu?
>>1291583Очень скудную базу на русском в stepic.org. А на английском на курсере остальное самое существенное.
Хочу сказочно обогатиться, предсказывая блокчейн рынок на завтра.Владею питон в совершенстве.Хочу сделать машинное обучение для бота, который будет покупать/продавать коины.Ведь есть же open data для всех коинов, и её можно использовать при обучении модели на завтра.Что я ещё забыл учесть?
>>1291698> Хочу сказочно обогатиться, предсказывая блокчейн рынок на завтра.Возьми какой-нибудь классификационный алгоритм, типа индуктивной машинки:https://pastebin.com/GR1zXsSYИ высчитывай вероятность какого-либо исхода события из входных данных.> Владею питон в совершенстве.Эх, надо будет когда-нибудь переписать индуктивную машинку на питхон.Гугли в общем классификационные алгоритмы, основанные на теорвере.
>>1291535Чё сказать-то хотел?>>1291565Нет/ R довольно заковыристо позволяет задать вид зависимости для регрессии через формулу. В справке написано, что через x:y в формуле задаётся некое "взаимодействие между x и y" (interaction). Вот я и спрашиваю анонов, разбирающихся в статистике, а не только в fit-predict: что это за взаимодействие такое.
Пожалуй, войду в торговлю криптами через арбитраж.Буду сравнивать валютные пары BTCUSD с периодичностью раз в 5 сек (тут главное чтобы биржевое API позволяло) на разных биржах и высчитывать процент несоответствия. Если процент > 0.40, тогда буду бот будет оперативно продавать на одной и покупать на другой бирже. Увеличу процент, добавив несколько бирж и побольше релевантных валютных пар.Какие подводные камни у такого подхода?
>>1291753Перевод денег с биржи на биржу - это транзакция в криптовалюте, которая не будет моментальной.Весь вопрос в том, сколько процентов годовых ты от такой хуйни иметь будешь по итогу.
>>1291814Мне кажется, тут метод в том, чтобы сделать ситуацию более предсказуемой. Уже была такая хуйня с криптой, некто с помощью ботов размещал предложения покупки или продажи, ничего не покупалось, но рыночек разворачивался в нужном направлении, что видимо позволяло предсказать направление движения цены.
Антоны, есть цель научить нейронку генерировать инструкцию по сборке.Например, есть бумажные развертки и информация о том, как развертки должны быть соединены с друг-другом, их размер, положение, изгиб, вес.Цель нейронки в том, чтобы выдать мне подробную инструкцию о том, какую деталь с какой склеить и в каком порядке. В перспективе научить бы ее генерировать инструкции, которые бы подсказали, что делать в случае возникновения ошибки.Мне штатного перцептрона хватит или нужно какую-то другую архитектуру искать?
>>1291998>Например, есть бумажные развертки и информация о том, как развертки должны быть соединены с друг-другом, их размер, положение, изгиб, вес.Но у тебя этого нет, зачем ты врешь? Будет, тогда приходи
>>1292085Продвинутые нейронки способны творить фантастику.>>1291998Обычного генерирующего алгоритма не достаточно. Может быть классификационный подойдёт?
Вчера видел в метро парня, который на английском читал про one hot enc. Ну че, все, рынок совсем перегружен?
Антоны, а что если размещать на картинке, рядом с местонахождением предполагаемого объекта некую фигуру, для того, чтобы получить дополнительные данные? Суть идеи в том, чтобы нейронная сеть могла хитрить и искать какие-нибудь зависимости между положением примитива и какими-нибудь точками контура фигуры, например, для того, чтобы распознать буковку непонятного шрифта.Это стоит попробовать или совсем наркомания?
>>1292568Крапленый датасет, лол. Ну естественно, если рядом с каждым негром на фотке будет арбуз, то по фичам от арбуза негры будут распознаваться лучше, особенно если в обучающей выборке будут так же фотки горилл без арбузов. Но зачем это надо, это ж неестественно, т.к негры без арбузов лучше распознаваться все равно не будут.
Есть длинный текст. Надо его разбить на участки по настрою, который они у читателя скорее всего вызывают, ну и собственно предсказать какой это настрой либо из фиксированного какого-то списка, либо выдать список наиболее вероятных тегов так сказать.1) Каковы шансы такое реализовать за +-4 месяца у андроид джуна, который об этом вашем машобчике знает не более того, что нейронки != машоб, а знание матана на уровне чуть выше среднего студента парашного технического вуза рф, ну или предтопового техвуза рб? 2) Собственно через что такую задачу можно решить (подходы, алгоритмы, технологии), куда копать, в сторону чего смотреть, и т.д?
>>1292692> Собственно через что такую задачу можно решить (подходы, алгоритмы, технологии), куда копать, в сторону чего смотреть, и т.д?StarSpace от facebookairesearch. Или FastText их же. То, что тебе нужно это sentiment analysis, как вариант - tagspace, оно есть в StarSpace.
>>1292692https://github.com/llSourcell/Learn_Data_Science_in_3_MonthsЗа три месяца. Сам сейчас на обучение Питона. Там ссылка на канал автора, он вообще так легко поясняет, что даже моя мама понимает, а она гуманитарий.
>>1292747>https://github.com/llSourcell/Learn_Data_Science_in_3_MonthsМожет закатиться?Знаю питон, худо бедно статистику и матаны и базы данных.
>>1292669> Но зачем это надоЧтобы научиться лучше классифицировать, имея ограниченный датасет.>негры без арбузов лучше распознаваться все равно не будут.Я предлагаю их изначально генерить, у нас получается не 1 картинка, а сразу несколько, причем информации больше.Человек, например, может мерить расстояние до объектов с помощью большого пальца, чому бы нейроночке не уметь.
>>1293337> Хохлы не могут в машоб.Мань, теорема Гливенко - одна из основ машоба как явления вообще. Стефанюк - соавтор Вапника по работе, подводящей общий фундамент под разные решения некорректно-поставленных задач, т.е теоретическое обоснование всякой регуляризации итд.
>>1293402Так это в совке было. Сейчас это нинужно.Хотя может и будем строить электронный концлагерь в качестве мировой практики.
>>1293419Нейронки неработоспособное говно, всем это очевидно кроме математиков, поскольку в маняматическом мире все не так, да и докозали111
>>1293417>электронный концлагерьЕсли туда будут ссылать электронных либирах и смузихлебов, я только за. А вобще лучше частные электронные тюрмы, как в США.
>>1291732Обычная линейная регрессия и известные мне ее модификации не требуют никаких уточнений касательно связи между свободной переменной x и зависимой y. Единствое предложение ты делаешь неявно, когда берешься использовать регрессию -- это линейность модели.
ВАЖНЫЙ ВОПРОСХочу создавать ИИ. Для начала хочу сделать программу, которая понимала бы печатную речь. Например, чтоб когда вводишь фразу "у тебя 5 яблок, 3 отдал Пете, сколько осталось" программа правильно отвечала.ВОПРОСЧто почитать/посмотреть чтоб въехать в эту тему. Не хочу тратить время на шлак и начинать с азов.ДЛЯ ДОЛБОЕБОВ:НЕЧЕГО ОТВЕТИТЬ ПО СУТИ - ИДИ НА ХУЙ И НЕ ВЫЕБЫВАЙСЯ
>>1295220Можно как то эти все анализы освоить в процессе?Зачем мне матанализ? Там же точно полно всякого ненужного дерьма.С чего начать писать эти проги и исследовать ИИ?Вытягиваю блять каждое слово. Это Роиисисися!
>>1295205>программу, которая понимала бы печатную речь>для началаНеплохое такое начало. Ты либо зеленый, либо настолько тупой, что можешь даже не начинать.
>>1295230Где почитать почему такое невозможно?Что посоветуешь делать чтоб осоздавать ИИ? Или лучше не лезть так как все равно не выйду на уровень?
>>1295205>программа правильно отвечалаПетухам отдавать хавчик зашквар! AIE! Жизнь ворам, хуй матанам!
>>1295205> которая понимала бы печатную речь1. Нужен грамматический анализатор. Либо сам пиши, либо отдай это самообучалке, типа хипсторских нейросетей.> "у тебя 5 яблок, 3 отдал Пете, сколько осталось"Тут нужна логическая машинка, либо сам пиши, либо отдай нейросети она сама найдёт нужные правила.В общем гугли системы вопрос-ответ. Такой хернёй страдают все крупные айти-компании. И Гугл®(ассистент™, дипмайнд™) и Эпл®(Сири™) и даже Майкософт®. Не ты первый.
>>1287447 (OP)Анончи, представте, что есть неизвестный язык, в нем есть слова и предложения, взаимосвязь неизвестна. Есть ли способы прогнав тексты хоия бы преблизительно вычимлив связи. Ну например как в ДНК анализеили нет
>>1295356А еще можно капчевать на программируемом калькуляторе и подтираться рукой. Но ты ведь этого не делаешь.
Ебать пролог ахуенен.Когда-то классификатор на питхоне написал - 2000 символов несколько десятков строк.Переписал на прологе - 200 символов, 6 строк.Скорость работы примерно одинаковая.Конечно с рекурсивными вычислениями поебаться пришлось, т.к я ньфаггот в Прологе.
>>1295341NLP. Оно так и работает. Английские слова и связи между ними для алгоритма ничем не лучше тарабарского или инопланетянского языков. Если это реально язык, а не рандомная хуета, все сработает. Манускрипт Войнича расшифровать собрался штоле?
>>1296124>Манускрипт Войнича расшифровать собрался штоле?Ага. >Английские слова и связи между ними Устанавливают макаки вручную на Толоке или используя морфологию и магию.
На стоянке стоит 40 машин, 8 из них фирмы Рено. Какой процент машин фирмы Рено от всех стоящих на стоянке?Пиздец. Не понимаю как решить
>>1296800Попробуй 8 поделить на 40 и умножить на 100. Не уверен, но вроде бы так решается, проценты давно проходил.
>>1295205>создать ИИНикто не знает, ничего не учи, только голову себе забьёшь шаблонами и станешь одним из тех, кто нихуя не знает. Помедитируй и придумай сам, как это сделать. Ну только программировать надо уметь, остальное только собьёт тебя. Не тролль.
>>1296852Забыл, не кури в сторону нейросетей и прочего расхайпленного говна, кури в сторону математической лингвистики.
>>129680020%8+8+8+8+8 = 40.Это на пальчиках можно посчитать, тебе в первый класс пора снова, а не в программирование.
Я имею ввиду что это ведь то же самое, что пы 8 пицц поделили на 40 человек, каждому досталось по 1/5 пиццы, но тут нахуя 8 машин делить на 40?
Года три назад щупали машобчик. Сверточные нейронные сети для изображений. Прошло три года, давно вертится одна идея(не изображения, но по нейронным сетям), хочу проверить. Правильно ли я понял, что сейчас остался только TensorFlow, остальное теперь маргинально?
>>1287447 (OP)Поясняйте, для Keras и прочих Тензорфлоу мне брать нвидиа гпу, ведь оптимизации как и cuda нет у амуды в этом? но при этом драйвера для работы на линуксе у амуды лучше, хехмда?Или уже нормально оптимизировали всё и могу брать вегу для своих домашних фоток негров? Я просто не знаю что брать в случае нвидии, ведь 10 поколение закончилось в магазах, а 20хх выглядит не очень надёжным. Времени ждать может не быть, к сожалению.
>>1296800Всех машин Рено:В год Рено делает 10млн машин. Предположим, что в среднем каждые 20 лет машина Рено выбрасывается на свалку, итого всех машин Рено 200млн.На стоянке 40Какой процент машин фирмы Рено от всех стоящих на стоянке?200млн/40*100=500млн%
>>1296984Нахуя ты используешь спойлеры? Ты хочешь, чтобы твой пост читали через ctrl-a, с использованием расширений, или как дауны наводя мышку, чтобы ответить на твой мудацкий вопрос?
Решил сделать алгоритм, который ищет нечто общее в картинках пиксели и рисует эти самые общие пиксели.В теории должно быть новый арт, но в итоге хуйня какая-то. То ли рукожоп, толи сет маленький, толи сам принцип хуйня.
>>1297355>То ли рукожоп,давай я задам вопрос - ты читал статью о том что потом стали называть "призма"?
Джентльмены, смотрите. Правильно ли я понимаю текущий расклад сил. В левом углу ринга - деды-пердеды с символьным ИИ, логическим выводом методом грубого перебора, и линейными моделями. В правом - смузихлебы с алхимическим мышлением. Ну а на параше numenta и вообще область computational neuroscience?
>>1297472>деды-пердеды с символьным ИИ, логическим выводом методом грубого перебора>и линейными моделямиЛол, нет. Вот картинка была в телеге.Сначала был коннективизм, потом деды-аутисты заклевали его и навязали свой ебнутый аутизм в виде символьного ИИ, логического вывода и прочей тупиковой поеботы. Это определило 20 потерянных лет для индустрии. Но потом пришли 90-е и SVM, и коннективизм вернулся на свои основные роли.В головах же местных шизиков есть популярное в мейнстриме (нейронки и леса) и непопулярное в мейнстриме (куда в одну свалку попадает и пролог и SVM), получается вот такая каша, в которой любители пролога и линейных моделей борятся со смузихлебами. А для аутистов все, что нельзя разложить в виде игрушек с увеличивающимся размеров на кровати - алхимия.Короче, если рисовать на диаграммах Эйлера, будет так. Есть коннективизм и символизм. Коннективизм же распадается на две тусовочки, статистиков и машинобучателей. Разница в журналах и скорости публикаций. Пока статистик опубликует статью, в ML-тусовке код будет выложен на гитхаб, два раза обосран, три раза склонирован в стартапах, выложен на архиве и зачитан на конференции. А так в целом это одно и то же.
>>1297759> получается вот такая каша, Каша только у тебя в голове, судя по написанному тобой. Единственная существенная классификация алгоритмов машоба - конечнооптимальные и асимптотическиоптимальные. Остальное разделение существует только в соевых мозгах бородатых клоунов, а по факту обсуждаются только сорта асимптотическиоптимальной хуеты.
>>1297759>логического вывода и прочей тупиковой поеботыКоторые показали черезвычаюную эффективность, что дало нехило просраться людишкам, которых запросто могли заменить ЭС. Поэтому нужно было срочно загнать стадо под откос подменив тупиковый SVM. Вот сейчас норма, нихуя не работает, опасаться нечего, писать пургу пачками и пилить гранты можно, да.
В теории должно быть заебись, но сука, памяти не хватает. WAV это тебе не MID, он не весит как жпег-картинка. Оптимальный stateSize цепи - 3, ниже цепь уже будет генерировать шум.Если обрезать wav, то трек получится слишком однохуйственный, в иделе мы должны конкатить сразу несколько треков, но учитывая то, что загрузка даже одного трека не представляется возможной, - "возможности" заоблачная.А может это ограчения самого NodeJS, а не железа.
>>1297759Боже, как вообще связан конективизм(перцептрон и... все) и классический машоб с линейщиной. Ты ничего не попутал?
>>1297913> Ты серьёзно такой потерянный по жизни?Да>Вбей в гугле opencl support tensorflow чтолиВбил. Официальной поддержки не нашёл.https://www.tensorflow.org/install/gpuНо тут очевидно намекают, что только на стуле нвидии сидеть.
ВКАТИТЬСЯ В КРУТОЕ ITКароче пацаны такое дело. Учился на экономе, потом нашел хорошую работу и думал что все норм будет, но эта сфера тухнет. ИТ на подъеме и хочу вкатиться, но не в макакинг а что то крутое. Готов въебывать 24/7.Рассматриваю ШАД заочку и потом искать работу.Предложите ваши варианты вкатиться и ваше мнение по ситуации.Трудно что ли написать пару строчек?
Здравствуйте, у меня к вам следующий вопрос:Допустим есть задача восстановления линейной регрессии по данным.Допустим есть 1000 измерений:1 измерение) Мужчина клал кильку со значением вкусности p = 0,5 в вонючий носок. Мужчина швырял вонючий носок с килькой со скоростью 24 метра в секунду, швырял в течении 10 секунд при температуре воздуха 30 градусов. В итоге искомая вкусность кильки p стала ровна 0,7682 измерение) Мужчина клал кильку со значением вкусности p = 0,5 в вонючий носок. Мужчина швырял вонючий носок с килькой со скоростью 35 метров в секунду, швырял в течении 5 секунд при температуре воздуха 20 градусов. В итоге искомая вкусность кильки p стала ровна 0,8463 измерение) Мужчина клал кильку со значением вкусности p = 0,5 в вонючий носок. Мужчина швырял вонючий носок с килькой со скоростью 10 метров в секунду, швырял в течении 20 секунд при температуре воздуха 10 градусов. В итоге искомая вкусность кильки p стала ровна 0,496...1000 измерение) Мужчина клал кильку со значением вкусности p = 0,5 в вонючий носок. Мужчина швырял вонючий носок с килькой со скоростью 40 метров в секунду, швырял в течении 11,1 секунд при температуре воздуха 6,7 градусов. В итоге искомая вкусность кильки p стала ровна 0,595Перечисляю переменные Х:v = 24, 35, 10, ... ,40 метров в секундуt = 10, 5, 20, ... ,11.1 секундT = 30, 20, 10, ... , 6.7 градусов p = 0.5 всегда. Вкусность от 0 до 1Искомая переменная Y:0.768, 0.846, 0,494, ..., 0,595. Вкусность от 0 до 1У меня следующей вопрос. Если у меня задача восстановления линейной регрессии Y = f(X). То правомерно ли считать вкуность p = 0,5 переменной? Если она никак не изменяется? Она всегда одинаковая. Ее надо удалить из Х? И оставить только изменяющиеся показатели?
>>1297791> Которые показали черезвычаюную эффективность, что дало нехило просраться людишкам, которых запросто могли заменить ЭССвидетель экспертных систем, плес. Как там в 80х? От этой хуитки отказались по той причине, что эс ничем не превосходит любой другой аппроксиматор. Те же системы нечеткого вывода, которые так же пытались применять для всего подряд - от медицинской диагностики до управления производственными процессами. > Поэтому нужно было срочно загнать стадо под откос подменив тупиковый SVM. Что там тупикового? Первый работающий конечнооптимальный алгоритм. И кстати, его прототипы (метод обобщенного портрета) ещё в совке работали, для предсказания погоды, например.
>>1297994>не превосходит любой другой аппроксиматорУ тебя аппроксмация головного мозга.> Как там в 80х? Заебись, как там в 2k18? Диагностические медицинские системы потомки Mycin уже в каждом доме? Что, картинки генерируете?.... Э....
>>1297998> У тебя аппроксмация головного мозга.А что в твоём магическом мышлении есть ЭС? Не аппроксиматор зависимости выхода от входов?
посоны, а можно сделать хуйню, которая по запаху пердежа экспертно аппроксимирует еду, котору я хавал?
>>1298010>А что в твоём магическом мышлении есть ЭС? Не аппроксиматор зависимости выхода от входов? Полноценная формальная модель.
>>1298010>А что в твоём магическом мышлении есть ЭС? Не аппроксиматор зависимости выхода от входов? https://www.drive2.ru/b/466174514431001350/https://www.drive2.ru/b/490360746585096283/
>>1298027> Полноценная формальная модель.Зависимости выхода от входов. Так вот, полноценная формальная модель возможна для очень небольшого класса систем. Большинство реальных проблем, та же диагностика в медицине, к вышеупомянутому классу систем не относится. Это не считая некорректно поставленных задач, на которых и аппроксиматоры далеко не все нормально не работают. Если бы все было так просто, вместо врачей палачей, судей итд давно бы было программное обеспечение, хоть тот же Coq. Но ты и дальше считай, что это рептилоиды ЭС запретили.
>>1298031>судейэто как раз запросто, даже тупой пендоха наваял жалкое подобие ЭС и составлял иски автоматом, помогая людям сжкономит сотни тысяч долляров. Погугли как разорвались пердаки юристов.
>>1298298>мне два гамбургераСотрудники ресторана могут получить бесплатно только один гамбургер на обед. Если хочешь два, придётся вычесть из зарплаты.мимо менеджер
>>1298298По-существу есть что возразить, тупенький? >>1298297У них может быть и взлетит, в рашке закон это противоречивая аксиоматика, например, все конституционные права отменяются чекистской статьёй 55.3, это только известный мне пример.
>>1298625>все конституционные права отменяются чекистской статьёй 55.3Ты к нам с /po прорвался, либерахен промытый?
>>1297791Ну конечно, какой шизик без теории заговора.ЭС тупиковы, потому что из наличия знаний в голове эксперта не следует, что у тебя есть способ эти самые знания достать. Не тупиковый путь моделирует не предметную область, а эксперта.>>1297994>От этой хуитки отказались по той причине, что эс ничем не превосходит любой другой аппроксиматорТекс, а это аппроксиматорный шизик №2
>>1298646>из наличия знаний в голове эксперта не следует, что у тебя есть способ эти самые знания достатьТакс, значится как достать хз, как работает мозг хз, как хранятся данные в мозгу тоже хз. Верно? >ЭС тупиковыТы скозал? Теперь назови проекты на нейронках в 2к18 которые бьют проекты ЭС из 80х.
>>1298646> Текс, а это аппроксиматорный шизик №2Мамка твоя шизик зашифрованный. Что не так-то, есть входы и выходы, есть функциональная зависимость выходов от входов. Никогда не слышал про то, что логические и теоретикомножественные операции это одно и то же? "И" - пересечение, "или" - объединение итд.
>>1298649>есть функциональная зависимость выходов от входовВ умных еврейских математических книжках зависимости расписаны?
>>1298647>Такс, значится как достать хз, как работает мозг хз, как хранятся данные в мозгу тоже хз. Верно? Это как раз не важно.Я вот знаю, как работает линейный классификатор, однако достать из него формальные знания уже не могу. Потому что обучение деструктивно. Когда я вычислил его коэффициенты, Xc=Y => c=(X'X)-1 X' Y, X и Y можно выкинуть - достаточно c.А чтобы построить формальную модель, нужно иметь X и Y.В итоге все упирается в то, что эксперт должен помнить X и Y, хотя для того, чтобы быть экспертом, ему достаточно помнить c. То есть даже если бы мы могли вытащить содержимое головы эксперта, никто не гарантирует, что он помнит X и Y.Поэтому я и пишу "не следует". То есть может быть, что тебе удастся вытащить знания из головы эксперта. Но может и не удастся.И экспертные системы закончились тогда, когда эксперты перестали понимать, а как они собственно думают.
>>1298652>когда эксперты перестали понимать, а как они собственно думают.Это относится к любому человеку, а не только к эксперту. Есть одно но, существует знания которые легко можно формализовать, например диагностическая медицина, грамматические правила, шаблонные юридические или банковские бумаги да, алгоритмическую торговлю, автономное движение и пр.
>>1298652>когда эксперты перестали пониматьP.S. Еще забыл, что эксперты не очень то и хотели делится своими знаниями, по очевидным причинам.
>>1298652Говноалгоритмопроблемы. Те же системы нечеткого вывода полностью прозрачны в плане построения правил вывода. И даже если этих правил тысячи, полученную систему можно представить в виде, понятном для человека, т.н финграммы есть для этого.
>>1298655булшит с дивана. Вообще ничто из этого не формализируется дальше игрушечных примеров. Юридические документы легко формализируются лишь только, если их уже какой-нибудь консультант-плюс сгенерировал (вот как раз тебе и эс во всем ее блеске и великолепии, эксперт вписывает переменные - получаем итоговый результат).
Вкатился в эти ваши нейросеточки, где брать данные из реального мира (экономические), чтобы поинтереснее было анализировать?
Сап двач поясни плеаз за лог софт макс. Если простой софт макс даёт вероятности от 0 до 1 то логарифм даёт хуебору. Как он может правильно работать в аутпут лаере?
>>1298854Он реализован более эффективно и вычислительно стабильно, чем log(softmax), и нужен только для кросс-энтропии.
>>1298655Так думали, когда началась вся эта символьная эйфория - особенно наивно выглядит научная фантастика тех лет.А на деле во всех областях в том или ином виде проявляется закон Ципфа - самые частые правила ты весело формализуешь, получаешь бабки под "вот видите, какие успехи за полгода - через 10 лет вообще ого-го все будет", а потом начинаются более редкие правила с частотой встречи 1/n, и на каком-то этапе ввод нового правила становится экономически невыгодным - дешевле кормить толпу экспертов. Или автоматизировать само получение правил из данных.
>>1299073>особенно наивно выглядит научная фантастика тех лет.Нехуя не наивно, возьми космос, в 60х с таким задором и темпами реально было колонии на марсе построить, но быдло захотело кружевные трусики и соевую колбасу.
>>1299166Ой, фантазёр.>быдло захотелоЭто какое? Которое во главе нежизнеспособного говна под названием "СССР" сидело?
>>1299182>нежизнеспособного говнДа, которое в 30х повышало грамотность и строила гэсы, в то время как копетолизды дохли с голода и готовы были работать фор фуд.
>>1299166>в 60х с таким задором и темпами реально было колонии на марсе построитьНет, в космосе было все ровно то же самое. Удалось вывести спутник - потом человека - потом долетели до Луны за какие-то безумные деньги - а тупые фантасты начали дальше экстраполировать, не понимая, технологический лимит химических ракет достигнут.
>>1299191Простите, конечно, но как 30-ые связаны с тем, что он развалился? Крутой демагогический уход от темы. В чём прикол-то? Да, круто, что понастроили всего, в космос полетели и проч. Но в итоге развалились через 70 лет после создания и оставили после себя социальный и экономический пиздец.Алсо, не буду больше отвечать, а то потрут за политоту нахер.
>>1299201>оставили после себя социальный и экономический пиздец.Точно, порты, заводы, железные дороги, атомные станции и школы. Чухня и хохлы только только все просрали.
>>1299201>Да, круто, что понастроили всего, в космос полетели и прочКак будто в других странах не строили при этом. Просто в совке гордиться больше нечем.
>>1299207Вот я и говопрю, что нечем. У тебя выбора нет. Это американец может гордиться микки маусом, томом и джерри, гагариным, минимугом и экскаватором катерпиллер. А в совочке только Гагарин. При этом исключительно за то, дал посасать пиндосам.
>>1299209Все верно, американская гордость крутится возле развлечений и потреблядства, нужно быть конченным либирахой что бы разделять их ценности.
Аноны, кто-нибудь облачными платформами пользовался? Надо выбрать для лаборатории университета, в прироритетах никаких конкретных задач нет, главное чтобы подешевле (в разумных пределах, впс с половиной ядра за доллар в месяц - перебор) и побольше всего пощупать.Интересно в первую очередь узнать про популярные сервисы, МС азур, амазоновскую платформу.
>>1299311Спасибо за очень интересную статью, но я искал как раз сырые данные, чтобы сам мог поковыряться.
>>1299324https://github.com/awesomedata/awesome-public-datasets#economicsЯ это нагуглил как economic sequence datasetСоветую и тебе тоже начинать гуглить
>>1299350Я на курс МФТИ успел, вроде ясно всё. Там больше на понимание работают. Заинтересовало - дам ссыль. Мне норм.
>>1299350> Сап двач. Читаю Бишопа нихуя не понятно. Что можно дочитать чтобы хоть что-то вкурить?Ну так сто раз же обсуждали - матанализ, теорвер и линейная алгебра.
>>1299461Не совсем. Ты можешь немного расписать про них. Какие платформы пробовал, на какой остановился, свои мысли о тарифах, возможностях, фишках и все такое.
>>1299607https://youtu.be/RviskFqwF3MПервое занятие на потоке для абсолютных новичков. Для зарегистрированных только домашка добавляется и ноутбуки.
>>1300384На самом деле это очень важно, можно сразу будет обучать всякие станки и прочую технику правильному.
>>1300508да я и не против, но я такой тупой, что меня только на машин лерн хватает, а за станком стоять - я без рук останусь, да и вообще боюсь станков, в школе было, один мудак станок не в тот разъем подключил, станок чуть не взорвался.
Сап, есть модель где y зависит от даты, дата в формате гг-мм-дд, как ее преобразовать, чтобы можно было вызвать для нее fit(X,y)? Дата - это X. Сейчас ругается, что нельзя преобразовать дату в floatЯ тупой, сильно не бейте
>>1300701Большинству моделей насрать, что представляют собой твои данные, лишь бы представлялись в виде вещественных векторов признаков. Так что, если перегонишь в таймстамп, как тебе советуют, fit(x, y) ты запустить сможешь. Результат, разумеется, вполне может быть говном, потому что начинать нужно с задачи и её решать, а не совать данные в готовый алгоритм.
Что прочитать, чтоб научиться классифицировать изображения? Если конкретней, то нужно распознать 6 картин, снятых с камеры телефона. Нужна ли предобработка и прочая хрень?
>>1301132>Что прочитать, чтоб научиться проводить операции на сердце? Если конкретней, то нужно шунтировать одно место в коронарной артерии, в которой начал образовываться тромб. Нужна ли послеоперационная терапия и прочая хрень?
>>1301132> Что прочитать, чтоб научиться классифицировать изображения? Это блядь наипростейшая задача. Советую теорвер школьного уровня.> Нужна ли предобработка и прочая хрень?Нинужно. Главно в память твоей самообучалки залить фотографии и обозначить их классы.
>>1301192Ты правда думаешь, что кто-то здесь записался на него?Курикулум норм выглядит, хотя я не уверен, что всё там упоминаемое можно за 50 часов осилить.
>>1301132попробуй прочитать инфу на этом сайте https://images.google.com/, в качестве предобработки можешь обрезать все вокруг картины
>открыл статью>ссылки на сто других статей>в каждой статье на одну и ту же тему ссылки разные, дай бог две-три совпадаютКак их читать-то.
>>1301283А мне-то откуда знать? Ты ж вообще не сказал, что тебе нужно. Зачем тебе ради 6 фотографий заморачиваться с машобом?
>>1301306Да при чём тут RL, я спрашиваю, неужели мне вообще все статьи по теме прочитать? Зачем их так много понаписали-то?
>>1301176Я на полном серьёзе.Палю годноту:1. Загружаешь память твоего алгоритма имагесет.2. Загружаешь контрольную имаге.3. Попиксельно сравниваешь контрольную имаге с каждой имаге из сета.4. Делишь совпавшиеся пиксели на сумму совпавшихся и несовпавшихся пикселей, получаешь вероятность того, что предмет на контрольный имаге является предметом класса из сета.5.?????6. ПРОФИТ!
>>1301366>я спрашиваю, неужели мне вообще все статьи по теме прочитать? И боже вас сохрани, не читайте до обеда сойбойских статей. Других нет? Вот никаких и не читайте! Ну рили, там же говноедство одно, причем изложено так, что все равно нихуя не повторишь. >Зачем их так много понаписали-то?Бородами меряются. Смысла читать этот кал - 0.
>>1301372Да вот хрен поймёшь, что тут простое. Вот я беру недавнюю статью, этого года - там 40 источников, причём я читал около 5. Что из этого прочитать надо, а что нахуй не нужно? Руки опускаются.
>>1301299>Как их читать-то. Любая статья устроена так:1. Абстракт с краткой выжимкой научной новизны2. Глава с экскурсом в историю3. Описание собственно работы4. Результаты5. ВыводыАлгоритм такой. Набираешь в гугле "проблеманейм state of art". Ищешь статью. Читаешь в ней пункты 1, 2 и 5. Самое главное тебе сейчас пункт 2.Из этой главы набираешь ссылки с экскурсом в историю, читаешь там абстракт и историю. В итоге ты более-менее в курсе о разивитии темы во времени, и куда там можно копнуть дальше. После этого читаешь абстракты у всего - шлак начнет отсеиваться сразу же.
>>1301487Нахуй не нужно или нужно для чего? Статьи - это передний край науки, если ты такими вопросами задаешься, тебе скорее всего надо прочитать 5 не статей, а учебников.
>>1301623Ну вот есть куча статей разных (очень разных) лет, которые предлагают много подходов к решению некоторой задачи. Как понять, что из этого нужно знать, какие подходы хороши, а на какие статьи можно не тратить времени? Вместо учебников тут скорее всевозможные обзорные статьи будут, хотя я там сравнения и рекомендаций не видел - только "вот что народ предлагал".К слову о сравнения. Как читать раздел "результаты"? Понятно, что каждый себя хвалит, а о недостатках помалкивает. И задачи бывают разные, одни тестировались на одном, другие - на другом, да и измеряет каждый своё. Как сравнивать результаты разных статей?
>>1301657>Как понять, что из этого нужно Просто, никто работающие йобы публиковать не будет, там пишут всякую дичь.
>>1301657>Как понять, что из этого нужно знать, какие подходы хороши, а на какие статьи можно не тратить времени?Если бы кто-то априори знал, какой подход хорош, он бы его развил и добился бы успеха. Твой вопрос аналогичен вопросу "а как на бирже инвестировать деньги и заработать миллиард". Да никак. Кто-то побеждает, кто-то тратит время на заведомый шлак.Даже суд истории не особо помогает - вполне возможно, что годный подход сообщество не заметило. Точнее, это так, в этом сообществе полвека использовали tanh как функцию активации. Но ничего другого нет. Поэтому стандартные методы - arxiv-sanity, индекс цитируемости в популярных работах, сообщества и звезды.Но в целом суд истории самая работающая тема. Мы не знаем топовую статью за этот месяц, но за 2012 год это AlexNet. Ну и как бы "As of 2018, the Alexnet paper has been cited over 30,000 times. " ты не можешь пройти мимо нее. А зная ее, тебе 10 лет до нее особо и не нужно. Потому что подходы сменились и те, кто ебал свой мозг в нулевых проиграли, их тонны шлака о том, как вручную дизайнить фичи и скармливать их SVM уж никому не нужны, а Алекс выиграл.>К слову о сравнения. Как читать раздел "результаты"? Понятно, что каждый себя хвалит, а о недостатках помалкивает.Опять же, зачем тебе читать. Если речь не о переднем крае переднего края, давно есть обзораные статьи, сводные таблицы, красивые посты в блогах и awesome-yobaname страницы на гитхабе. В них ты найдешь ссылки на нужные статьи.Вот опишу тебе такую ситуацию. Наткнулся где-то в интернете на упоминание того, что ГАНы создают паттерны, похожие на шахматную клетку, дальше несколько часов ушло на поиск статьи https://arxiv.org/pdf/1707.02937.pdf , поиск реализации в виде класса для tensorflow и модификацию его для моей задачи (у меня 1d вместо 2d - нужно было у входных данных добавить фейковое 2 измерение). Это сработало - и сработает для любой U-Net с subpixel convolution. Правда в итоге оказалось, что дубовый подход "nearest neighbor upsampling + conv" работает лучше и я отказался от subpixel convolution совсем (если еще точнее - в одной задаче отказался, в другой нет). Вот подобные статьи - где описывается конкретный подход и ты немножко по прочтению образовываешься, я читаю. И их очень мало. А рандомные статьи, где рандомный хуй прилепил GAN к очередной задаче, где и без GAN все работало - нет.>Как сравнивать результаты разных статей? Если статья старше года и она хоть чего-то стоит, всегда есть гитхаб с ее реализацией (кроме гипотетической ситуации, что золотой биллиант никто не заметил), а то и несколько. Качаешь, ебешься и тестируешь. Месяц на такое потратить вполне ок.Если у тебя нет месяца, берешь самую попсовую методу и пилишь ее. Ок потратить несколько дней на выяснение того, а что сейчас самое модное.
>>1301487если с базовой областью ознакомиться, то берешь какой-нибудь список вроде этогоhttps://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmapили этогоhttps://www.kdnuggets.com/2018/10/generative-adversarial-networks-paper-reading-road-map.htmlи читаешь из него статьи,а дальше смотришь только уже по своей узкой специализации
Сап, двач, мои знакомые разработчики тут запилили чат-бота, для разработки сценария тестирования других чат-ботов (рекурсия))Дабы был профит, нужно лишь одно: чтоб неравнодушные к it люди пообщались с ботом как с человеком в рамках заданной роли и оценили этот диалог (там же, в чате). Бот будет участвовать в американском конкурсе. Двач, загрузи ботика вопросами на английском, дабы он в ответах выглядел по-божески)Начать беседу: https://m.me/convai.io (мессенджер Фейсбука)Пы.сы. Двощ, вся критика за недостатки бота на ваше усмотрение, но буду рада конструктиву
Двачик есть у кого ссылка на книгу https://www.oreilly.com/library/view/deep-learning-for/9781788295628/ ?
>>1302248>неравнодушные>тестировать бесплатно>фбХуй сосите, бляди позорные. Заходить на двач и просить тестировать бота в убогом фейсбухе - это просто охуительно.Алсо,>радасиськи с супом предоставь, кого ты тут на запах пиздятинки приманиваешь, падла?>>1302254Пидарэз, в шапке ссылка на либген для кого?
Кто на неурипс едет?Какие же они пидоры все-таки, что сменили акроним! Как же бомбит у меня! Пиздец, помимо того, что не провели повторного голосования, так еще и акроним зафорсили совершенно убогий.Сука, накурился со злости, пойду жену УГНЕТАТЬ.
>>1302281нет, не бомбит, если бы по-русски конференция называлась СОСОК (системы обработки составных онтологических компонент) (или ЯПОШКИ (языки предобработки онтологий шиммерной комплексной информации) - целых два смешных значения на одно слово), ее бы тоже переименовали. Не удивлюсь, что сначала, когда конференция была маленькой, кто-то посчитал, что это классная шутка.
>>1302371и это, не учитывая того факта, что до 2013г. мудрые ученые устраивали конференцию только на горнолыжных курортах (согласно Википедии)
>>1302371Ну давай разберем тобою написанное.Сначала устроили честное, народное, демократическое голосование, по итогам которого консенсуса о смене названия не было выявлено, было принято официальное решение название не менять.Потом какие-то активсты тупо зафорсили свой убогий акроним. Я не знаю, будешь ли ты спорить с тем, что его странно произносить вслух и сложно красиво изобразить графически. И тут безо всякого голосования уже оргкомитет просто взял и прогнулся.Вот от этого у меня бомбит. Про остальные аспекты происходящего мне объяснять ничего не нужно.
>>1288558мимо робототехник кун (делаю коллаборативных роботов-манипуляторов)Для начала спрошу, каких роботов? Они разные бывают - от самоходных телег до человекоподобных которых пинают кожаные ублюдкиБазовая мапа:1) Матан + линал. У тебя будет не много матана, а охуительно много, да и вообще полезно. С линалом пример прост - ориентация йобота в пространстве - чистый линал.2) Прога. Оптимальный набор: низкоуровневый язык C/кресты, высокоуровневый язык(и) java/python + уметь находить и работать с нужными тебе либами, и какая-нибудь околоэзотерическоматематическая нех matlab/wolfram3) ТАУ - теория автоматического анального управления. Тут всякая "дичь" которая позволит именно управлять управляемыми железками. Гугли для примера: PID, ADRC, LQR.Задавай свои ответы
Заранее извиняюсь за нубский вопрос, но как менять веса в простенькой сеточке на один слой и 3-5 нейронов? Просто прибавлять/убавлять к весу случайное значение при несоответствии инпута с аутпутом? Или нужен какой-то четкий алгоритм?
>>1302377А что они могут сделать, судиться же с ними будут в Америках, а не с демократически проголосовавшими Всякие политически активные второсортные (Хинтону или Лекуну наплевать) ученые Chollet или Jeremy Howard'а начали активно разжигать ( https://twitter.com/hashtag/ProtestNIPS ).
>>1302505они просто вообще не ученые. Chollet написал керас - но это ненаучная разработка (да и написать враппер не слишком-то уж и сложно). Ховард себя сам позиционирует как entrepreneur, business strategist, developer, and educator.
>>1288278Не гони на R. Отличный язык и великолепная среда Rstudio. Он уж точно лучше всяких SPSS, statistica и другого табличного хлама.
>>1297989У тебя p получается играет роль константного смещения. Этот фактор всегда есть в неявном виде (вещи, которые влияют на исход, но которые мы не включили в модель и считаем постоянными), но у тебя он частично явно выражен (есть и другие постоянные неизвестные нам факторы, но мы хотя бы осведомлены о постоянной p). Всегда чтобы учесть смещение в Х вставляется столбец единиц. В твоём случае тебе надо заменить p на такой столбец.
>>1302712Все равно не понимаю(В голову приходит только следующее:При обучении задается некоторое значение изменения веса, и, если результат одной итерации обучения/результат больше чем результат предыдущей итерации обучения/результат, то мы снижаем значение изменения веса.
>>1302703Я бы руки поотрывал тем, кто придумал делать доступ к полям класса через $. И naming convention там отсутствует как класс.
>>1302863Нейросеть это функция y=f(x, a), где x - вход, y - выход, a - параметры.Пусть у нас есть набор x1 y1 x2 y2 x3 y3 для обученияДля обучения мы пишем нашу цельL = (y1-f(x1,a))^2 + (y2-f(x2,a))^2 + (y3-f(x3,a))^2При обучении мы меняем a так, чтобы L каждый раз немножко уменьшалась. Твой способ называется случайный покоординатный спуск. Ты выбирешь параметр, случайно его меняешь в ту или иную сторону, считаешь L, сравиваешь с предыдущим, если он меньше, то продолжаешь дальше. Он плох тем, что в современных нейронках у тебя миллиарды параметров, и такой спуск займет вечность. Даже в твоем случае он будет довольно медленным. Хотя работать должен.Правильно делать градиентный спуск в точке a находится вектор (градиент) dL/da и выполняется спуск сразу по всем координатам в пространстве параметров: new_a = a - alpha * dL/da. За один шаг ты апдейтишь все параметры, даже если их миллиарды.Так как ты тупой и dL/da сам не вычислишь, изучай лучше tensorflow, а не пили свои нейронки на коленке - все равно получится говно.
>>1303107> в современных нейронках у тебя миллиарды параметров90% которых не участвуют в решении задачи. Н-р, для классификации нужны только примеры, лежащие на границах классов, т.к остальные вообще не участвуют в формировании решающих правил и их настройка квадратно-гнездовым способом - полный порожняк и трата вычислительных ресурсов в никуда итд. Но эту проблему хипстеры либо игнорируют, либо вообще о ней не слышали. Как вариант - владелец нвидии Вынь Сам Пей проплатил, чтобы видюхи бодрее раскупались.
Как гуглить профессии на роль 'Junior' в ДС? (интересует область машинное обучения, кроме дата сайентиста). На HH только Junior DS нахожу и всё...
>>1304258>интересует область машинное обучения, кроме дата сайентистапопробуй гуглить computer vision или nlp
Я правильно понимаю, что любые ядра можно использовать как метрику (косинусную, например)? Или там сложнее?
Можно ли обучать нейронки на майнере битков? Первые модели сейчас почти даром отдают, а я неприхотлив.
>>1304513Вряд ли, тут выше по треду говорили, что для нейроночек память важна, а майнерам - наоборот.
>>1304554Такую хуйню даже на квантовом компьютере невозможно сделать, ибо на перебор у тебя ограниченное число попыток, защита от брутфорсинга.
Двач, я хуй пайму в ем алгоритме на м шаге что мы максимизируем. Зачем там брать логарифм от мат ожидания. Это как-то связано с неравностю Дженсена чи шо мм??
>>1304590Или это мы минимизирум растояние кульбака лейблера между распределением скрытых переменных и распределением данных от параметров распределения ?
>>1304588>Зачем там брать логарифм от мат ожиданияТак же, как и везде в ML, да и в математике в целом: логарифм превращает произведение в сумму.В данном случае у тебя лайклихуд это произведение p, а вот логлайклихуд это уже сумма log(p).Это настолько популярный трюк, что его даже не упоминают в лекциях.
>>1304603> А зачем он тогда нужен?Управлять экономикой в частности, и страной в целом. Начинаем стратегиями-игрульками типа StarCraft, заканчиваем проектами типа ОГАС/Cybersyn.
Подскажите какие есть подводные камни при работе с координатами? Есть какие-нибудь мануалы или готовые инструменты/алгоритмы? Ещё хотелось бы найти что-нибудь типа датасета или API для извлечения координат центров городов, вроде через yandex API так можно делать, но по правилам использования, такие данные нельзя сохранять либо нужно деньги за апишку платить.
Ребят, такое дело: есть очень-очень много данных с автомобилями. Самое ценное в них, как мне кажется - цены указанные самими дилерами. Что с ними можно сделать дабы пощупать машинное обучение с пользой?
>>1304588https://ru.wikipedia.org/wiki/EM-%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC#%D0%90%D0%BB%D1%8C%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D0%BE%D0%BF%D0%B8%D1%81%D0%B0%D0%BD%D0%B8%D0%B5Логарифм неполного правдоподобия log L(theta; X) можно разложить в некоторую сумму трёх слагаемых, а потом одно из этих слагаемых перекинуть в левую часть. В результате получается равенство по ссылке. Мы обе части равества обозначаем F(q, theta). Дальше некоторые соображения:1. F(q, theta) <= log L(theta; X), потому что DKL >= 02. Eq(log L(theta; X, Z)) + H(q) зависит от theta только через первое слагаемое3. DKL(q||p) + log L(theta; X) зависит от q только через первое слагаемоеА дальше предлагается максимизировать вместо log L(theta; X) её нижнюю оценку F(q, theta). Предлагается максимизировать блочно-покоординатным спуском - сначала максимизируем по q (для этого берём F = DKL + log L(theta; X), и максимизировать там надо только DKL; в классическом варианте берём q = p(Z|X, theta), но есть и другие методы - вариационный, например, или crisp), это E-шаг, потом по theta (для этого берём F = Eq(log L(theta; X, Z)) + H(q), и максимизировать нужно только Eq(log L(theta; X, Z))) - это M-шаг. Собственно, там есть условия, когда такая процедура будет монотонной и сходиться к чему надо, но я их забыл.
Почему на кегле такой всратый поиск? Даже отдельной страницы нет, только показывает первые несколько результатов.Как это фиксится? (кроме как делать поиск по сайту в гугле)
Нейрач, где можно найти теорию по тому, как работает opencv, как он ищет квадраты на фото, какие матрицы там перемножает, алгоритмы поиска краев, и все такое? Мне нужна теоретическая база, а в статьях и пособиях обычно "ну мы просто берем готовую либу и без задней мысли находим маркеры на видео"
>>1305648Начни с пикрелейтед и других книг автора. Это прямо основы-основы.>Мне нужна теоретическая база, а в статьях и пособиях обычно "ну мы просто берем готовую либу и без задней мысли находим маркеры на видео" Ну это сложная тема, я с десятилетним опытом (какой кошмар) в теме не очень в курсе, как работает SIFT, например, не говоря уже о куче других менее известных алгоритмов. Фичевектор выдает и хуй с ним
посоветуйте тип нейросети из https://en.wikipedia.org/wiki/Types_of_artificial_neural_networks для 3д-игр ?конфигурация нескольких ?допустим есть 800х600px - 10fps входные данные
>>1305657например сеть для moba игры по типу дотыакселерации (ускорения) судя по-всему нет, неуверен насчет прикручивания грида - сама идея неясна - сеть же в одном экземпляре - значит результаты (разные экземпляры обученных сетей) просто мержатся ?? не абсурд?
