Очередной тред про хипстерские технологии, которые не работают.Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаВ чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examplesГде набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/Где работать? https://www.indeed.com/q-deep-learning-jobs.htmlГде узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихсяГде посмотреть последние статьи? http://www.arxiv-sanity.com/Где ещё можно поговорить про анализ данных? http://ods.ai/Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.Список дедовских книг для серьёзных людей:Trevor Hastie et al. "The Elements of Statistical Learning"Vladimir N. Vapnik "The Nature of Statistical Learning Theory"Christopher M. Bishop "Pattern Recognition and Machine Learning"Взять можно тут: http://libgen.io/Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.Предыдущий:https://2ch.hk/pr/res/1543969.htmlАрхивач:http://arhivach.ng/thread/412868/Остальные в предыдущих тредахТам же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Продублирую.>>1577202А ещё такой вопрос: если брать ту же задачу по Титанику и решать её при помощи нейронной сети, как выбирать:1) Размер входного слоя - он будет зависеть от каждого пассажира?2) Размер и количество скрытых слоёв3) Размер выходного слоя - он будет равен количеству классов в задаче классификации?
>>15789941) он будет зависить от количества параметров, которыми описывается один пассажир2) как хочешь так и делай. Данных мало, значит лучше без нейронок меньше слоев (например, 0) и поменьше размер3) обычно да, но если класса всего два, то делается один выход с сигмоидой и предсказывается вероятность спастись>>1579008может некоторые данные дублируются и попадают в отложенную выборку? данные перемешиваешь перед тем как разбить на фолды/разделить? сколько фолдов делаешь в кросс-валидации?
Есть база на 40мб в формате вопрос-ответ, тематика - кое-какая игра, вопросы +- одни и те же. Нужно научить скрипт отвечать на вопросы юзеров, основываясь на базе. Подскажите годных алгоритмов, наверняка есть куча готовых решений для этого. Пробовал сам делать, через ключевые слова, точность ответов 90%, нужно больше.
>>1579023>1) он будет зависить от количества параметров, которыми описывается один пассажирСпасибо.А если там, например, таблица 20000 x 10000, где каждая колонка - отдельный признак, содержащий 0 или 1, но единиц у каждой строки от силы 15 - остальные нули.Как тогда? Задавать 10000 входов?
>>1579061Потому что в датасетах часто бывают категориальные признаки, и если их правильно обрабатывать, то метрики будут выше.
>>1579127Так а почему выше, если с бустенгом деревьях всё равно должно быть как закодированы кат признаки?
>>1579038> Задавать 10000 входов?даМожешь как-нибудь попытаться преобразовать данные, например, в SVD запихнуть. В случае слов в предложении всякие предобученные эмбеддинги используют
----------------- Options --------------- batch_size: 4 [default: 1] beta1: 0.5 checkpoints_dir: ./checkpoints continue_train: False crop_size: 256 dataroot: ./selfie2comics [default: None] dataset_mode: unaligned direction: AtoB display_env: main display_freq: 400 display_id: 1 display_ncols: 4 display_port: 8097 display_server: http://localhost display_winsize: 256 epoch: latest epoch_count: 1 gan_mode: lsgan gpu_ids: 0 init_gain: 0.02 init_type: kaiming [default: normal] input_nc: 3 isTrain: True [default: None] lambda_A: 10.0 lambda_B: 10.0 lambda_identity: 0.5 load_iter: 0 [default: 0] load_size: 256 [default: 286] lr: 0.0002 lr_decay_iters: 50 lr_policy: linear max_dataset_size: inf model: cycle_gan n_epochs: 100 n_epochs_decay: 100 n_layers_D: 3 name: resnet9_132to400_comics8 [default: experiment_name] ndf: 64 netD: basic netG: resnet_9blocks ngf: 64 no_dropout: True no_flip: False no_html: False norm: instance num_threads: 4 output_nc: 3 phase: train pool_size: 50 preprocess: resize_and_crop print_freq: 100 save_by_iter: False save_epoch_freq: 5 save_latest_freq: 5000 serial_batches: False suffix: update_html_freq: 1000 verbose: False ----------------- End -------------------dataset [UnalignedDataset] was createdThe number of training images = 1530initialize network with kaiminginitialize network with kaiminginitialize network with kaiminginitialize network with kaimingmodel [CycleGANModel] was created---------- Networks initialized -------------[Network G_A] Total number of parameters : 11.378 M[Network G_B] Total number of parameters : 11.378 M[Network D_A] Total number of parameters : 2.765 M[Network D_B] Total number of parameters : 2.765 M-----------------------------------------------Setting up a new session...create web directory ./checkpoints/resnet9_132to400_comics8/web...Traceback (most recent call last): File "train.py", line 44, in <module> for i, data in enumerate(dataset): # inner loop within one epoch File "/content/data/__init__.py", line 90, in __iter__ for i, data in enumerate(self.dataloader): File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 345, in __next__ data = self._next_data() File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 838, in _next_data return self._process_data(data) File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 881, in _process_data data.reraise() File "/usr/local/lib/python3.6/dist-packages/torch/_utils.py", line 394, in reraise raise self.exc_type(msg)OSError: Caught OSError in DataLoader worker process 3.Original Traceback (most recent call last): File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 235, in load s = read(self.decodermaxblock) File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 659, in load_read cid, pos, length = self.png.read() File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 122, in read length = i32(s) File "/usr/local/lib/python3.6/dist-packages/PIL/_binary.py", line 82, in i32be return unpack_from(">I", c, o)[0]struct.error: unpack_from requires a buffer of at least 4 bytesDuring handling of the above exception, another exception occurred:Traceback (most recent call last): File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop data = fetcher.fetch(index) File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in fetch data = [self.dataset[idx] for idx in possibly_batched_index] File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in <listcomp> data = [self.dataset[idx] for idx in possibly_batched_index] File "/content/data/unaligned_dataset.py", line 58, in __getitem__ B_img = Image.open(B_path).convert('RGB') File "/usr/local/lib/python3.6/dist-packages/PIL/Image.py", line 930, in convert self.load() File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 241, in load raise IOError("image file is truncated")OSError: image file is truncatedВот такая ошибка при обучении нейронки на google colab. Если запускаю на домашнем пека, то все ок. Я уже запускал нейронку на колабе эту же, с теми же настройками и работало как часы, а шас нихуя. Ебусь уже 2 часа и гугл нихуя не помог. на домашнем пека с теми же либами, настройками обучение идетчто можете посоветовать?
Помню, я опробовал однажды Алису. Ассистент от Яндекса, который якобы с ИИ и вообще даже обучаться может М - Маркетинг..Собсна, я решил проверить. Задал несколько арифметических примеров, и быстро понял, что считать она не умеет. Не беда, казалось бы, можно и обучить. Но как бы я не старался, эта хуйня отказывалась обучаться.Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка. Сначала показать ему цифры(он должен уловить, что такое цифра), потом начать пересчет чисел(понять порядок чисел и понять как работают разряды), потом обучить плюсу и минусу. Вот тогда, когда ты на примерах покажешь счет, а компьютер уловит закономерности и сможет делать выводы, вот тогда можно говорить об обучаемости и ИИ.Знаете работы по данной теме? Или у вас есть предположения, как это реализовать.
>>1579711> Знаете работы по данной теме? Или у вас есть предположения, как это реализовать.Эта тема сложнее чем кажется. Но эта задача решаема, я как раз этим занимаюсь. > Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка. Сначала показать ему цифры(он должен уловить, что такое цифра), потом начать пересчет чисел(понять порядок чисел и понять как работают разряды), потом обучить плюсу и минусу. Вот тогда, когда ты на примерах покажешь счет, а компьютер уловит закономерности и сможет делать выводы, вот тогда можно говорить об обучаемости и ИИ.На примерах и улавливания закономерностей заебешься. И нет, алгоритм машобчика, умеющий в арифметику, мыслить не будет. Я тут пару лет назад какому-то долбаебу показывал, как даже обычный инженерный куркулятор легко может продолжить ряд типа 1,3,5,7,... Он заявлял, что нейроночки в такое не могут. Так вот, могут. И мыслить для этого не нужно. То что ты описал, намного сложнее, но опять же, никакой уличной магии не требует и не приведет ни к каким качественно новым умениям машобчика кроме самого умения считать.
>>1579809> То что ты описал, намного сложнее, но опять же, никакой уличной магии не требует и не приведет ни к каким качественно новым умениям машобчика кроме самого умения считать.Так или иначе, мы научили компьютер.Раз мы научили считать, то подобным образом его можно чему угодно обучить. Запоминаем факты, находим закономерности, исследуем аномалии, перезаписываем и дополняем известные знания. Сам счет бесполезен, вот метод, по которому машинка обучилась - вполне себе.
>>1579023>может некоторые данные дублируются и попадают в отложенную выборку? данные перемешиваешь перед тем как разбить на фолды/разделить? сколько фолдов делаешь в кросс-валидации?дубликатов нету я их проверял и удалял через пандовские функции (df.duplicated().value_counts(), df2.drop_duplicates(inplace=True)). Разбиваю данные как обычно с помощью функции train_test_split c shuffle=True. фолдов 3 обучал на бустинге 5000 древьев
>>1579144Потому что обычно в решающих деревьях используется тупо отсечение по порогу, которое хорошо работает с ординальными признаками ("оцените по шкале от 1 до 5"), но плохо с категориальными ("выберите город проживания - Москва, СПб, Новосибирск, Челябинск, Владивосток").
>>1579863Куда проще научить его распознавать при разговоре числа и обозначения математических операций и строить из них формулу, после чего передавать её в специализированное приложение."Научили компьютер" - это очень человеческое понятие, не надо его куда ни попадя пихать, это чревато непониманием возможностей, завышенными ожиданиями и в итоге разочарованием. Мы оптимизировали некоторую функцию, всё.
>>1579711>Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка.Видимо в Древнем Египте с грамотностью людей на уровне единиц процентов, интеллекта ни у кого не было. А то хули они никого обучить не могли, были бы грамотными, построили бы космический корабль. Гуманитариев нельзя подпускать к ML, от гуманитариев ML тупеет. Поэтому держись подальше и все будет хорошо.>Или у вас есть предположения, как это реализовать.Нужно уходить от GEMM и оптимизации железа под GEMM. А это тяжело, потому что в GEMM вложены миллиарды и оно хорошо решает текущие задачи. Представь, что у тебя все нейроны в мозге думают одновременно, в итоге тебе нужно жрать в 1000 раз больше, провести отдельную систему канализации для отвода тепла и продуктов жизнедеятельности. Вот примерно такое состояние у современного ML. Это не значит, что твои охуенные мысли кому-то нужны.
>>1580440Раз хорошо решает задачи, то чего ещё желать? Никому не нужен робот-водитель, который ещё и разговор поддержать может, от него только водить требуется.
>>1580626>Раз хорошо решает задачиКудахтер что то хорошо решает только в больном матанопетушином вооброжаемом мирке
Антоны, у меня модель не хочет обучаться, лосс просто не падает и похоже, что он останется таким, сколько бы шагов обучения не происходило.Модель из сверточной сети и lstm с аттеншионом.В чем может быть проблема вообще? До этого она прекрасно обучалась и распознавала.Может ли это быть из-за длинных последовательностей? Сет, на котором она обучалась первый раз у меня включал в себя всего 40 символов максимум на последовательность, сейчас я увеличил датасет, теперь максимальное предложение у меня 140 символов и оно не хочет обучаться
>>1581103>>1581102Хотя скорее-всего проблема в числе батчей, но если выставить много, то тензорфлоу сжирает память, пойду гуглить решения, как от этого избавиться, может она не учится из-за маленького батч сайза.
хелпачучу модель разукрашивать мангу. в датасет а запихнул черно-белую мангу, а в датасет б разукрашенную и точно такую же. Так вот, при обучении в 100 эпох примерно такой результат(смотри пикчу). учу модель размером в 256х256.модель - https://github.com/junyanz/pytorch-CycleGAN-and-pix2pixдатасет на 1500 пикчучить дальше или лучше не будет?
>>1581114Да если бы можно было, попробовал решения с ограничением памяти, так не работает, при выставлении 32 и 64 батчей все крашится в пизду, на малом количестве батчей оно обучаться не хочет.Ех, возможности расширенного инстанса гугл колаба я уже исчерпал, придется платить амазону.
>>1581158Блин. Было бы круто выхватывать граф реплик персонажей постранично из манги/комикса и распечатывть это в виде сценкрия (по полям).
Антоны, есть где-нибудь гайды по использованию амазона?Хочу у них таки купить инстанс и воспользоваться sagemaker для обучения своей нейроночки, только вот мне нихуя не понятно, просто контринтуитивный сервис.
>>1579711Потому что нужно разделение на нейронку и формальную логику. Вот как мы складываем/умножаем/делим в уме? Мы же не угадываем нейронкой примерный ответ. А выполняем четкие алгоритмические шаги.
>>1582021>Мы же не угадываем нейронкой примерный ответ.Угадываем, я вот не затрачиваю ресурсы мозга на расчеты, я просто думаю над операцией и мозг сам дает ответ.
>>1582021>Вот как мы складываем/умножаем/делим в умеСейчас гуманитарный филосопетрович расскажет нам, как мы складываем в уме
>>1582021Правильно, надо научить нейронку счету древних шизов, ноль, целковый, чекушка. >>1582225Да ты-то вообще не думаешь.
>>1582310> Доказывать отсутствие? Пфф, точно не думаешь.Тебе не надо доказывать отсутствие, ты можешь просто пояснить, как оно происходит, но чуется мне, что ты хуй с горы и твое утверждение ни на чем не основано, ну просто не угадываем, значит не угадываем.
>>1582448Ну вот это приходится раскладывать на простейшие, сперва ((3610)6)+(36*3)+13=2281, вот на простейшие операции я мозг не задействую.
>>1582484> на простейшие операции я мозг не задействую.Типа ты имеешь в виду, что у тебя в памяти хранится таблица всех произведений до 100x100? Плюс ты как то должен был разложить на простейшие, а это тоже алгоритм.
>>1582525Спасибо, но подводных камней хватает: ещё найти вакансию питониста в конторе, где есть перспектива устроиться в МашОб, ещё устроиться на эту вакансию, ещё переквалифицироваться (и не факт, что эта контора будет заинтересована тебя развивать, а не взять готового спеца).>>1582671Там преимущественно иностранные вакансии.Эмиграции в ближайшие 1,5 - 2 года не входит в мои планы.Может тут кто сжалится, лол?
>>1580243> Куда проще научить его распознавать при разговоре числа и обозначения математических операций и строить из них формулу, после чего передавать её в специализированное приложение.А если приложение ограниченно? Вот не умеет логарифмы считать.
Есть таблица с векторами. Пытаюсь запустить обучение на пайторче.На вход модели подаю вектор, а мне:'str' object has no attribute 'dim'Щито делать?
>>1583504> Открыть книгу по матану.Охуительный совет, блять.Ты когда к врачу приходишь, он тебе тоже даёт общий диагноз или отправляет читать книги по пат.анатомии?Есть вопрос - то либо конкретизируй ответ, либо вообще ничего не пиши.Матан охуеть какой большой, и изучать кучу книг потому что какой-то диванный специалист что-то спизданул - это охуеть какое неэффективное расходование времени.Да и вангую там не в матане дело.
>>1583406Искать, где там str возникло, чего тут ещё можно посоветовать, лол. Скорее всего в данных где-то.Закрыть пайторч. Открыть документацию к пайторчу. Или хотя бы туториалы.
Антоны, можете пояснить за тпу? Я попробовал переписать свою модель под tpu, у меня обучение было через slim.learning.train, тут же через estimator.train.Но потом я обломился, поняв, что базу нельзя читать с локального диска, а на гугл ведро нужно платить гугл облаку, которое недоступно в России.Есть вариант закидывать все в оперативку, но большой датасет так не засунешь и есть проблема с делением всего на батчи, ибо никакого провайдера для такого нет.Выходит, что обычному русскому смертному лучше вообще забыть об этом?
>>1583569На авито можно за дешево собрать комп с HEDT процессором и 2-4 1080ti. Если постоянно кагглить для себя и пытаться выиграть, то этого будет достаточно и это дешевле аренды.
>>1583844Ну на моем компе i5 процессор, а вот видеокарт и памяти не хватает.Кагглить для себя - это участвовать в конкурсах kaggle? Я не настолько прошарен, чтобы с людьми, у которых и опыта больше и знаний в этой области конкурировать.А две 1080ti выйдут под 50-60к, наверное в перспективе они окупятся.
сап импорткерасы. вопрос по теме: есть ли исследования в области каких-то альтернативных подходов к машобу? в смысле концептуально других, основанных на других представлениях, например не на матрицах чисел. я сейчас не говорю про эффективность и приложимость на практике, а просто о существовании таких подходов. хотя бы теоретических.Q: ты ебанулся, комплюхтеры же числодавилки, как ты себе представляешь чтобы они по-другому взаимодействовали с данными?A: если бы представлял, уже бы делал что-то в этом направлении. интуитивно кажется, что в принципе может существовать другой подход. даже если он потребует другой архитектуры железа. а может и не существовать.
>>1583957Есть спайковые нейронки, есть sparse матрицы, с которыми уже все хуево, есть аналоговые вычисления, есть оптические нейронки (обучать не умеют, зато инференс со скоростью света). Много чего есть
>>1584008спасибо, анон. краем уха слышал про все кроме аналоговыхно это всё же нейронки, то есть подход по сути тот же. а есть что-нибудь совсем другое и оригинальное? стоит обратить взор на начало кибернетики, когда всё это дело развивалось, может быть там есть кардинально другие подходы?
>>1584072Занимайся спайковыми сетями, Анон, я сам думаю это делать после того, как выучу основы классических сетей.Под спайковые сети вроде даже нейропроцессоры делали, ничего интереснее и быть не может.Я также в прошлом году видел еще сеточку, которая отличается от всех классических, только названия вспомнить не могу.
>>1583957> сап импорткерасы. вопрос по теме: есть ли исследования в области каких-то альтернативных подходов к машобу?Есть. Нейросети и машины Тьюринга на основе аутокаталитических каскадных реакций энзимов (по типу реакции Белоусова - Жаботинского, но сложнее). По-сути, рабочие прототипы биочипов. Я думал, что такое только в киберпанке бывает, но это делали ещё в 80х годах, у меня где-то пейперы были, автор какой-то японец. Вот там точно никаких матриц шматриц.
>>1584154>это делали ещё в 80х годах, у меня где-то пейперы были, автор какой-то японец10 нечетких петухов из 10
Подскажите, господа, как загуглить инфу по "правильному" обучению модели с дроблением дата сета? Типа берем 20% учим проверяем пока не достигнем удовлетворительного результата на 5% потом учим на других 20% и тд 4 раза.
>>1584285гугли кросс валидацию или отложенную выборку (train test split)>>1583957вот тебе концептуально другой подходhttps://twitter.com/iScienceLuvr/status/1221304049607180288
Анон, помоги с первой сеточкой. Есть заимствованный код:model = ...loss = ...optimizer = ...Потом пошли эпохи:for e in range(epochs): running_loss = 0 for images, labels in trainloader: images = images.view(images.shape[0], -1) optimizer.zero_grad() output = model(images) loss = criterion(output, labels) loss.backward() optimizer.step() running_loss += loss.item() else: print(f"Training loss: {running_loss/len(trainloader)}")И тут возникли вопросы - вышеприведённый код для MNISTа, а у меня не изображения, а обычный датафрейм 15х10. Что мне надо сделать чтобы адаптировать код под него? Преобразовать его в тензор? Целиком или построчно? А что с названиями колонок?
>>1584333Кстати, да. Я тут постил ссылки на подобную тему, голуби реально могут распознавать снимки с раком и даже различать жанры в живописи на примере незнакомых им картин. Может быть, они и временные ряды могут предсказывать не хуже этих ваших нейроночек при достаточном обучении.
>>1584474>голуби реально могут Потому, что у них есть мозг и он работает не так как нафантазировали себе матанопетухи.
>>1584482> Потому, что у них есть мозг Ага, а вот у тебя нету. Вообще, вроде бы никто не пробовал использовать голубей для распознавания mnist там или капчи.
>>1584488>никто не пробовал использовать голубейНу вот пусть РАН и попробует, как раз уровень академичаских вговнемоченых.
>>1584481Что, говнецо, самоутверждаешься за счёт нюфагов? Ты настолько никчёмен, что боишься, что они тебя без работы оставят?Ты жалок. Иди скули в /ga или откуда ты там вылез.
>>1584518>боишься, что они тебя без работы оставят?Того неуча точно можно не бояться, раз он в коде на Питоне не может разобраться.
А зачем выборку часто делят на три части: тест, трейн и валидацию где последнее это что-то вроде второго теста. Зачем нужен ещё один тест?
Антоны, какой размер картинок для OCR лучше всего?Где-то читал, что гугл разделяет текст по строкам, может мне тоже так попробовать? Но текст же может быть разного шрифта, начиная с мелкого, заканчивая текстом во всю строку.Или лучше тупо брать здоровую область и на ней нейронку обучать? Но тогда картинки будут иметь много всякой лишней хуйни типа здорового фона и прочих радостей жизни.
>>1584607> А зачем выборку часто делят на три части: тест, трейн и валидацию где последнее это что-то вроде второго теста. Зачем нужен ещё один тест? Что бы детектить зазубренное переобучение.
Анон таки доставил. На ближайший год мне хватит.>>1584203>>1584132Да, это интересно, но по сути развитие идеи нейронок по образу и подобию. Не слишком оригинальный подход, мне кажется.>>1584154>>1584159> Я думал, что такое только в киберпанке бываетЯ до этого момента тоже. Круто, чё — зайчатки биопанка.>>1584333Suka, lol но это получается использование настоящих и уже хорошо обученных нейронных сетей, которых дообучают на примитивные задания, что немного уводит от начальной темы вопроса
>>1584611Можешь по подробнее объяснить? Что за зазубренное переобучение? Я думал, что это делается для оценки в процессе обучения и настройки гиперпараметров (типа валидационную выборку нам дал заказчик, а тестовую заказчик держит у себя и нам не даёт, только потом будет проверять на ней качество всей системы).
>>1584488показываем голубю мотоцикл(дымовую трубу,мост) даем семучку, показываем карточку без этого - бьем осуждаю насилие над животными, поэтому пугаем звуком кошки. Показываем капчу если прошел - даем кушоть. Кайф. Продаем обход капчи за деньги.Объясните инициализируя skr=sklearn.linear_model.LinearRegression()и обучая ее skr.fit(X,y)если я еще рад fit позову на другом датасете она будет дообучаться?
Антоны, как это можно ускорить? Нет возможности поднять батчи, ибо сетка уже на батч сайзе 16 умудряется выжирать всю память.Learning rate 0.004.Можно ли что-то подправить, чтобы не ждать еще неделю?
>>1584928Не должна, потому что там вызывается scipy'шный lstsq, а в нем аналитически считается решение (все заново будет считаться). Для дообучения бери SGDRegressor и его fit/partial_fit.>>1584985Поменяй архитектуру сетки, оптимизатор, добавь CLR, аугментаций.Кстати, что за лосс у тебя?
Я мимовебмакен, которому нужно распознать, является ли изображение флагом, на изображение ничего кроме него нет типа пика. У вас есть какая-нибудь либа, которая сама все за меня сделает? Думаю, что эту задачу уже кто-то давно сделал.
>>1584928>Продаем обход капчи за деньги.Индусы(или кто там нынче) дешевле.>если я еще рад fit позову на другом датасете она будет дообучаться?Гугол/доки. Это ж примитивный вопрос.
>>1584992Ну нет, оптимизатор я уже не могу сменить, а вот попробовать найти learning rate с помощью CLR или LRF хорошая идея.
Задача - предиктить координаты вершин треугольника. Треугольник - чб изображение 500*500. Использую обычный линейный слой + mse loss, на выходе 6 чисел. Но что-бы я не делал, на валидационной выборке предиктится примерно одинаковых 6 чисел, а на обучающей можно добиться идеальных координат, если оверфитнуть. Изменение регуляризации ничего не даёт (только хуже результаты на train выборке), тут именно проблема с обобщающей способностью модели. Может знает кто, куда копать?
>>1585186OpenCV findContours, перебираешь получившиеся точки, смотришь вокруг каждой окно 20х20, предиктишь тремя свертками угол ли это или нет.Твоя модель максимум запомнит все треугольники через их уникальные точки.
>>1584607>А зачем выборку часто делят на три части: тест, трейн и валидацию где последнее это что-то вроде второго теста. Зачем нужен ещё один тест?Ты косвенно используешь валидационный датасет в обучение, когда подбираешь гиперпараметры на его основе. Поэтому нужен третий - тестовый датасет. На тренировочном тренируешь, на валидационном подбираешь гиперпараметры, а тестовый используешь один раз в самом конце, перед выкатом системы в продакшн.
>>1585224>перед выкатом системы в продакшнПоэтому все ваши нейронки такое говно? Может еще 4 проход нужен?
>>1585186>тут именно проблема с обобщающей способностью моделиНарисуй треугольник ABC, проведи у него высоту BH. Получишь два треугольника, ABH и CBH.Покажи первый треугольник своей модели, получишь[шесть чисел] = модель(ABH)Покажи второй треугольник своей модели, получишь[шесть других чисел] = модель(CBH)Далее, из линейности модели иследует, что[шесть чисел]+[шесть других чисел]=модель(ABC)Что, конечно же, неправда. Поэтому линейная модель в твоем случае работать не может.>>1585199>OpenCV findContours, перебираешь получившиеся точки, смотришь вокруг каждой окно 20х20, предиктишь тремя свертками угол ли это или нет.Во ты наркоман
>>1585276Я попробую еще применить One-Cycle Policy, архитектуру бросать особо не хочется, как по мне, она оптимальна.
Доброго времени суток, ньюфаг в треде.Выбираю тему для диплома, пока что вертится в голове нейронка для поиска фото конкретного человека в базе фотографий. Только вот по мере погружения в тему понимаю, что за год самообучения и неспешной разработки в одно лицо такое не потянуть. Или потянуть? Навык программирования на уровне базового синтаксиса нескольких ООП языков, вышмат не самая сильная сторона - лень было учить в рамках универа, но понимание есть, подтянуть смогу.Если затея совсем гиблая, может, подскажете тему для диплома, которую будет не стыдно показать комиссии на защите, на собесе интервьюеру и матери дома?
>>1585291Антоны, я правильно понимаю, что learning rate range test - это когда мы берем очень маленький learning rate и с каждым шагом понемногу увеличиваем его, пока loss не начнет расти?
>>1578978 (OP)>Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториаламЧё это не гуглится.
>>1585451Я попробовал запустить этот тест, в итоге получилось это.Я же правильно понимаю, что мне нужно взять значение с того момента, как оно стало уменьшаться? На графике примерно 43 шаг.learning rate на этом моменте 0.043.В оригинальной работе learning rate был выставлен на 0.004 вообще.
>>1585547Ну вроде даже получилось, обучение идет таки быстрее.По крайней мере я выучил, что такое CLR и One-cycle policy.Только вот насчет степсайза я не понял, у меня датасет на 52132, 14 батчей, я выставил stepsize в 7к, но так и не понимаю, правильно ли это.
>>1585596>я выучил, что такое CLR и One-cycle policyТеперь начинай потихоньку разрабатывать свой анус
>>1585637Зачем?На самом деле, походу я прогадал с этим step size.Обучение дошло до лосса в 166, но дальше идет медленно, не так медленно, как до этого, но прогресс замедляется.Попробую выставить stepsize в 20к
>>1585755> Ты же хочешь вкатится в МЛ, а там без этого никакДля меня это просто хобби, куча магических математических функций с тонной параметром, которые умеют делать крутые вещи.Может когда-нибудь я тоже что-то эпичное смогу написать.
>>1585784Единственное ограничение пока для меня - это требовательность к ресурсам, требуется мощное железо, требуется собирать огромные датасеты.
>>1585784> Может когда-нибудь я тоже что-то эпичное смогу написать.Ты ж зумер, что ты там сможешь написать? Домашку разве что.
ПриветМожет кто-нибудь видел какие-то статьи или что-то такое на тему внедрения дообучения ML модели юзером(разметкой чего-либо), и её автоматического внедрения?
>>1586134дело не в картинках, а в автоматизации чтобы не приходилось сидеть разработчику все там выделять-дообучать и обновлять модель, а чтобы это юзер сделал сам
Антоны, где почитать про ансамблевые сети?Я бы хотел увеличить силу своей CNN части нейроночки.Я читал, что ансамбль из 4-х Inceptionv3 смог достичь top 3.58% на Imagenet, в то время как одна смогла достичь всего 4.2%
Прошу наставить на путь истинный!Пытаюсь вкатиться в дип лёрнинг.Бэкграунд следующий:32+ (через пару месяцев 33+)Быдлокодить начал в 2000-ом. До 2012 использовал всякий треш (Basic, Pascal, ActionScript 3.0, PHP). С 2012 пользуюсь JavaScript. Имеется курс линейной алгебры из универа (довольно поверхностный). Оттуда же интегралы с производными. В декабре прошлого года попробовал слепить (из обрывков имеющихся знаний) многослойный персептрон. В начале января поигрался со свертками. (И персептрон и свертки делал на JavaSctipt). Начал читать книгу Яна Гудфэллоу, сейчас на 130-й страничке. Параллельно недели три с ютуба не вылажу - смотрю рандомные лекции по CNN и GAN (чтобы Гудфэллоу был менее абстрактным). Кроме всего прочего, прочитана (в 2012-ом или около того) книга Тоби Сегарана "Программируем коллективный разум" (книга по машинному обучению).Дальше смотри, какая ерунда получается. С JavaSctipt мне слазить ну очень не хочется (за 8 лет к нему прикипел). Но, все, что я на ютубе вижу или в рандомных статьях читаю - все делают на Python через PyTorch, Keras или TensorFlow. В Python я немношк заглянул - выглядит он для меня как пикрелейтед.Короч, есть три стула:1. После Яна Гудфэллоу читать Саймона Хайкина (лет 5 назад пробовал, но не пошло), чтобы больше всех понимать в теории и не уметь нихуя сделать на практике.2. После Яна Гудфэллоу читать Николенко ("Глубокое обучение. Погружение в мир нейронных сетей"). Там я полистал - все на TensorFlow делают. IRL нагуглил такую няшку, как "TensorFlow.js" - можно весь TensorFlow делать в JavaSctipt (доступ к GPU через WebGL).3. Вот прям сейчас забросить Гудфэллоуа и пойти читать Марка Лутца (Изучаем Python. Четвертое издание). Потом год решать рандомные задачки, чтобы научиться повыше ногу закидывать и получше приседать. После чего начать дрочить один из фреймворков.Ну и собсно вопросы:1. Кто из них пижже: PyTorch, Keras или TensorFlow?2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.4. Вы (Пайтоновцы) все вот так ходите?
>>1587206>С JavaSctipt мне слазить ну очень не хочетсяПерехочется. За пару месяцев привыкнешь.>1. Кто из них пижже: PyTorch, Keras или TensorFlow?Для начинающего лучше pytorch, у tf пиздец с API, и он только нарастает. Keras же по сути стал подмодулем tf>2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?Нет>3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа?Не нужен>4. Вы (Пайтоновцы) все вот так ходите?Если ты в 33 года до сих пор не умеешь переключаться между основными мейнстримными языками, то с тобой что-то не так. Ты уже деградировал до уровня макаки. Как ты будешь заниматься нейронками при этом - не понятно
Антоны с опытом, такой вопрос. Если я студент и теорвер с матстатом будет скорее всего на 3 курсе, то со вкатыванием в стажировки можно не спешить? какие смежные темы можно изучать, чтобы потом перекатиться. Не хотелось бы летом остаться без дела
>>1587206> 1. Кто из них пижже: PyTorch, Keras или TensorFlow?JAX. А если без шуток, то бери TF 2.0 и не прогадаешь.> 2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?Есть tf.js> 3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.Если можешь, то советую поступить в ШАД. Иначе дрочить туториалы, потом kaggle. Будешь что-то не понимать — смотри в статьях. Будешь не понимать в статьях — смотри Хайкина.> 4. Вы (Пайтоновцы) все вот так ходите?Кто бы говорил, блядь. Пикрелейтед (хотя пара пуктов довольно надуманные).
>>1587881>Пикрелейтед JS - язык с динамической типизацией. Большинство примеров связаны с этим, плюс несколько примеров связанных с ошибкой округления. Python тебе тоже 0.2+0.1 правильно не сделает.
>>1588111>JS - язык с динамической типизацией. Большинство примеров связаны с этимда, а именно с тем, как всрато типы преобразуются друг в друга
>>1588145>>1588164Го не будем пердеть в сторону JS в Python-треде.Единственное, что в JS может смутить новичков - то, что оператор сложения определен как оператор конкатенации для строк. Все остальные приведения типов вполне интуитивны.
>>1578978 (OP)Привет, петухи. Я байтоеб с большим опытом, учился на фундаментальной математике, прошел курс по нейронным сетям и вот что я понял:- Глубокого ИИ нет и не будет- Математика в продакшене не нужна- Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программировать- Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"В чем ваша элитарность, говноеды? Ведь вы и не математики и не программисты, а ваша работа скучна до невозможного.
>>1589333>не умеют программировать> учился на фундаментальной математикеДля тебя уметь программировать это смешивать различные действия в одной функции?
>>1589333Куда ты лезешь-то, хоспаде... Курс он какой-то прошел, где-то там на кого-то "выучился" методом залипания в тилибон на парах, что-то там якобы "понял". Ты конечно можешь пиздеть Иисусу, Гитлеру, мне, но себя ты не наебешь, ты тайдмен простой, который даже не понял, зачем вообще машоб. Для тебя это просто какие-то отрывочные разрозненные пародии на знание, никак между собой не связанные.
Антоны, у меня файл tfrecord получается больше, чем оригинальный датасет в виде файл.jpg файл.txt Причем сама папка с картинками и текстом весит 836 мегабайт, а tfrecord файл получается в 11 гб
>>1589702А, я понял, у меня в коде преобразование не так происходило.Переписал, теперь файл весит 403 мегабайта
Сап, господа, такой вопрос: скоро с шараги выпускаться, нажо диплом запилить, а я с год назад начал в дс вкатываться. Думал захерачить что-то вроде копии FaceID на андроид, но слишком много ебли с оптимизацией и самой джавой, есть интересные идеи для диплома на компьютерное зрение, чтобы не ебатня в неизвестном дерьме и не на датасете с порнхаба? Заранее спасибо
>>1588178Можно без шада. Даже лучше. Пока ботаны дрочат матешу, люди набирают опыт работы на стажировках. К тому времени, как ботан закончит шад, ты будешь уже мидлом. А после шада только стажировка все равно.
>>1589333>Глубокого ИИ нет и не будетНеочевидно.>Математика в продакшене не нужнаСмотря где. Статистику ты математикой не считаешь?>Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программировать+- да. А ещё уёбищная документация.>Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"+- да.>В чем ваша элитарность, говноеды?Элитарность такая же, как в любом айти. Никакой Ты себя что ли элитарием считаешь?>ваша работа скучна до невозможногоКому-то и программировать скучно.Покормил
>>1587206>1. Кто из них пижже: PyTorch, Keras или TensorFlow?tf 2.0 легко совмещается с Keras, в PyTorch лучше реализован динамический граф.>2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?Может быть можно, но python/R/Matlab это индустриальный стандартъ.>3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.Хайкина лучше не читай, книга устаревшая, но вроде там нормальный перевод на русский язык. Нормальные книги - это Бишоп, ESL, ну и еще парочка более ориентированных на теорию.>4. Вы (Пайтоновцы) все вот так ходите?Ты посмотри что такое R и тогда поймешь, что Python это мана небесная.
>>1590110> Ты посмотри что такое R Единственный вменяемый язык обработки данных, который просто поставил в два клика и просто пользуешься без всякого пердолинга и дрочьбы из-под колена? Надо 10 разных версий - просто ставишь 10, и для каждой любой набор либ, которые можно просто вручную скачать и распаковать. И все это будет просто работать!
>>1589333>Я байтоеб с большим опытом, учился на фундаментальной математикеТо есть даже по специальности не устроился.>Глубокого ИИ нет и не будетОбщего в смысле? Будет. Просто не на GEMM-подобных вычислениях>Математика в продакшене не нужнаВ продакшене и мы не нужны, дал модель и код который эту модель вызывает, программист разберетсяИсключение, если тебе приходится делать собственный инференс с ad-hoc оптимизациями. Я таким занимаюсь как раз, но больше как хобби.>Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программироватьА программисты это прежде всего тыкальщики кнопок на клавиатуре. У нейронок есть тиры, типа1. Обучил на тестовом датасете по туториалу2. Обучил своем датасете3. Модифицировал архитектуру под датасет4. Разработал новый слой под задачуНу и так далее. Ты аж на уровне 1, как и то быдло, которое судит о программировании, глядя на него со стороны. Нормальная движуха начинается с уровня три, когда ты, к примеру, можешь взять и применить подходы, описанные в пейпере efficientnet, для своего time series предсказателя. Для бабок со стороны это выглядит как "дыыыы, они случайно гиперпараметры крутят".>Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"Кнопки. Тыкают.>В чем ваша элитарность, говноеды?В наличии в голове целой суммы знаний, которой у других специалистов нет. Про байтоебов даже вспоминать смешно, байтоебов разве что ПТУ не готовят.>Ведь вы и не математики и не программисты, а ваша работа скучна до невозможного. Работа исследователя в коммерческой фирме точно не скучна, ведь если нейронка работает плохо, твой проект (в лучшем случае, а то и тебя) выкинут на мороз, а если она работает хорошо, ты уже не нужен и впереди новый проект. Тяжелая работа, но зато без рутины, как в случае с программированием, когда ты знаешь, что если задача не будет решена за день, то за неделю точно будет решена.
В нейронках полный ноль. Но интересует тема rules extraction. Есть что нибудь наглядное по теме, что можно пощупать и посмотреть? А тт одни пейперы кругом. Ну к примеру: обучаем нейроночкк обыгрывать в крестикинолики/шахматы/го, выделяем из нее правила в виде скажем конечного автомата, который буквально говорит - в такой ситуации ходи конем.
>>1591213>выделяем из нее правила в виде скажем конечного автомата Ну будет у тебя правило "умножим матрицу A на матрицу Б, и если результат меньше 0.12345, делай то-то". Легче станет?
>>1591213Нейрон очки не причем, тебе нужно rule mining. Алгоритмов полно на самом деле, всякие apriori итд. Обычно к ним есть и визуализация полученных правил в виде графов, таблиц, чего угодно. Конкретный пример - в R это либы arules, arulesViz.
>>1591226Прикольно. А почему нейроночки не причем? Речь как раз о том, чтобы она обучилась что то делать, а потом это выразить простыми инструкциями.
>>1591227> А почему нейроночки не причем?Потому что они для этого не нужны. Почитай про вышеупомянутые алгоритмы, как считаются support, confidence, lift итп коэффициенты релевантности правил, там очень простые формулы и все работает без всяких нейроночек.
>>1591247Пытаюсь в него вкатиться, вот думаю насколько ахуенная тема, ибо чет всякие пиздапсевдоинтеллектаулки туда вкатываются и мне страшно стало, что это очередная зумерская хуйня.
>>1591248Нет более зумерской хуйни, чем боязнь зумерской хуйни. При бумерах такого не быломимо гомосексуал-миллениал
>>1591670Вот бы сейчас слушать что наука а что нет, от малолетнего дегенерата, верующего в плоскую землю, эфир, вред прививок и дальше по списку скреп типичной колхозной пидарашки.
>>1591750Вопрос об основаниях математики и о том, что представляет собой в конечном счёте математика, остаётся открытым. Мы не знаем какого-то направления, которое позволит, в конце концов, найти окончательный ответ на этот вопрос, и можно ли вообще ожидать, что подобный «окончательный» ответ будет когда-нибудь получен и признан всеми математиками.«Математизирование» может остаться одним из проявлений творческой деятельности человека, подобно музицированию или литературному творчеству, ярким и самобытным, но прогнозирование его исторических судеб не поддаётся рационализации и не может быть объективнымГерман Вейль
>>1591753> Вопрос об основаниях математики и о том, что представляет собой в конечном счёте математика, остаётся открытым.Оставался до 1907 года.
>>1591753Алсо, ты случайно не тот дегенерат, который заявлял, что числа не имеют никакого отношения к математике?
>>1592071Тред оснований проебали. Я пару раз перекатывал, но смысла нет, там полтора дегенерата сидят, если не один пучкист.
>>1591827Они часто выкатывают свои решения после окончания соревнований. Ищи в discussion и notebooks
Суп двоч, делаю себе подобие сервера с видеокартой, чтобы считать всё на удаленной машине. Есть какие-нибудь готовые подобия вебморд на неё, чтобы там выводить прогресс, температуру видеокарты, оставшееся время итд. Я так понимаю tensorboard примерно то, что я ищу. Ещё хотелось бы, чтобы была очередь задач. Если например разные архитектуры на одном и том же датасете тренировать и кидать их в очередь, чтобы сервак не простаивал.
зумер-вкатывальщик итт. Надеюсь, кто-нибудь разбирался с Hindsight Experience Replay. Как эту штуку адаптировать под какой-нибудь mountaincar или шахматы, где мы не знаем состояние-цель? И как потом обученную модель запускать? в неё тоже цель передавать?
>>1578978 (OP)Аноны, посоветуйте плиз. Начал изучать машинное обучение месяц назад. Хочу сделать свой реальный проект (посколько мне всегда было проще учиться разбирая что-то сложное, либо решая какую-то настоящую задачу). Возникла идея написать приложение по распознаванию лиц. Напишу подробней, у меня на кафедре установлены IP камеры. Одна из них смотрит на входную дверь кафедры. Идея приложения в следующем. Есть БД с фотографиями студентов кафедры. Есть нейронка, которая обучена распознавать лица. Хотелось бы сделать следующее: когда приложение запущенно, оно считывает изображение с камеры, распознаёт лица и сравнивает с теми, что хранятся в БД. И делает это непрерывно. В тот момент когда появляется человек, лицо которого не занесено в БД(потенциальный нарушитель), приложение выдаёт отчёт о том, что проник кто-то посторонний. Вот в целом такая штука. Я поверхностно рпошёлся по OpenCV, но было бы лучше если бы я сам обучил нейронку (для получения практического опыта). Хочу спросить у знающих анонов, как бы вы спроектировали такое приложение? Может быть подскажите библиотеки, возможный план разработки, и вообще что-то важное по этой теме. Буду очень благодарен!
>>1593556>Есть БД с фотографиями студентов кафедры. Есть нейронка, которая обучена распознавать лица.Распознать лицо вообще и распознать лицо Сидорова - это совсем разные вещи. Тебе придётся обучить нейронку распознавать именно Сидорова.
>>1593599А как ты думаешь, вариант ли использовать 2 нейронки? Т.е одна отвечает за то чтобы вообще на изображении найти лица, а вторая сравнивает с теми лицами, которые есть в БД? Или для этих вычислений потребуются слишком большие ресурсы?
>>1593556К машинному обучению этот проект отношения не имеет. Нужно написать фронтэнд к библиотеке dlib и взять где-то библиотеку для knn.
Распознавание лиц это 100% технология электронного ГУЛАГа, кроме скреп гостеррора - ограничения прав и свобод человека и нарушения конституции любой минимально цивилизованной страны, эта тема применений не имеет. С такими вопросами сразу проследуйте нахуй, пожалуйста.
>>1593742Лол, ты действительно веришь что рано или поздно такую систему не сделают? Когда будут внедрять что ты будешь делать? Отписываться в тредике?
>>1593752В китаях это давно уже работает. Вот только в тех же в китаях было показано, что заинтересованными лицами это элементарно обходится, а по факту эта технология нарушает право обычного человека на неприкосновенность частной жизни, собирая данные на всех для гебухи.
>>1593777Это всё понятно. Я же уточнил, я не планирую в системе при распознавании указывать данные человека. Есть только 2 параметра: есть ли он в БД или нет, т.е сотрудник/студент ли он, или какой-то левый чел. По факту данные обезличены в этом случае. А вообще, кто-то знает какие-либо правовые документы, регламентирующие использование системы распознавания лиц?
>>1593777> право обычного человека на неприкосновенность частной жизнитебя дома в туалете снимают? вроде нет
>>1593794> А вообще, кто-то знает какие-либо правовые документы, регламентирующие использование системы распознавания лиц?Это по-сути слежка, внешнее наблюдение. Законно только по решению суда. Но в Блинолопатии всем похуй, была новость, кто-то даже в суд подавал по поводу незаконности распознавания лиц в общественных местах и на мероприятиях типа митингов. Закончилось ничем. >>1593802> тебя дома в туалете снимают? вроде нетПричем тут дома в туалете? Слежка в общественных местах на каком основании? Алсо, может быть и в туалете снимают, камеры на телефоне у меня не заклеены.
>>1593996Никогда не понимал копротивляющихся против своих прав и свобод. Чем вам мозги моют, это же вообще противоречит истории всего живого. Даже безмозглая амёба никогда не будет что-то делать против себя, это абсурд. Как человек может топить против прав человека? Это бред полный.
>>1594001Ты же тот самый петух, который что-то против математики квохчет, с тебя-то что взять. Мой предыдущий пост к тебе вообще не относится.
>>1578978 (OP)Аноны, поясните, в чём отличие deep learning от machine learning? Насколько я понял, разница в решаемом круге задач? Может кто-то подробней объяснить?
>>1594352deep learning это подобласть machine learning, которая фокусируется на обучении многослойных (больше трех слоев) нейросетей. Сейчас термин сильно изжил себя, потому что любые нейросети сейчас это deep learning, за очень редким исключением, и в основном термин применяется для хайпа
>>1594413>>1594415>>1594352Я что-то не понял, с десяток лет назад Andrew Ng на своём курсе говорил что Deep Learning - это когда фичи извлекаются автоматически, а не задаются человеком заранее. Что изменилось? Все поняли что этот подход не работает и пришлось переобуваться?
>>1594470>Все поняли что этот подход не работает и пришлось переобуваться? Я почти начал тебе отвечать, но увидел эту нечеткошизу
>>1594596Ну блё, а если серьезно? Мне выше (>>1587284) насоветовали торча установить. Пытался вчера твой торч поставить, а он не ставится. Места ему не хватает. Три гига ему освободил - все равно не ставится. Тензор флов пока ставить не пробовал. Он тоже попросит всю порнуху с диска удалить?
>>1594616Это я советовал. Че-то ты долго раскачивался.Нужно двойное место, для установки и для временно скачанного пакета. Порнуху можешь на гугл драйв залить, установишь, удалишь whl файлы из кэша пипа и скачаешь назад.В плане места они должны быть плюс-минус одинаковые.
>>1594691Порнуха по всяким AppData\Roaming и AppData\Local раскидана. 7.45 гигов порнухи. Еще в папке Windows 22.3 гига порнухи.
>>1594932Ок, завтра выпилюсь. Апельсинку мне на могилку принесешь. Ну или эту, не апельиснку - на апельсинки у меня аллергия, притарабань короч конфет этих. "Батончики". Вкусные, бля пизда. Раньше такие были. Сча не найти. Ну ты найдешь, бля ты ж шаришь. Короч, штук 10 притарабань - чтобы заебись было.
>>1578978 (OP)Решил вкатиться в маш-об и стать дата-сатанистом, что скажете про этот курс от Яндекса?https://praktikum.yandex.ru/data-scientist/Сам офисный планктон и не занимался программированием раньше, но узнал про маш-об и что там много платят и решил вкатиться. А в этом курсе обещают обучить новичка, да еще первые 20 часов бесплатно.
>>1595135Курсы это наёбка на деньги. Ничего тебе не мешает найти бесплатные(или очень недорогие как на курсере) либо читать книги.
>>1595089Ух как сложно-то, запомнить, что True - это 1, а False - это 0.А мог бы что-нибудь типа None or [] и [] or None запостить, хотя и то и другое будет интерпретироваться как False в условиях
Антоны, я все думаю, как улучшить свою OCR.Сейчас сама сеточка требует очень много памяти в силу разрешения картинок Есть идея разделять текст на строки и обучать на одной строке, а после выдавать все на вход еще одной LSTM сети, которая имея весь контекст сможет поправить текст.Либо нужно как-то изменять саму архитектуру сети, что мне немного лень делать.
>>1595706>Сейчас сама сеточка требует очень много памяти в силу разрешения картинок>Антоны, я все думаю, как улучшить свою OCR.Очевидно, что докупить памяти.
>>1595779Но проблема с размером все равно никуда не уйдет же, Анон.Чем длиннее последовательности и больше разрешение картинок, тем больше памяти требуется.
Аноны, поясните нормирование. Допустим, использовал самое простое для обучающей выборки x=(x-xср)/xмакс. Когда использую нейросеть для новых данных, мне их нормировать по старым значениям y=(y-xср)/xмакс или как?
Меня волнует один оче важный вопрос. У меня есть фреймворк, не важно торч или тензорплов, у них градиенты аккумулируются похоже. Я хочу тренировать на них простую рекурентную сетку. Как мне это сделать, чтобы каждый раз, когда я прогоняю форвард, у меня не считало все операции с самого начала? Можно ограничить количество шагов и как? А если я хочу например запихнуть ее вмести с другой сеткой, а там куча операций? Как избежать переполнения памяти? Очень нужно, ничего по теме не нагуглил. Желательно ткнуть в место где это решается на пайторче.
>>1596139Ты ошибаешься. Rnn всегда разворачивается в фидфорвард сетку длиной в 5-10-100 степов. Дальше есть вариант сохранять предыдущий стейт между батчами или нет, но градиент так далеко распространяться не будет.Гугли фреймвокрнейм backpropagation in time. Ну и внимательно пройди туториал по самостоятельной имплементации рнн без фреймворкомагии
>>1596191Но если у меня неограниченная последовательность? Нет батчей, то есть батчи по одному входу. Где-то можно указать количество шагов? Потому что по сути если я правильно понимаю, то все тензоры сохраняют историю и при прогоне backward метода эта история задействуется. Нерезонно сохранять историю на тысячи и тысячи шагов. Или в фреймворках какраз таки встроенные рекурентные сети не сохраняют эти шаги? Я знаю что можно удалять историю когда угодно, но опять же мне нужно все еще сохранять определенное количество шагов. Ну и так как я хочу вставить эту сетку как матрешку в большую модель, то нужно удалять шаги во встроенном методе, а не в самом обучении.
>>1596198Ну я же сказал тебе что загуглить. Вот первая ссылкаhttps://stackoverflow.com/questions/53912956/truncated-backpropagation-through-time-bptt-in-pytorch
>>1596210Я всё прогуглил. Нихуя не понятно. Что это за значения и откуда мне их брать? Какие переменные мне подчищать и по каким узнавать какие?
>>1596139Короче, решил я эту проблему, но не уверен, правильно ли. В гугле ответов я не нашел, там где у людей такая же проблема никто не пишет, а предлагают только чистить память каждую эпоху. В доках я проверил у торча написано что nn.lstm на выходе дает output, в котором все шаги t. Если я правильно понял, то можно просто удалить отсюда ненужные шаги и все будет нормально. Так и сделал, написал чтобы detach вызывался на первый элемент тензора по нулевой оси, а затем перемнной output присваиваю ее же саму только в качестве среза без первого элемента. Хуй знает будет ли это работать.
>>1594611А есть какое-то развёрнутое объяснение, почему учить тензорфлоу -- ошибка? Я недавно начал вкат в диплёрнинг и картинки, проводил собственное расследование, и оказалось что тензорфлоу намного больше юзают в проде, соответственно найти работу с ним проще, чем с другими фреймворками, это на самом деле не так?Также у тензорфлоу есть развитая экосистема, можно сразу накидать пайплайн для загрузки и обработки данных, и РЕСТ апи для модели сделать и наверняка ещё много чего. У конкурентов такое есть?
>>1596996> соответственно найти работу с ним проще, Аааа, тайдмены, что вы делаете, прекратите! Откуда вы лезете и куда? В названии треда есть слова "центр занятости населения"? С чего вы вообще взяли, что машинное обучение - это про то, как продать дяде жопу занедорого? Проституция (официальное название - "рынок труда") в соседнем треде ("мы вам перезвоним").
>>1597012А зачем ещё вкатываться в машоб? Если хочется просто хочется чего-то сложного, можно настоящей математикой заниматься
>>1596996Вакансий по мл мало по сравнению с остальными кодерскими. Для датасайенса желательно математическое образование, а для нейронок знание крестов.
>>1596996Потому что я уже заебался гуглить какой стиль идиоматичен в этом сезоне, и наблюдать десятки новых deprecated ворнингов в коде, который просто работал. Попробуй для прикола поискать, как сделать lstm в tf2.0. Будешь придираться сквозь десятки ответов для tf1.x которые будут давать тебе очередные депрекейтеды. Гугл поддерживает опенсорс как будто это их внутренняя корпоративная разработка, на юзеробазу похуй.
>>1597012Дело не только в продаже жопы, дело скорее в том, что любой мало-мальски сложный проект почти наверняка потребует дохера спецов с разными скилами, потому что в 21 веке в соло ничего толкового не сделаешь, а от проектов уровня лаба1 никакого удовлетворения нету. Есть идеи как преодолеть это ограничение? Даже если пишешь в опенсорс за бесплатно или соревнуешься на каггле, имеет смысл использовать что-то, что широко используется, чтобы твои идеи куда-то пошли и вообще имели смысл.Ну и кушать то хочется, или ты из тех, кто предлагает днём писать на жабаскрипте, чтобы выполнить задачи БИЗНЕСА, а по вечерам/ночам заниматься нейроночками, в своё удовольствие?>>1597065Я это знаю, я в МЛ вкатился 5 лет назад, когда ещё такого хайпа не было, и тогда было по-настоящему мало вакансий. Сейчас просто пытаюсь перекатиться из скучного МЛ (табличные данные, старые методы) в супер прорывной новый МЛ с нейросетями и смузи, но это не очень просто мне даётся, очень много противоречивой информации вокруг.
>>1597075Я сталкивался с этой проблемой, не конкретно с lstm, но с тем, что очень много ответов на стэк оверфлоу и ещё много где касаются первой версии, а вторая очень очень сильно отличается. По правде говоря это не проблема поддержки гугла или тензорфлоу как такового, просто процесс смены мажорной версии это всегда напряжно, тоже самое было с питоном, тоже самое было с кучей разных фреймворков и тоже самое будет с пайторчем в своё время. Когда тензорфлоу2 был альфа, проблема стояла ещё острее, потому что даже ссылки на оф. доку вели на первую версию, сейчас уже немного лучше, со временем инфа, касающаяся первой версии самоочистится, это нормальный процесс.С другой стороны, претензии к гуглу рили необоснованны, они выпустили дофигища материалов к выходу 2 тф, и документацию норм написали, и обучающие статьи на офф сайте. Не каждый "настоящий опенсорс" фреймворк так заморачивался.
>>1597151>Ты статистику по пейперамГовноед, опять со своими пейперами? Ну хоть кто то эти безполезные высеры матанопетушни читает.
>>1597097Я в аутсорсовой компании работаю, продаю жопочасы, здесь проекты подходящие под нейронки очень редко бывают, а на стандартный табличный проект пихать нейронки это безумие.>>1597151Согласен, видел я эту статистику, видел кол-во упоминаний на крутых конференециях в 2018 и 2019 годах, действительно пайторч в академической среде процветает. Проблема в том, что тензорфлоу2 ещё пока что не проявил себя, не набрал аудиторию, а нововведений много, думаю нужно ещё подождать, пока картина не прояснится.>>1597504Ну давай, расскажи мне: Чешские программисты. Сайт за выходные. Миллион долларов из бюджета?
У меня следующая задачаЕсть паблик ВК с анкетамиhttps://vk.com/hikkyznakomstvaДля всякой статистики хочется из анкеты уметь получать пол человека (не всегда он явно указан).Векторизация через TF-IDF на 30000 фич + Linear SVM дают accuracy около 80%.Есть какие-то идеи, как ещё это можно сделать?
>>1578978 (OP)Анон, как вкатываются в "Нейронные сети"?Очень интересно это направление. Пока что прохожу курс MIT "введения в компьютер сайнс" и изучаю общие принципы программирования (пишем на Питоне 3).Какие дальнейшие действия нужно сделать, чтобы работать в этой области?
>>1597697Поясню свой вопрос: речь именно о том, как парнишке из рашке самостоятельно вкатиться в эту область и делать что-то крутое (проекты уровня создания ботов для яндекс-транслейта)? Может менее масшатбное. То есть, про путь в ИРЛ, а не про теорию. (В шапке ответ дается в более общем виде, про то, какие книги читать и тд.)
>>1597697>Анон, как вкатываются в "Нейронные сети"?Через постель, иначе никак. Все математики через нее проходят.
>>1597728Обожаю русский язык, нейрончики, машоб, Постель (язык программирования Postil, я так понял - выдает на edx ссылку).
Привет двущ, есть задача натренировать сеть видеть объекты на картинках 2045х2048 (16 бит оттенков серого). Размер датасета 6000, но думаю там гораздо меньшего количества хватит, порядка 1000. Вопрос: мне хватит видеокарты с 8гб видеопамяти?
>>1597577Это вот эта толпа васянов?https://tjournal.ru/internet/139477-cheshskie-programmisty-besplatno-i-za-vyhodnye-sdelali-sayt-na-kotoryy-ministr-hotel-potratit-16-mln-evro-ego-uvoliliЭто подковерные игры и хуета, один политик захотел убрать другого, созвал ебланов они наговнили хуеты, типа "ох как нидораха мы сделали", а то что на доведение этой пиздообразии понадобится столько же денег, сколько бы стоил бы "дорогой" проект никто не увидел.
>>1598347Теперь тоже думаю над этим. А если я знаю, что искомый объект на картинке будет не меньше и не больше какого-либо размера, могу ли я сэкономить на промежуточных слоях?
>>1598080> вкатывайся> сам планирую, ибо нет времени самостоятельно гуглить что-тоЕщё у одного зумера вкатывальщика нет времени на раскачку, поэтому он считает, что инфоцыгане с курсами все сделают за него и недорого! Вот реально, давно уже читаю этот тред чисто поорать.
>>1598437Сомневаюсь. Наверное можно какой-нибудь сглаженный clip навесить на размер bounding box'ов, но не думаю, что размер сетки можно будет сильно уменьшить.
>>1598437Можешь receptive field выходного нейрона посчитать и подрезать длину и ширину фильтров.А вообще читай пейпер по efficientnet, там тема эффективных классификаторов закрыта для большинства задач, лучше ты вряд ли придумаешь.
>>1578978 (OP)Сап, двачь. Возможно меня закидают тапками, но... Какие лучше языки учить для практической реализации этого всякого? Что вообще требуется для этого дела, с чего начинать? Да, я сейчас начну читать материал из шапки, но глаза разбегаются, если честно. Дело в том, что я совсем нуб, только поступил на первый курс программошараги и практически ничего на знаю, но тема нейросетей меня заинтересовала.
>>1598757Основы питона(синтаксис, алгоритмы, пару интересных приложений напиши)+библиотеки по работе с данными+математика. Освой хорошо базу (особенно если ты только поступил, значит время у тебя есть). Затем уже смотри машинное обучение, алгоритмы и т.д. (думаю там уже сам разберёшься)
>>1597843> натренировать Ты хотел сказать дотренировать? Потому что иначе 6к датасета не хватит очевидно.> 2045х2048Скейл до 512x512
>>15990516000 объектов это немало, а>Скейл до 512x512Выдает в тебе теоретика, который вообще не понимает, как работают cnn
>>1599227У меня ещё на каждой картинке присутствуют все классы. Будем копать. Боюсь до 500 пикселей у меня ужать не получится. По идее это же все можно высчитать, сколько жрать будет. https://datascience.stackexchange.com/questions/17286/cnn-memory-consumption наверное актуально ещё
>>1599276Если тебе нужно 500 пикселей, ты делаешь первый слой с числом фильтров 1 и страйдом 4, и все, на втором слое у тебя будет 500 пикселей, а как именно даунскейлить нейронка уже сама решит. Или 2 слоя со страйдом 2 - так будет быстрее за счет экономии на ширине фильтров. Памяти это съест сам посчитай сколько, лишних 16 мегабайт, ну и на несколько процентов упадет скорость. Это намого проще, чем каждый раз пилить ad-hoc датасет. Да и если не влезает, скорее всего лучше разрезать твои 2000 пикселей на картинки 512х512 с 50% перекрытием, чем даунскейлить.Сетка такого рода у тебя влезет всегда, даже на 4 гб карточку, вопрос в том, какой батчсайз у тебя будет, 16, 32 или 48, а это уже будет влиять на скорость обучения (с меньшим батчсайзом нужно уменьшать лернинг рейт), но на итоговое качество влиять будет минимум.
>>1599292У меня вообще на картинках довольно яркие объекты (локализированы), а вокруг просто чернота. Думаю может просто перед этим через трешхолд обрезать все вокруг.
Поцаны. Кто-нибудь шарит в трансформерах? Я весь код прошерстил, все популярные и неочень статьи перечитал, но так и не понял. Где брать target sequence то есть output который входит в декодер при первом атеншене? Судя по тому, что используется маска на будущие слова, этот выход мы имеем еще до запуска сетки. Очевидно что когда мы хотим воспользоваться сеткой, мы еще не имеем ее результата. Тогда что туда вставлять не зная выхода заранее на позицию output/tgt?
Дорогие аноны, добрый день!У меня не самый очевидный вопрос и, возможно, совсем не по адресу. Дело в том, что я хочу исследовать некоторый класс видеороликов на youtube для сравнения их технических данных (например, скорость смены кадра, динамику, цвета, да и вообще всё, что можно). Однажды мне нашептали, что это можно сделать только с помощью нейросеточки. Внимание, вопрос: насколько меня наебали и, если нет, насколько невозможно исполнить такую машину, анализирующую класс роликов? Всем ответившим заранее мешок чая.
Антоны, я вот думаю, как можно сделать субклассы? У моих классов есть много общих деталей, их даже можно свести до них, как бы этой информацией воспользоваться.
>>1600460Странно вообще. Можно это сделать любым способом, хоть простыми elif выражениями. Естественно тебя наебали, нейроночка тут никаким местом. Но вообще вопрос в том, как именно тебе надо эти видео анализировать.
>>1600460Ну ты вначале пойми, что ты хочешь. Скорость смены кадра – плотность ключевых кадров? Динамика цвета, что это?
>>1600575Не совсем понял вопрос (вероятно, потому что в проганьи я ламер пока что и слабо представляю как это возможно вовсе). По-хорошему нужно бы найти все схожие технические черты их создания (от схожих появляющихся персонажей до динамики смены кадра, как и упомянул).
>>1600618Про плотность похоже на правду! А вот как понять, чего я конкретно хочу, если мне неизвестны возможности технического анализа?( Хочется в итоге разобрать все особенности класса роликов, которые делают их близкими (помимо их авторского определения). А вот какие тут могут быть параметры – уже вторичный вопрос для меня, который зависит от доступных методов!
>>1600637Так тебе нужно просто статистику? Тогда в чем проблема? Сделай скрипт чтобы собрать информацию по роликам, а потом построй графики. Matplotlib для построения графиков в питоне подойдет. Думаю не будет и проблемой найти в интернете библиотеки для обработки видео.
>>1600576А как его использовать вместе с моей моделью тогда?У меня распознавание иероглифов ведется, я прогоняю картинку с текстом через CNN и вектор признаков идет в LSTM. Все иероглифы можно свести к паре сотен радикалов(составные части).
>>1596996Учить тензорфлоу ошибка потому что на самом деле ВСЕ фреймворки примерно одинаковые между ними разница примерно как между различными библиотеками для линейной алгебры. Основная причина не учить тензорфлоу новичку это кривое Апи и то, что. tf2.0 это практически другой Фреймворк.
>>1600593https://stackoverflow.com/questions/53033556/how-should-the-learning-rate-change-as-the-batch-size-changeВообще там правильно говорится, что с adam'ом это не так актуально, у тебя с бОльшим батчсайзом сетка просто быстрее сойдется, а lr можно не трогать
>>1597866Я согласен с этим тезисом, посмотри в каком контексте я написал своё сообщение и на что я отвечал. >>1595135Если только из-за бабок, то рекомендую всё-таки посмотреть на жабаскрипт и веб, или ещё что-нибудь альтернативное. Если совсем нет времени и бросить/приостановить основную работу нет возможности, попробуй войти тестером и дальше уже по ходу дела доучиваться, вращаясь в айтишной среде. Дата сатанистом сразу зайти я бы сказал сложновато, по крайней мере в моём регионе.>>1598802Нужный факультет; курсовые; дипломная работа; курсера, едх, удасити; куча собесов, большинство из которых я слил просто в 0; десяток обещаний перезвонить и разочарование в МЛ; желание стать просто прогером; внезапно подвернувшийся самый последний-препоследний собес; внезапно получил оффер прямо в конце собеса.На самом деле можно целую простыню на эту тему написать, но наверное это не так интересно. Сейчас войти в ДС намного проще, по моим ощущениям требования ниже, вакансией больше, ЧСВ у собеседующих меньше. тем не менее, вкатывальщикам я всё равно советую посмотреть на что-то другое
>>1600957Ну ты определись тогда, ты классифицируешь или просто прогоняешь свертку. На кой хер тебе тогда дополнительные классы? Или ты пытаешься свою же нейронку обхитрить? Вообще я бы тебе посоветовал сделать распознавание, а потом иероглифам присвоить ембеддинги, потому что врятли твоя CNN справится с задачей обработки натурального языка. Хотя даже если ты и попытаешься, то это просто невыносимо смешно делать это без полносвязного слоя, потому что свертка изображения это очевидно не лучший способ представить лексическое значение.
>>1601144Полносвязный слой можно рассматривать как частный случай сверточного слоя с valid пэддингом и шириной фильтра во всю картинку предыдущего слоя. Если у тебя ширина меньше, ты просто рассчитываешь более мелкие нейронки со сдвигом. Поэтому fully convolutional networks не хуже олдскульных с персептроном в конце
>>1600480>У моих классов есть много общих деталей, их даже можно свести до них, как бы этой информацией воспользоваться. Нейронка уже этой информацией пользуется.
Аноны, выручайтеКакие сетки используются для решения задач регрессии?Я пока нашел только mlp, rbf, grnn, но по сути это же вроде как все вариации mlp. Неужели нет какой-то суперпиздатой структуры чисто под регрессию кроме mlp?
>>1601144У меня не только CNN же, она работает вместе с LSTM, где языковая модель и формируется.В самом начале сеть InceptionV3, со слоя Mixed_5d я подаю все в LSTM.> Или ты пытаешься свою же нейронку обхитрить?Ну типа того, я же не могу узнать, насколько она успешно сама использует эту информацию.
>>1601170Нет>>1601440Может у тебя проблема в структуре данных, а не в том, что решается задача регрессии? Потому что я не вижу проблем с полносвязным слоем на выходе сетки.
Так ли нужен softmax в бинарной классификации?После получения модели - вот такой вот пиздец. Что делать?
>>1602165Да, сначала посчитай точность (и на трейне, и на тесте). Ещё проверь, правильно ли ты таргет скармливаешь. Там же наверняка one-hot нужен.
>>1601822На основе гауссовских процессов это же и есть вроде как радиально базисная сеть?Rvm с ядром имелись ввиду опорные вектора?
>>1601622Смысл в том, что LSTM с аттеншионом имеет языковую модель и может додумывать символы, которые CNN не может разобрать.
Кстати, Аноны, имеет ли вообще смысл обучать нейронку на цветных текстах, если можно через препроцессинг превратить любую цветную картинку в черно-белую и с помощью инвертации цветов получить черный текст на белом фоне?
>>1584363напиши даталоадер, посмотри в доке торч. что-то типо class loared(Dataloader):init: dataframelen: len(dataframe)getitem: return dataframe.iloc[idx]
>>1601143О, ты прям как я. Одна из серьёзных проблем вката для молодёжи - практически нет предложений частичной занятости.
>>1603348Имеет. Не меняй данные, меняй архитектуру под данные. Чернобелынизатор это просто слой 1х1 свертки из 3 каналов в 1. Естественно слой посложнее сможет заодно и каналы сплющить.
>>1603486>частичная занятость>для молодёжи>датасаенс и машобКогда вы поймёте, что в этой сфере вас даже обучать серьёзно никто не будет, если у вас нет вышки близкой к сфере и нескольких проектов? На работу вообще без магистра тебя врятли возьмут. Это в нашем снг еще так, на западе еще труднее, лол. Комерческим мл занимаются эльфы в волшебной стране, а не тайдмены как ты.
>>1603578Стажировка в яндекс по млю такая же как и у разработчика, просто спрашивают теорию + задачки.
>>1603578> если у вас нет вышки близкой к сфереПо МЛ пока что обучают в 0,5 ВУЗах. Но индустрия требует больше специалистов.
>>1603829Да ладно. Нейронки, конечно, не панацея, но, порой, существенно облегчают задачу для финансистов, банкиров и трейдеров, для инженеров-робототехников, для всяких биологов, медиков, химиков и прочих естественнонаучников, для лингвистов.Даже если строить цифровой гулаг, то МЛ очень даже пригодится - что и происходит сейчас в РФ - привет Грефу, Сбербанку, Мишустину и правительству.
>>1603836>для финансистов, банкиров и трейдеровНет >для инженеров-робототехниковНет>биологов, медиков, химиков и прочих естественнонаучниковНет>для лингвистовНет
>>1603852>Твоё видение ситуации и перспектив?К настоящему ИИ даже на пол шишечки не подступили, а если подступят, то торпедируют.
>>1603873А кто говорит про полноценный НИИ?Я говорил, что даже несовершенные текущие нейронки облегчают жизнь. И сфер, где он могут так или иначе помочь - много.
>>1603893Что, правда? На каком-нибудь амазоне или ебэе тоже? Тебе же подсовывают товары на основе того, что ты искал или покупал.
>>1603898>Тебе же подсовывают товары на основе того, что ты искал или покупал.И как это относится к моей следующей покупке? Типа купи еще раз что то подобное?
>>1603900Лол, это же в учебниках и курсвах по МЛ объясняют.Они анализируют людей, которые купили то же самое, то и ты, и их другие покупки. И вот эти "другие покупки", которых у тебя нет, тебе и предлагают.
>>1603903>Они анализируют людей, которые купили то же самое, то и тыОк, это обыкновенная статистика без магии>тебе и предлагаютГовно которое мне не нужно
>>1603907>Ок, это обыкновенная статистика без магииНейронки с машобом и есть статистка, только продвинутая.Тебе не надо ручками считать, только получить, почистить данные и правильно построить модель.А ту думал - это универсальная пилюля от всего?
>>1603908>Нейронки с машобом и есть статистка, только продвинутаКонечно, нужно же все усложнить что бы было модно и в тренде
>>1603852> Окей. Твоё видение ситуации и перспектив?Я не он, но отвечу. В Блинолопатии с машобчиком перспектива одна - идти в какой-нибудь *плешькринжнадзор пилить электронный ГУЛАГ, всякая антиконституционная херня про распознавание лиц, обработку банковских данных без ведома людей, анализ телефонных переговоров итд. Ничего умного не сделают, разумеется, по-сути это что-то вроде Лахты.
>>1603924Ну тут пока работают филиал иностранных контор или аутосорсеры.Так что причастится к машобу таки можно. А потом эмигрировать.
>>1603506А, окей, все равно я уже понял, что изначальная идея была говном, так как подобный препроцессинг не панацея, архитектура позволяет.Сейчас смог генерировать шрифты с outline, сделал им разные размеры и цвета, увеличил датасет в 2 раза и надеюсь, что результаты будут получше, пока у нее нет достаточной инвариантности.
>>1578978 (OP)Как запрограммированы НН? Там тупо кодsloy1 = new float[sloy1size];sloy2 = new float[sloy2size];...for(s1=0;s1<sloy1size;s1++)for(s2=0;s2<sloy2size;s2++)sloy2[s2]+=someFunc(sloy1[s1]);
Антоны, есть где-нибудь гайд, как визуализировать аттеншион?У меня работает все через tf.contrib.legacy_seq2seq.attention_decoder
>>1603908Нет там статистики. Ошибки не оценивают, под контролем их не держат. Вместо строгих полученных теоретически значений ошибки только еррор-рейт в продакшене. Никаких определенных способов снизить этот рейт кроме глорифайд перебора типа полученных опытным путем (считай ручной перебор всем дата-саенс коммьюнити) знаний какая архитектура лучше под задачу или автоматизированный подбор гиперпараметров. Ни один алгоритм обучения сетки не гарантирует в строгом смысле хоть какое-то значение ошибки на тесте, даже в предположении, что данные из одного распределения взяты.
>>1605915>Нет там статистики.Да ладно.Задача статистики - сбор, анализ и обобщение информации с целью установления закономерностей.И машобчик занимается сбором, анализом и обощением инфомации, с целью получения модели, которая будет работать на прочих подобных данных.Нахождение оптимального и эффективного решений - тоже задача статистики.Ничего не напоминает?
А тут кто-нибудь русскоязычным natural language processing занимается? Пытаюсь в topic modeling въехать. Тут в ком-нибудь мои мытарства могут отрезонировать, или я не по адресу?
Ученые, поясните за все эти курсы типа DS с нуля от slillbox, Яндекса и прочее такое, где тебе за час объясняют путь от хелловорлда до построения графиков в юпитере. Так вообще реально можно чему-то научится кроме переписывания кода с видео? Типа они вообще хоть какую-то базу даже не проходят, скипают алгоритмы и прочее, и просто начинают сразу использовать разные готовые библы для дата анализа? Я просто хочу навернуть некоторые такие курсы, не обязательно платные, чтобы просто получить большее представление об индустрии в целом и понимать куда развиваться, но для начала осваиваю базу и алгоритмы. Как без всего этого вообще люди проходят эти курсы? Туда одних гениев принимают, или они в любом случае проходят базу "по быстрому" первые полгода, но под соусом ML+DS типа чтобы людей привлечь? Иначе же это какая-то бездумная хуета получается, типа у тебя на выходе есть парочка готовых проектов, но без понимания того, как они вообще работают?
>>1607507Смотри как бы самого не подвинули, когда питонщики начнут в сишарп вкатываться имея большой опыт нейрончиков+python
>>1607590скиллбокс - залупая полнаяяндекса - ты про практикум? слышал от пары знакомых, что вроде годно
>>1607590Вываливают кучу инфы за короткие сроки. Можно окончить в принципе на троечку, но смысл тогда пропадает - это не корочка Кембриджа или Гарварда.
>>1607590Там наверное имеется ввиду, что ты уже умеешь прогать и знаешь математику на уровне первых 2—3 курсов техвуза/матвуза/пми
Как работает partial_fit в sklearn? В чем отличие от онлайн обучения? Как дообучить готовую модель vowpal wabbit?
>>1608685Из-за слишком большого learning rate тебя вышибает из минимума назад на неоптимальную поверхность. Снизь его раз в 10, убывать будет дольше, но более стабильно
Хотя, судя по периодичности, ты между эпохами не мешаешь данные, в итоге циклично идут данные с хорошим перформансом, потом плохим, и так далее. Мешай данные между эпохами, а еще лучше напиши аугментирующий на лету генератор, пусть процессор тоже пыхтит во время обучения
Посоветуйте, где научиться машобу в проде. Накидать модельку в Юпитере - это хорошо, но мало: хочу научиться это переносить, интегрировать, по-нормальному проектировать, оптимизировать - короче, техника. Плюс интересует tensorflow 2+ и pytorch - где их учить.
>>1578978 (OP)Есть ли эта вся тема на node.js ? А то хочется вкатится, я писон учить ну совсем не хочется.
Кому надо молиться, чтобы чрезмерно громоздкий и возможно полностью неправильный код запустился с первого раза?
>>1608771Я юзаю one cycle policy, вероятно слишком большой максимальный шаг поставил, переставлю на 100к>>1608776> Хотя, судя по периодичности, ты между эпохами не мешаешь данныеМешаю.
Аноны есть мануал более менее толковый как в этот ваш машоб вкатиться ? Хотябы список тем в правильно порядке.
Вы ребята вкурсе за process mining? Это какая-то полезная штука, или можно проебланить все лекции в унике по этой теме?
>>1610729Какой смысл смотреть код? Если у тебя проблемы в коде, то сам решай, сейчас не такое время, что в одностраничной нейронке не разберется восьмиклассник. У тебя же скорее всего проблема с малым датасетом. Если сет маленький, то и обучать нужно меньше, а там где у твоей модели лосс начинает расти, там и твой минимум глобальный для данного сета.
>>1611229>Какой смысл смотреть код? Потому что проще сразу получить указание, что не так, чем неделю сидеть и выискивать ошибку.Заодно, может рекомендации по построению самого кода будут.Можно подумать, что если бы всё так просто было, тут бы кто-то отписывался.
>>1611251Потому что по итогу я получаю не то, что ожидаю. Да и взгляд более опытного специалиста не лишний.
Знающие люди, прошу совета. В целом смотрю на применения ML, DL, нейроночек, вот этого всего дела и мне нраицца. Хотелось бы вкатиться в это дело. Проблема в том, что я смотрю на начинающих и единственное, чему они учатся - писать команды в питоне, не понимания сути происходящего. С чего начинать нубу, что вкатываться не только с точки зрения программирования, но и постигать математическую составляющую. Бэкграунд в виде матана, теорвера, статистики и марквоских цепей имеется.
>>1611282>Потому что по итогу я получаю не то, что ожидаюОх, это ты ещё RL не видел.>>1611336Курс от ods -> cs231n, дальше что интересно.Ну или книги из шапки читай.
>>1611372>Ну или книги из шапки читай.Имеется в виду сначала Гудфеллоу, а потом на дедовские книги перейти?
>>1611734Ты не поверишь, решил сеточкой решить давнишний Титаник.Сетка самая простая: 4 входа, 4 узла скрытого слоя, 2 выхода, софтмакс.Использован стохастический градиентный спуск с лёрнинг рейт 0,003 и CrossEntropyLoss.На валидации в результате такая вот херня.
>>1611815Перемешал трейн/тест? Ничего не забыл преобразовать/нормализовать?залей код на pastebin и кинь сюда
>>1611978Нормализуй данные или замени первую Relu в сетке на tanh.Ещё последние слои поменяй на Linear(..., 1), Sigmoid(), а лосс - на bceloss.
>>1611336>я смотрю на начинающих и единственное, чему они учатся - писать команды в питонЭто типичный кретинизм. Если есть желание, то большинство материала научит тебя и теоретической части.
Реквестирую мнение анона: NLP - Python vs R? В интернете консенсус отсутствует. Знаю и использую оба языка по вопросам, не связанным с NLP, поэтому общую универсальность питона как доп стимул для изучения можно отбросить, интересует конкретно NLP.
Так исторически сложилось, что ни разу не приходилось иметь дело с sql, а как показывают требования в типичных вакансиях- мастхэвГде как учить и разбираться посоветуете?
>>1613660> Ну может кто ещё подсказать?Нахуя ты спамишь вместо того, чтобы посмотреть на свой код?Почему лосс должен падать, если ты к нему только прибавляешь? Нахуй тут вообще какие-то эпохи?Нафига ты заставляешь кого-то скачивать твою хуету, когда тебе написали "залей код на pastebin и кинь сюда"
Кто-то слушал/проходил deepBayes? Там действительно что-то полезное делают или просто Ветров на байеса дрочит и рассказывает охуительные истории?
>>1613670>Нахуя ты спамишьПотому что нужна помощь. Не всё же зумерошизику самоутверждаться за счёт нюфагов.>чтобы посмотреть на свой код?Посмотрел. Дальше что? Я не магистр по мл, не слушатель курсов и не стажёр. Если у меня вопросы возникают, мне не у кого спросить, понимаешь? Интернеты зачастую дают противоречивую информацию.>Почему лосс должен падать,Потому что при обучении он падает.>Нахуй тут вообще какие-то эпохи?А как надо?>Нафига ты заставляешь кого-то скачивать твою хуету,Потому что так notebook с оригинальной csv-шкой, скачай и запускай. Но если ты гадаешь про коду, то пожалуйста:https://pastebin.com/xEWTbH7x
>>1613821>ты его там обнуляешь в каждой эпохеВозможно, потому, что я пример брал отсюда.https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#train-the-network>>1613822Как надо? Убрать циклы и эпохи при валидации/тесте?
>>1613851Спасибо.Ещё раз, пожалуйста. Местами можно поподробнее.1. Обучение. Обучаем мы через цикл for и эпохи. Используем model.train()2. Валидация. Для неё нужен цикл? Используем model.eval()3. Тест. Как он вообще проходит? Просто pred = model(x) ? Или как?
>>1613928>3. джаст гугл итА, как знающему человеку, просто сказать без всяких загадок?Или показать на пастебине.Спасибо.
>>1613858Чувак, прочти хоть одну книгу.Никто тебе тут не будет рассказывать, как составить тебе модель и как обучить ее от начала и до конца.Тебе так лень пойти и загуглить все это? Это не так сложно, в интернете много книг.
>>1613936>Чувак, прочти хоть одну книгу.Непременно.Всё что сейчас мне нужно - одни сраный пример правильно работающей нейронной модели, с помощью которой можно решить этот трижды сраный Титаник.Один пример, от которого в дальнейшем уже можно будет плясать. Вот и всё.
>>1578978 (OP)>Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаНе понял, на том сайте книга целиком на аеглийском? А на русском надо где-то отдельно скачивать?
>>1613942Какой модели, ты понимаешь, что их много?Сверточные сети, персептроны, сети, использующие радиально-базисные функции, gan, seq2seq и куча прочего говна.Ты можешь просто взять и загуглить на гитхабе реализацию того, что тебе нужно.Но лучше взять и прочесть книгу для начала, ибо ты нихуя не поймешь.
>>1613947>Какой модели,Выложенный здесь на пастебине >>1613813Как её причесать, чтобы она заработала?>ты понимаешь, что их много?Понимаю.Разговор не об этом.
>>1613933Да. Ты берешь pred = model(x) и сравниваешь с y_true по какой-нибудь метрике, да например accuracy.> Или показать на пастебине.Ты в курсе, что на kaggle есть открытые ноутбуки, где титаник по кусочкам разобран? https://www.kaggle.com/c/titanic/notebooks включая и решения на пайторче https://www.kaggle.com/parthshxh/machine-learning-with-sklearn-and-pytorch
>>1613961>Да. Ты берешь pred = model(x) Разве не pred = model.eval(x) ?>Ты в курсе, что на kaggle есть открытые ноутбуки, где титаник по кусочкам разобран?В курсе. Чтобы разобраться, иногда надо изобрести велосипед.
>>1613813>>Почему лосс должен падать,>Потому что при обучении он падает.Так ты ж к нему только добавляешь, а на количество пройденных батчей не делишь.
>>1614754Я уже юзаю shuffle_batch, по идее он идет по датасету и помещает элементы в очереди, рандомно перемешивая их.Конфиг такой num_batching_threads=8queue_capacity=3000min_after_dequeue=2000Интересно, что это встречается на больших датасетах, попробую поставить больше размер очереди
Пиздоглазый барин галер наплодит.Китайская компания Huawei создаст экосистему искусственного интеллекта в России. К проекту привлекут более 100 тысяч разработчиков и более 100 партнеров. В инициативу будут вовлечены более 20 университетов. О разработках Huawei рассказал директор департамента интеллектуальных вычислительных систем компании в России Лю Юй в рамках конференции OpenTalks.AI.По прогнозам эксперта, к 2025 году в мире будет насчитываться более 40 млрд умных устройств. Он считает, что к этому времени цифровые помощники будут уже у 90 % пользователей. Подобный прогресс станет возможным благодаря развитию ИИ.Как ожидается, ИИ-экосистема будет работать на базе программируемых нейропроцессоров (NPU) Ascend. Она будет ориентирована на целый спектр сценариев. В настоящий момент благодаря применению ИИ-процессоров Huawei реализовал более 500 проектов в более чем 10 сферах. В их числе, телекоммуникации, энергетика и транспорт.
>>1614802Да, аноны, на самом деле все так и было.Поставилqueue_capacity=20000min_after_dequeue=5000И все норм работает, теперь нет этой хуйни
>>1614901Блджад, теперь мне в голову приходит мысль, что на малых батчах оно не обучалось по этой же причине
ПЕРЕКАТ:https://2ch.hk/pr/res/1614936.htmlhttps://2ch.hk/pr/res/1614936.htmlhttps://2ch.hk/pr/res/1614936.htmlhttps://2ch.hk/pr/res/1614936.htmlhttps://2ch.hk/pr/res/1614936.html
