Программирование

Ответить в тред Ответить в тред
НЕЙРОНОЧКИ И МАШОБ ТРЕД №31 /ai/ Аноним 04/11/20 Срд 01:14:10 18476731
1.jpg 215Кб, 1386x881
1386x881
top31.png 53Кб, 640x400
640x400
mc.png 619Кб, 884x719
884x719
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров: https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущие:
https://2ch.hk/pr/res/1832580.html
https://2ch.hk/pr/res/1817320.html
https://2ch.hk/pr/res/1785952.html
https://2ch.hk/pr/res/1758961.html
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html
Аноним 04/11/20 Срд 04:12:19 18476922
el-arca-perdida[...].jpg 113Кб, 900x600
900x600
Аноним 04/11/20 Срд 10:39:10 18477553
a2aa2512e801dad[...].png 718Кб, 976x1815
976x1815
Нашел в нормальном качестве.
Аноним 04/11/20 Срд 11:34:07 18477734
Кластеризация норм тема для диплома? Не мл, но статистика.
Аноним 04/11/20 Срд 13:14:30 18478455
>>1847755
Не мог в прошлом треде найти
Аноним 04/11/20 Срд 13:36:44 18478566
>>1847755
Помню эту картинку, лол. Сам пару вещей на ней рисовал - сигму и интеграл. С нечетким множеством, к слову, просто траллинг, оно не так задаётся.
Аноним 04/11/20 Срд 13:49:57 18478667
>>1847673 (OP)
У меня друг нубас, начинает изучать программирование и хочет попробовать машинное обучение. Стоит ли ему, если с математикой у него всё плохо?
Аноним 04/11/20 Срд 14:21:09 18478898
Что лучше изучать первым pytorch или tensorflow?
Или может scikit-learn им даст по щам?
Аноним 04/11/20 Срд 14:48:56 18479079
Аноним 04/11/20 Срд 15:10:55 184793210
Мистеры, уважаемые гении машоба. Подскажите, пожалуйста, как взаимодействовать с GPT3 как ее обучить на своей дате? СБЕР обучал на какой то странной дате, она абсолютно не подготовлена и зачастую выскакивает что-то типа "главная/о нас/ блог/". Так же хотелось бы узнать есть ли что-то подобного функционала как реп сбера, только с илоновской моделью.
Очень огромное спасибо за ответы :)
Аноним 04/11/20 Срд 18:00:20 184806211
>>1847932
Сначала поступи в универ на мехмат, физфак, или хороший CS факультет. Лет через 10 примерно будешь знать достаточно, чтобы сделать то, что ты спрашиваешь.
Аноним 04/11/20 Срд 18:12:54 184806712
>>1848062
В айти нельзя через машоб войти?
Аноним 04/11/20 Срд 18:37:30 184807513
>>1848067
Можно, почему нет? Машоб включает в себя кодинг, хотя там это один из необходимых скиллов, а не основной фокус.
Аноним 04/11/20 Срд 21:17:50 184822414
аноны, у меня есть два сенсора глубины (intel realsense)
какие проекты шоб попракачиваться в компьютер вижн с ними можно сделать?
спасибо, друзья
Аноним 04/11/20 Срд 21:37:18 184825515
image.png 1464Кб, 1652x923
1652x923
>>1848224
Рапознавать доски.
Аноним 05/11/20 Чтв 08:35:09 184844916
Может ли классическая статистика конкурировать с нейронками?
Аноним 05/11/20 Чтв 08:54:24 184845317
>>1848449
Не может. Как ты статистикой генерировать изображения, текста?
Аноним 05/11/20 Чтв 09:05:57 184845718
>>1848453
Ну генерировать-то можно. Картинки через РСА, тексты марковскими цепями еще деды генерировали. Говно получается, конечно.
Аноним 05/11/20 Чтв 10:07:14 184847619
>>1848449
прекрасно может использоваться ПОСЛЕ получения ембедингов после нейронок.

Да. Тебе придется и ее учить тоже.
Аноним 05/11/20 Чтв 10:12:53 184848220
>>1848449
Может ли жопа конкурировать с пальцем?
Аноним 05/11/20 Чтв 10:21:51 184848321
Аноним 05/11/20 Чтв 13:28:29 184857422
16038800412550.png 163Кб, 785x629
785x629
Аноним 05/11/20 Чтв 16:25:18 184874023
Есть некий комплексный объект картинка + текст, хочу сделать клстеризацию принимая во внимание обе этих части объекта. Есть модели, которые конвертят картинку в вектор и текст в вектор. По отдельности норм работает. Можно ли как-то, например, объединить эти вектора?
Аноним 05/11/20 Чтв 16:34:01 184874924
Аноним 05/11/20 Чтв 16:40:05 184876525
>>1848749
Спасибо огромное, знаете, мне очень приятно! Вы так благосклонны! Если Вы еще расскажете какие подводные камни есть у сего процесса, так я вообще Вашему святейшеству и ноги, и пальцы ног, и пяточки расцелую!!1
Аноним 05/11/20 Чтв 16:47:11 184877826
>>1848765
Да не бывает ответов на такие общие вопросы, нужно пробовать и экспериментировать. Бредом твоя затея не является
Аноним 05/11/20 Чтв 17:16:15 184879527
image.png 120Кб, 559x349
559x349
Аноним 05/11/20 Чтв 17:43:58 184881828
>>1848449
нейронки - статистика на стероидах как бабушкин
Аноним 05/11/20 Чтв 17:49:24 184882129
image.png 813Кб, 960x720
960x720
image.png 761Кб, 960x720
960x720
>>1848818
Так нейроночки в школе учат получается?
Аноним 05/11/20 Чтв 17:54:44 184882530
А вероятностное программирование это что
Аноним 05/11/20 Чтв 17:54:58 184882631
>>1848821
линейная регрессия + функция активации = нейрон
Аноним 05/11/20 Чтв 21:16:43 184900632
>>1848825
Тащемта, в парадигме вероятностного программирования очень удобно строить нейронки. Я бы даже сказал, что элементарно.

Вероятностное программирование удобно для классификации и прогнозирования. Однако каких-либо инструментов для reinforcement learning и generative models оно не даёт.
Аноним 06/11/20 Птн 01:09:54 184921233
>>1848825
Какая-то юзлесс дрисня, судя по всему
Аноним 06/11/20 Птн 05:33:25 184925834
15930006957370.gif 391Кб, 652x562
652x562
>>1849212
>Какая-то юзлесс дрисня, судя по всему
Аноним 06/11/20 Птн 07:31:18 184927935
>>1849258
Назови хотя бы три юзкейса.
Аноним 06/11/20 Птн 14:24:06 184955636
>>1849279
1. Модно
2. Стильно
3. Молодежно
Аноним 06/11/20 Птн 18:36:06 184981737
>>1849556
Что и требовалось доказать, говно без задач.
Аноним 06/11/20 Птн 21:08:11 184996038
>>1849279
1. Прогнозирование
2. Мат. основа для нейронок
3. В некоторых задачах вероятностное программирование даст лучший результат, чем нейронки, которые жрут дохуя.
Аноним 07/11/20 Суб 18:14:08 185059739
2020-11-07-1808[...].png 263Кб, 950x405
950x405
Добрый день. Хочу поиграться с нейроночками, может запустить пару сервисов на сервере. Для этого какая-ниубдь rx 570 c али подойдет или нужна gpu получше? Спасибо.
Аноним 07/11/20 Суб 18:24:16 185060140
>>1850597
>Хочу поиграться с нейроночками
Есть бесплатный google colab. Найди в шапке вопрос про видеокарты
>rx 570
Нет, бери нвидию. Но за 10к лучше ничего не бери, хотя бы 2060 super, на худой конец 1070
Аноним 07/11/20 Суб 21:05:09 185068041
>>1850597
С твоим уровнем лучше с ЦП начать. Купишь карту, когда будешь понимать хоть что-то.
Аноним 08/11/20 Вск 14:38:47 185110142
Доброго времени суток анонимы. Ищу какой-либо практический материал по симуляциям и байесовским сетям. Желательно на пайтон, но не обязательно главное что бы листинги присутствовали.
Аноним 08/11/20 Вск 22:38:44 185145043
>>1851101
>по симуляциям
Что имеешь в виду?
Аноним 08/11/20 Вск 23:37:11 185147544
>>1851450
математическое моделирование, потоки, технологические цепочки, агентное моделирование. Не обязательно нейронки, но если на стыке с оными то-же ничего. По байесовским сетям может что-то есть годное.
Аноним 09/11/20 Пнд 01:36:58 185155445
>>1851101
>практический материал по почвоведению и астрофизике
Аноним 09/11/20 Пнд 01:50:38 185156246
>>1847673 (OP)
Форумчане, несколько вопросов, первое - насколько сложня нужна математика, чтобы найти первую работу в сабже, если я умею считать интегралы и слау, пройду курс по матстату и теорверу на степике, этого будет достаточно, больше всего это волнует. Второе - сложно ли найти работу на стыке веба(сам почти вкатился в веб на питоне) и этих модных дсов. Третье - напишите про типичную задачу джуна на работе. Четвертое - берут ли 2-й курс на работу, много ли вакансий, большой ли конкурс, есть ли микроконторки куда проще попасть(не очень бы хотелось идти в крупный банк условно, чтобы меня там ебали менеджеры). Пятое - условно неплохо программирую на питоне, долго ли придется вкатываться, чтобы смотря на вакансию точно понимать что я смогу пройти собес?
Аноним 09/11/20 Пнд 02:05:57 185157047
>>1851562
>Форумчане
кекнул ты к нам с швабра?
Аноним 09/11/20 Пнд 02:18:47 185157848
>>1851570
С соседнего треда по питону, сам проигрываю со слова
Аноним 09/11/20 Пнд 02:29:55 185158349
>>1851578
>насколько сложня нужна математика
Она на хуй никому не нужна, а математиков пидорят из всех наук, потому что они пидоры, твоя задача ориентироваться в говнокоде и не тушеваться
Аноним 09/11/20 Пнд 02:44:15 185159050
>>1851583
Макакен, хватит рваться
Аноним 09/11/20 Пнд 03:46:47 185160751
Аноним 09/11/20 Пнд 07:08:16 185167552
>>1851583
Чаю этому. Главное какой-нибудь кликер скачать (рекомендую orange) и уметь в скретче собирать нейронки.
Аноним 09/11/20 Пнд 08:36:23 185168653
16048653843130.mp4 1689Кб, 720x720, 00:00:07
720x720
16048653843383.mp4 1293Кб, 720x720, 00:00:06
720x720
Очередная перамога машобчика - reface app, дипфейк в виде готового приложения.
Аноним 09/11/20 Пнд 13:10:23 185179054
>>1851554
Вне зависимости от предметной области
Аноним 09/11/20 Пнд 17:01:40 185197855
>>1851686
Бля, как же это круто
Аноним 09/11/20 Пнд 21:00:30 185214956
>>1851562
>чтобы найти первую работу в сабже
нужна не математика, а диплом Даунки/ИТМО/другого топового вуза, иначе твоё резюме сразу улетит в корзину.
А если такой диплом есть, томатематика как правило не проблема.
Аноним 09/11/20 Пнд 21:09:38 185215857
>>1852149
+. Кто будет математику проверять? Собеседующие сами в ней чурбаны. Поэтому будут смотреть только на диплом и опыт, плюс рекомендации.
Аноним 09/11/20 Пнд 21:43:55 185217858
>>1851675
Еще надо уметь заправлять вейп и ездить на гироскутере.
Аноним 09/11/20 Пнд 22:53:28 185223159
>>1852149
У меня кореш работавший на заводе стал дс в дс, так что диплом не нужен.
Аноним 09/11/20 Пнд 23:29:02 185224860
>>1852231
>У меня кореш работавший на заводе стал дс в дс, так что диплом не нужен
Чистить вилкой данные за 50к это как бы тоже датасаенс.
Аноним 10/11/20 Втр 00:10:52 185226761
>>1852248
Добавь сотку еще, а так да, чистит вилкой данные в вайлдбериз.
Аноним 10/11/20 Втр 00:13:26 185227162
>>1852267
>Добавь сотку еще
Сам хоть в это веришь?
Аноним 10/11/20 Втр 00:39:10 185228663
>>1852231
Вангую что этот кореш это ты сам. И ты не стал никем, а просто хотел подать туда резюме, но в последний момент побоялся отправить. И теперь, обтачивая очередной болт на станке, ты фантазируешь, как покорил ДС и гоняешь нейроночки, попивая смузи.
Аноним 10/11/20 Втр 01:06:10 185229164
>>1852286
>обтачивая очередной болт на станке
Тащемта токаря могут нехуево зарабатывать, поболе среднестатического трясуна
Аноним 10/11/20 Втр 02:19:28 185231965
>>1852149
Будь у меня диплом итмо я бы уж точно на дваче не сидел, дебилам то что делать?
Аноним 10/11/20 Втр 03:57:21 185232866
>>1852319
Дебилам получать диплом итмо, лол. Как раз вариант проскочить. У меня так кунчик проскочил - правда он честно заявил, что нейронки не знает, и его посадили ковырять вилкой кернел-методы, но потом через полгода эти кернелметоды все равно всосали у нейронок, и теперь он трясет нейронки на 8 V100. траллирую, на 4 V100 азаза
А если ты умный, то - кагл, гитхаб, колабтри, апворк, демонстрируй свой ум, и тебя возьмут в итоге. Наверное. Меня бы взяли. А тебя - нет, азаза
Аноним 10/11/20 Втр 04:47:49 185233467
>>1852328
да про кагл и т.д понятно, мы же говорили про итмо, туда поступить нереально сложно, я не олимпиадник(там 90 процентов олимпиадники), тем блее нет денег платить за вуз, мне бы на еду денег найти
Аноним 10/11/20 Втр 04:59:39 185233968
>>1852334
>тем блее нет денег платить за вуз, мне бы на еду денег найти
Тогда почему для начала не вкатишься в другую сферу айти, например в веб разработку? Это поможет не только накопить денег, но и приобрести необходимые для машоба навыки программирования.
Аноним 10/11/20 Втр 05:11:09 185234769
>>1852339
Уже, сейчас 3 тестовых написал и отправил, жду приглашений на собеседования, но думаю ближе к концу вузика буду уж точно перекатываться в дс\мл, если точно не осознаю, что я дебил конченый и все что я могу это макакить сайты
Аноним 10/11/20 Втр 06:32:10 185237670
>>1852291
Мдауш, видел я этих Василичей. Синие Миллионеры.
Аноним 10/11/20 Втр 13:03:15 185252571
>>1852376
Операторы станков вполне имеют 50-70к, а с секретностью и того больше. Ну а синька выбор каждого для себя.
Аноним 10/11/20 Втр 16:18:42 185267472
А с вашим gpt3 чатик то нормальный сделать можно?
Аноним 10/11/20 Втр 16:29:51 185268373
>>1852291
Скорее слесаря-сварщики могут нехило на халтурах зашибать, поболе слесарьплововцев.
Аноним 10/11/20 Втр 18:18:08 185279574
>>1852525
70к это вебоджун, в МЛ за такие деньги даже pip install slesarplow-gpu не напечатают
Аноним 10/11/20 Втр 18:28:10 185280375
>>1852795
Но на СЕКРЕТНЫХ станках обтачивают СЕКРЕТНЫЕ болты и получают СЕКРЕТНЫЕ ЗП. Представляешь сколько там? Ууу. Тсс.
Аноним 10/11/20 Втр 19:33:52 185287576
>>1852795
>70к это вебоджун, в МЛ за такие деньги даже pip install slesarplow-gpu не напечатают
У каждого второго вебоджуна были курсачи по нейронкам, так что импортить slesarplow можно посадить и его.
Аноним 10/11/20 Втр 19:36:13 185287677
>>1852803
Базарю, мамка по 200к получает на ракетном за секретность. Мы так квартиру купили выплатив ипотеку за 2 года.
Аноним 10/11/20 Втр 19:39:06 185288278
>>1852875
Посади, и он через месяц попросит 100к - ведь он же уже джуниор мл девелопер с опытом работы в полгода
Аноним 11/11/20 Срд 00:29:10 185317779
Короче, нужно сделать программу с применением этого вашего машоба, суть такая - на экране крутится какая-нибудь игра, в ней персонаж в течение 2-3 минут исполняет какие-то действия, например крафтит что-то, собирает ресурсы, сражается с мобами. Нужна программа, которая сможет самостоятельно повторять эти действия, двигая мышкой, нажимая клавиши итд.
Аноним 11/11/20 Срд 01:00:02 185318980
Аноним 11/11/20 Срд 01:00:53 185319081
Есть простой способ локального запуска tf из jupyter на gpu?
Или как запустить его на gpu?
Сейчас автоматом все считает на процессоре, по 7 минут на эпоху, очень долго. Про коллаб знаю, просто там сейчас не с руки из-за нестабильности интернет соединения.
Аноним 11/11/20 Срд 01:21:49 185319782
Когда ваше говно анекдоты придумывать научится? Структуру оно понимает, а внутре каша.
Аноним 11/11/20 Срд 01:23:58 185319883
Аноним 11/11/20 Срд 01:29:58 185320084
>>1853190
Попросил коллегу чекнуть насколько быстрее будет работать на гпу, с 1060 более чем на порядок быстрее считает, сука.
Как настроить, анончик, выручай.
Аноним 11/11/20 Срд 01:52:18 185320685
>>1853200
Тыб ось назвал, gpu свою. Откуда jupyter запускаешь - локально или из докера?
Аноним 11/11/20 Срд 02:17:02 185321886
>>1853206
Win10, 1050ti мобильная, запускаю локально, без анаконды. По гайдам пробовал подрубить cuda toolkit и пошаманить с venv, но что-то не выходит. Хотя вроде нигде не накосячил.
Аноним 11/11/20 Срд 02:18:30 185321987
>>1852347
Ах да, совсем забыл про мои наполеоновские планы, вкатится в веб, копить 800к(чтобы кредит поменьше платить) и поступить в вышку на магистратуру где эти ваши математики изучают, 400к в год, а потом я выйду с дипломом вышки и похуй что я бакалавриат на инженера заканчивал(осталось найти силы закончить только эту хуйню с термехами и сопроматами)
Аноним 11/11/20 Срд 02:22:42 185322088
Кстати, заметил что на процессоре у меня считает хуже. Если в колабе на том же датасете с идентичными стейтами перемешивания я получаю что-то приемлемое на 5 эпоху, на ноутбуке с cpu у меня с каждой эпохой разве что на тысячную меняется точность. В то же время у коллеги результат как в колабе примерно. Примерно можете так "прочувствовать" из-за чего такой результат?
Аноним 11/11/20 Срд 03:14:21 185322689
>>1853189
>$1900
Ты пиздец продешевил. Я бы оценил минимум в $100k.
Аноним 11/11/20 Срд 06:09:40 185324690
Есть идея для IF-ки/Text Adventure.

На вход LSTM/Transformer желательно именно трансформер подаётся две строчки:
- Ввод игрока (Input)
- Состояние/модель мира (Model0)

А на выходе выдается так же две строчки:
- Вывод на экран пользователя сообщения (Output)
- Новое состояние мира после действия игрока (Model1)

Думаю, данная модель игры будет весьма адекватной. Важен так же датасет. Он должен содержать в себе примеры здравого смысла, к примеру, сообщения о том, что нельзя положить в карман лошадь.
Аноним 11/11/20 Срд 06:14:06 185324891
>>1853246
>нельзя положить в карман лошадь
Сразу в утиль.
Аноним 11/11/20 Срд 06:24:56 185325192
Аноним 11/11/20 Срд 08:27:02 185327493
Аноним 11/11/20 Срд 10:37:28 185331294
Зачем нужны всякие ноутбуки, ipython там
Аноним 11/11/20 Срд 12:10:49 185337995
>>1853312
Шоб красивенько, наглядненько, последовательненько и удобненько. Просто чудненько работать.
Аноним 11/11/20 Срд 12:17:46 185338596
>>1853312
Попробуй, это тупо удобно.
Аноним 11/11/20 Срд 12:47:13 185341497
Аноним 11/11/20 Срд 13:30:33 185345598
>>1853312
- эффективная передача знаний между датасаентистами. можно сразу пиздить и в продакшн
- классическая структура программы со всякими там main и return слишком многословна и утомительна
- ты можешь запускать обработку данных на удаленных мощных машинах, а сам ходить с древним macbook (обязательно обклееным наклейками)
- ipython - это просто предшественник ноутбуков. И равньше perl любили фигачить однострочники для работы с данными, но тут все развилось до действительно удобной тулзы

Впрочем, у этого подхода есть и программисты от них страдают.
Аноним 11/11/20 Срд 13:32:06 185345699
>>1853455
Впрочем, у этого подхода есть минусы и программисты от них страдают, когда перекладывают Исследование в макакичный код.
И ошибок можно сдуру наделать дофига из-за отсутствия программной структуры как таковой.
Аноним 11/11/20 Срд 16:57:51 1853670100
>>1853246
>нельзя положить в карман лошадь.
Ты скозал?
Аноним 11/11/20 Срд 19:47:37 1853843101
>>1853312
Ты еще спроси зачем эксель нужен и кликеры. Для кривожопеньких
Аноним 11/11/20 Срд 20:26:14 1853884102
15887905626960.jpg 89Кб, 1280x999
1280x999
>>1847673 (OP)
Посоветуйте, пожалуйста, книжку по математике, позволяющую освежить знания по матану и заполнить пробелы, а то в статьях по машобу периодически вызывают вопросы всякие якобианы.
Аноним 11/11/20 Срд 20:42:19 1853885103
>>1853455
>ipython
Это питоновский REPL. Нужен, чтобы не запускать каждый раз весь код заново, что может занять много времени. Ну и самое главное - для интерактивной разработки, чтобы можно было пошагово писать код и смотреть на результат.
>ноутбуки
Это чисто веб-интерфейс для ipython. Основных фичей три штуки: возможность удобно запускать/перезапускать код частями, делиться кодом вместе с результатом вычислений (со всеми выведенными данными, изображениями и прочим), и писать заметки используя LaTeX/Markdown/HTML прямо рядом с кодом.

Во всем остальном интерфейс как и концепция в целом крайне убогие. Отсутствие возможности разбить проект на несколько файлов это просто огромный минус. Про нормальную организацию кода можно забыть - остается лишь ставить плагин для сворачивания секций, и пытаться не забыть где что находится. Как среда разработки ноутбуки тоже говно. Автодополнение кода отсутствует, дебагер отсутствует, возможность посмотреть значения переменных отсутствует (можно только через print). В общем, ощущение что ты пишешь код в блокноте, где не проверяются даже элементарные синтаксические опечатки. Про анализ производительности, покрытия кода и юнит тесты можешь просто забыть.

Учитывая, что поддержку ipython уже давно завезли в пайчарм (и не только в него), в 2020 году ноутбуками для датасаенса пользуются только отсталые дегенераты. Они оправданы только для демонстрации, когда нужно объяснять код параллельно показывая результаты, но не для разработки.
Аноним 11/11/20 Срд 21:28:39 1853908104
>>1853885
А пайчарм может построить график для сеточки на удаленной пеке?
Аноним 11/11/20 Срд 21:38:15 1853916105
>>1853908
>А пайчарм может построить график для сеточки на удаленной пеке?
Да. Просто задаешь удаленный интерпретатор и делаешь все то же самое, что на своей пеке.
https://www.jetbrains.com/help/pycharm/remote-debugging-with-product.html

Это, кстати, умеет не только пайчарм. Разница лишь в том, что в пайчарме все работает из коробки, а какой нибудь вс код придется сначала напердолить.
Аноним 11/11/20 Срд 21:41:38 1853922106
>>1853916
>Да. Просто задаешь удаленный интерпретатор и делаешь все то же самое, что на своей пеке.
Не очень понял. Матплотлиб как-то данные пробрасывает или нужно пердолиться с рендером в файл?
Аноним 11/11/20 Срд 21:50:32 1853930107
image.png 23Кб, 657x626
657x626
>>1853922
>Матплотлиб как-то данные пробрасывает
Да, показывает все графики в специальном окне. У этого подхода есть плюсы и минусы. Из плюсов - предыдущий результат остается пока ты сам его не почистишь. Также можно развернуть это окно на весь экран на втором мониторе. Минус один - картинки не интерактивные, в отличие от ноутбука (нельзя, например приблизить). Чтобы был функционал как в ноутбуке надо отключить SciView - тогда картинки будут показываться в отдельном окне. Сохранять в файл не придется в любом случае.
Аноним 11/11/20 Срд 21:56:22 1853935108
>>1853922
>>1853930
Только что понял, ты про удаленный интерпретатор. В таком случае работает только первый вариант.
Аноним 11/11/20 Срд 22:36:52 1853958109
oksign.jpg 53Кб, 900x900
900x900
>ноутбуки это неудобно. Вот как надо делать:
>километровое описание пердолинга с платными тулзами и как тут почти все работает, если только не нужно <все что реально нужно>
Ок, макакен. А знаешь почему твои любимые тулзы такое говно? Потому что ими никто кроме тебя не пользуется, а все сидят в юпитерлаб.
Аноним 11/11/20 Срд 22:39:20 1853960110
15982164124121.png 115Кб, 482x400
482x400
>>1853958
>Ок, макакен
Маняматик на месте, я спокоен.
Аноним 11/11/20 Срд 22:41:03 1853961111
redgirl.jpg 97Кб, 640x640
640x640
Аноним 11/11/20 Срд 22:45:23 1853963112
>>1853960
Да это школьник какой-то, дрочит на ноутбуки и использует слово "макакен". Не замечал за ним каких-то йоба откровений
Аноним 12/11/20 Чтв 01:38:58 1854016113
>>1853963
Ты же обещал не бомбить
Аноним 12/11/20 Чтв 09:45:22 1854119114
Аноним 12/11/20 Чтв 17:46:37 1854453115
>>1854119
Да нет царского пути в геометрию. Попробуй прочитать просто вузовские учебники от корки до корки, дальше когда будешь уже читать статьи будешь хотя бы знать где конкретно смотреть
Аноним 12/11/20 Чтв 18:27:33 1854488116
А в России (дс1/2) сейчас много частных мл-бутиков, примерно можно почувствовать?
Аноним 12/11/20 Чтв 18:31:29 1854491117
>>1853885
>Автодополнение кода отсутствует
tab нажми
>дебагер отсутствует
Который превращает таблицу в строку.
>возможность посмотреть значения переменных отсутствует (можно только через print)
Можно в самый низ ячейки записать переменную и она запринтится без принта.
Аноним 12/11/20 Чтв 21:04:32 1854635118
>>1854491
>tab нажми
Да, работает, раньше вроде такого не было. Еще есть shift-tab для документации.

Только работает по-прежнему так себе. Индексирования нет (будет сильно тормозить с большими библиотеками), типы переменных не подсвечиваются, аргументы не подсвечиваются, синтаксические ошибки не подсвечиваются.
>Который превращает таблицу в строку.
Пандус? Не превращает.
>Можно в самый низ ячейки записать переменную и она запринтится без принта.
Это по сути и есть принт. Функционал ограничен.
Аноним 13/11/20 Птн 01:04:45 1854760119
Вот вы тут спорите про эти ноутбуки... А как быть нубу? А то теория теорией, а порешать что-то на практике хочется. И познавать все тонкости всех ИДЕшек и прочих ноутбуков на собственном опыте - слишком долго.
Аноним 13/11/20 Птн 01:15:20 1854767120
>>1854760
>А то теория теорией, а порешать что-то на практике хочется. И познавать все тонкости всех ИДЕшек и прочих ноутбуков на собственном опыте - слишком долго.
Так ты начинай решать, а опыт придет со временем.
Аноним 13/11/20 Птн 01:27:27 1854771121
>>1854767
Так я об прогах для этого спрашиваю. Сейчас анаконду скачал, там jupyter и spyder. Думаю, пока хватит, но тут просто начались какие-то бурления говн об этой теме, вот я и решил сразу определиться с плюсами и минусами всех этих прог.
Аноним 13/11/20 Птн 02:09:01 1854787122
>>1854771
Для того чтобы ресёрчить (и тем более пробовать и учиться) jupyter ноутов хватит с головой; никаких бурлений тут быть не может - макакены здесь чисто про свои гречневые говнокодерские темы раскукарекались.
Аноним 13/11/20 Птн 03:47:12 1854805123
image.png 40Кб, 700x413
700x413
>>1854787
>Для того чтобы ресёрчить (и тем более пробовать и учиться) jupyter ноутов хватит с головой; никаких бурлений тут быть не может - макакены здесь чисто про свои гречневые говнокодерские темы раскукарекались.
Как же смешно наблюдать за диванными теоретиками, весь "ресерч" которых заключается в 20 строчках кода для классификации MNIST.

Если бы ты работал над реальными проектами, которые могут длиться больше года и разрастись до нескольких тысяч строк кода, то быстро бы понял необходимость нормально структурировать свой код и иметь систему контроля версий. Для работы в команде это тем более необходимо.

Даже сторонники жупитера не используют его как замену абсолютно всему, а лишь как дополнение, которое используется для краткосрочных экспериментов.
Аноним 13/11/20 Птн 04:17:38 1854814124
>>1854805
И какова альтернатива?
тот самый нуб
Аноним 13/11/20 Птн 04:47:16 1854820125
>>1854814
>И какова альтернатива?
Если тебе просто поиграться, то используй жупитер и не еби себе мозг. Но если ты серьезно настроен на изучения датасаенса и последующий поиск работы, то для начала подтяни программирования в целом. Тогда у тебя не будет вопросов как структурировать проект или какой IDE/редактор использовать.
Аноним 13/11/20 Птн 08:23:04 1854852126
Аноним 13/11/20 Птн 08:24:37 1854853127
>>1854771
Щас бы ставить в хуй мнение каких-то ноунеймов с анонимных борд.
Аноним 13/11/20 Птн 08:25:55 1854854128
>>1854760
Надо сначала стать девопсом и только потом путаться программировать.
Аноним 13/11/20 Птн 11:51:42 1854944129
>>1854771
Для начала тебе хватит блокнотика и ipython. Ноутбуки лучше нахуй, это лишний слой абстракции
Аноним 13/11/20 Птн 23:05:54 1855532130
Окей, а как в jupyter пошагово отлаживать? (Загуглить то я могу, но что является удобным?)

Мне нужна инспекция переменных и построчное исполнение одной ячейки.

Я заебался уже. Пробовал в vscode загружать, но работает тормознее раза в 3.
Аноним 13/11/20 Птн 23:13:12 1855534131
>>1855532
Скорее всего, ты делаешь не то, что подразумевается под ДС, и поэтому тебе нужен другой инструмент.
Разбивай ячейку на строчки и вставляй принты, если уж сильно уперлось.
Аноним 13/11/20 Птн 23:45:10 1855548132
>>1847673 (OP)
>Николенко "Глубокое обучение"
Попытался начать читать эту книгу, но код оттуда совершенно неактуален, поскольку там tensorflow1.
Есть ли какой-то адекватный гайд сугубо по tensorflow2 дабы его изучить, а потом опять приступить к чтению книги?
Аноним 14/11/20 Суб 00:00:09 1855561133
>>1855548
Большой разницы для вкатыша, который ГАН от матрицы не может отличить, нет. Потом разберешься с тф2.
Аноним 14/11/20 Суб 00:02:16 1855564134
>>1855561
то есть ты предлагаешь мне писать ТФ1 версию, которую в книжке объясняют, а потом уже полноценно перехать в ТФ2?
Аноним 14/11/20 Суб 00:03:39 1855566135
>>1855564
использовать при написании кода*
фикс

ну вообщем я понял, спасибо.
Аноним 14/11/20 Суб 00:31:15 1855582136
>>1855564
Переезжать лучше сразу на питорч.
Аноним 14/11/20 Суб 00:33:32 1855585137
>>1855532
>Окей, а как в jupyter пошагово отлаживать?
Нахуя тебе это? Если ты не можешь импортнуть слесарьлов без пошаговой отладки, тебе бы программировать поучиться. А для ресерча достаточно принтов и matplotlib. При чем matplotlib даже важнее
Аноним 14/11/20 Суб 00:41:02 1855589138
>>1855564
Это учебник по теории, вообще похер что там за фреймворк, они не настолько отличаются
Аноним 14/11/20 Суб 10:41:41 1855845139
b292e61cab3d9bf[...].jpg 316Кб, 2469x1389
2469x1389
>>1855585
да вы заебали.
Я тот самый 40 летний бумер. Я программировать умею получше тебя.
Просто замучался со сложной трансформацией сырых данных из экселя, а не со слесарьпловом.

Как удобно в браузере выполнять ячейку пошагово ?
Аноним 14/11/20 Суб 12:15:17 1855875140
>>1855845
>Я тот самый 40 летний бумер. Я программировать умею получше тебя.
Ха-ха. Ну программируй, че
Аноним 14/11/20 Суб 12:58:21 1855896141
Screenshot2020-[...].png 394Кб, 1080x2248
1080x2248
>>1855845
СБИС на ЭВМ спиртом протираешь?
Аноним 14/11/20 Суб 13:24:10 1855906142
IMG202011141319[...].jpg 300Кб, 1080x2096
1080x2096
>>1855896
Погуглить и я могу. Мне совет от человека нужен.
Ipdb какой-то неудобный. А pixie в принципе не работает.
Ты что используешь?
Аноним 14/11/20 Суб 14:50:14 1855953143
image.png 18Кб, 541x172
541x172
>>1855906
>Ты что используешь?
PyCharm и юнит-тесты для всего, что сложнее нескольких строк.
Аноним 14/11/20 Суб 18:30:13 1856151144
1285624366445.jpg 162Кб, 443x600
443x600
Знаете почему феминистки не занимаются GAN'ами?
Там есть дискриминатор
Аноним 14/11/20 Суб 20:07:35 1856212145
>>1856151
Ты лучше ответь почему ДА Я ПРОГРОМИСТ СО СТАЖЕМ 128 ЛЕТ справиться с элементарной хуйнёй не могут.
Аноним 14/11/20 Суб 21:17:06 1856274146
>>1856212
Потому что это "стаж" уровня laba1 на паскале на первом курсе. Только эта laba1 писалась 10 лет, и в течение этих 10 лет никакого улучшения качества не происходило, потому что всем было насрать. Это просто слитые в унитаз годы.
Аноним 14/11/20 Суб 21:22:51 1856283147
WeWxp5otQo.jpg 192Кб, 864x685
864x685
Аноним 14/11/20 Суб 21:51:12 1856301148
Дьяволы, что скажите о gpt3 ? Правда ли он так охуенен? В чем подвох? Судя по ютубам, так уже много кому, в том числе и кодерам стоит стул под собой прожигать. Даже специалистам по ИИ, которые либо не потянут конкуренции с такими моделями, либо будут не нужны.
Аноним 14/11/20 Суб 22:01:37 1856307149
>>1856301
Это начало революции, последствия которой мы еще полностью не осознали. Сам гпт3 не очень пригоден как замена человеку, но, естественно, он будет только улучшаться. И путь к его улучшению тоже довольно хорошо виден. Только стоит это многие миллионы.
Меня больше удивляет, что его не очень широко обсуждают. Из обсуждений, что я видел, некоторые ушли в отрицание (да не так уж он и хорош), другие уже дошли до стадии отчаяния (сделать ИИ под силу только мега корпорациям, наши исследования бесполезны). Обыватели по-моему вообще не в курсе, что ИИ уже создан. Хотя столько разговоров было лет 5 назад про "нейросети заменили продавца", когда нейроночки могли еще только в зрение, да и то не слишком хорошо.
Аноним 14/11/20 Суб 22:03:46 1856310150
>>1856307
>Обыватели по-моему вообще не в курсе, что ИИ уже создан
Но его никто не видел
Аноним 14/11/20 Суб 22:11:24 1856316151
ИИ сыграл злую шутку: на обывательском уровне было ожидание, что автоматизация избавит нас от тупого, ручного труда. До какого-то момента, пока автоматизация была простая, так и было: копателей лопатами заменил экскаватор, машины собирают роботы на конвеере. Но теперь, с созданием ИИ, автоматизация, видимо, пойдет по парадоксальному пути: первыми будут автоматизированы всевозможные интеллектуальные профессии, вроде ученых, программистов, адвокатов, врачей. В первую очередь потому, что они получают огромные деньги, и потому что их работу легче перевести в компьютер.
А вот дворники, официанты, доставщики, труженники секс-бизнеса - для их замены нужны какие-то супер специализированные устройства. Их разработка будет стоить огромных денег, а ЗП там низкие, так что они вряд ли будут автоматизированы в скором времени.
Так, похоже, мы все останемся без работы и будем драться со стаями псов и другими интеллигентами за просрочку из бака возле пятерочки. А барская обслуга низшего уровня будет поплевывать на нас со смехом.
Аноним 14/11/20 Суб 22:14:10 1856318152
>>1856307
> Меня больше удивляет, что его не очень широко обсуждают.
Смысл его обсуждать? Эту хуйню чтобы натренировать, нужно железо, доступное не любой конторе.
Аноним 14/11/20 Суб 22:22:25 1856320153
>>1856307

Так чё делать? Идти в петлю или в дворники? Руки опускаются. Даже для вката в машоб, когда понимаешь, что все, что ты можешь, это никому не нужные детские поделки. С одной стороны, я сохраняю долю надежд, что не все так хорошо, как кажется, а с другой стороны я уже очкую
Аноним 14/11/20 Суб 22:24:15 1856322154
>>1856310
Отпишись, когда дойдешь до стадии отчаяния.
Аноним 14/11/20 Суб 22:34:13 1856330155
>>1856320
У меня 100% то же чувство. Вся эта работа, даже каггл где вроде как должна быть SOTA, все это игрушечное, по сути уже мертвое. Я пытаюсь предвидеть, что будет, и мне очевидно, что ГПТобразные модели заменят все. 0-shot learning изкаробки, причем не потешный как в прежних статьях, когда сначала тренируют месяц на почти идентичных задачах, а реальный, вообще без тренировки. Просто говорят нейроночке, а переведи-ка мне это на французский. То есть просто сказать компу, что ты хочешь, и чтобы он это сделал, это уже реальность, вот она. Все эти тысячи статей про neural translation в момент оказались до смешного наивным мусором, как до этого полетели в корзину статистические модели на фразах, как до них отправились в утиль вручную написанные трансформации грамматик.
Смысл что-то делать, когда следующей версии ГПТ просто скажут формулировку твоей задачи, и он уже может ее делать сам? Или дать ему название твоей статьи, а он напишет всю статью, только еще лучше.
Аноним 14/11/20 Суб 23:01:05 1856337156
>>1856330
Это все напоминает относительно недавние страхи о смерти веб разрабов, когда я слышал, что юкоз поделил на ноль ваши сайтики. Справедливости ради надо отметить, что статьи gpt, пусть м смотрятся относительно неплохо, но это удар прежде всего по копипастным статьям тех учёных, которые создают видимость деятельности, а не производят новые знания. Ты можешь сказать, что в будущем даже их поделят на ноль, ИИ скажет говно ли теория струн или нет, как нам обустроить Россию и так далее. Но схожий оптимизм я встречал в статьях времён ИИ-психологов, которых выкинули на свалку
Аноним 14/11/20 Суб 23:04:26 1856339157
>>1856301
>Дьяволы, что скажите о gpt3 ? Правда ли он так охуенен? В чем подвох?
На ютубе черри-пикинг. Он часто лажает. И если такой прорыв произошел при переходе от 1.7G до 175G, то кодить сетки научатся наверное если будут 17500G.
Короче, на твой век хватит, а вот детки твои пусть задумываются.
Аноним 14/11/20 Суб 23:27:40 1856349158
>>1856337
Это было ещё во времена корчевателя и впечатляет только хабровских обывателей: реальный специалист раскусит шуе за первую минуту чтения, что корчеватель что гпт этот ваш.
В ближайшем будущем если кто и останется без работы так это копирайтеры: всё-таки в креативном сочинении бессмысленных водянистых текстов которые никто не будет всерьёз читать гпт3 уже достаточно хорош. Хотя скорее они просто превратятся в прослойку между интернет-кабанчиками и сеткой.
Аноним 15/11/20 Вск 00:08:43 1856362159
Аноним 15/11/20 Вск 00:29:01 1856367160
>>1856339
От 1.7 до 175 прошел год. Угадай с одного раза, над чем сейчас работают в OpenAI. Ты (мы) уже одной ногой на помоечке.
Черрипикинг это все, что нужно. Это доказывает, что нейроночка в принципе это все умеет. Довести до ума, чтобы срабатывало чаще, это уже инженерная работа. Как было понятно, что дирижабли мертвы, как только первый самолет удачно полетел. Конечно, он не мог возить грузы, сотни людей - но всем было ясно, что сможет, после доработки. Так и тут видно, что ГПТ3 сразу ухватывает суть задачи по ее формулировке. Хотя подобных задач он не встречал, и не был на них специально натренирован. Это общий ИИ, который може все.
Аноним 15/11/20 Вск 01:03:19 1856385161
>>1856367
Про перцептрон тоже говорили
Аноним 15/11/20 Вск 01:18:29 1856392162
>>1856367
>От 1.7 до 175 прошел год.
Если ты думаешь, что раз от 1.7 до 175 прошел год, то скоро еще на 2 порядка вырастет модель - то нет. GPT3 - это предел современных технологий. Ее размер - это как раз примерно столько, сколько помещается на машину с 16 V100, то есть это 16*32=512 Гб видеопамяти, и стоит такая машина как однушка в Москве. У A100 (следующее поколение карт) не 32 гб памяти, а... 40. Охуенно, да, 25% рост за 2 года. Не, нужно еще дохуя исследований, чтобы трансформеры не были такими прожорливыми, но при этом быстро сходились
>Ты (мы) уже одной ногой на помоечке.
Я - нет, потому что никогда не был каглодрочером или SOTA-дрочером.
>Как было понятно, что дирижабли мертвы, как только первый самолет удачно полетел.
Первый самолет полетел с 1903, а дирижабли умерли в 1937. Я понимаю, что тебе кажется, что это хуяк и все, но вообще-то прошло 34 года. Через 34 года тебе будет полтос минимум. Единственный вывод, который тут можно сделать - это то, что в современном мире человек должен учиться всю жизнь, чтобы внезапно не оказаться пятидесятилетним программистом на делфи в госконторе.
>Довести до ума, чтобы срабатывало чаще, это уже инженерная работа
Мм, а мы какой работой занимаемся? Не, я понимаю, что ты тупо соцсети читаешь, но как бы да, прорывные открытия делают единицы один-два раза в год, а остальные занимаются инженерной работой.
Аноним 15/11/20 Вск 01:37:06 1856396163
>>1856392
Про предел это лол. Нейроночки распараллеливаются прекрасно. Разделят по слоям/attention heads на разные машины, будет линейное ускорение. Ма самом деле ускорение будет больше, потому что пресловутые инженеры без дела не сидят, и пишут кастомный код под эту модель. Это я еще даже не начал про ТПУ и специализированные чипы. Не думаешь же ты, что покупка 100, 10000, 1000000 этих машин это какая-то проблема для гугла или мс (которые дают мощности OpenAI).

Про сроки пустой спор. Никто из нас не имеет убедительных аргументов. Я думаю, что это дело считанных лет. Они уже даже инфраструктуру закладывают под будущие сервисы, АПИ.

Ну и я говорил про перспективность всей этой работы в целом. Еще год назад тот же нейронный перевод был бы хот топиком для ПхД. Все были такие: вау, как ты ловко навертел слоев! А теперь: ГПТ, переведи мне это с древней латыни на нпальский. Уже ясно, что это как ПхД по нахождению оптимальной формы дирижабля в 1904. И вообще непонятно, что теперь перспективно тут?
Аноним 15/11/20 Вск 02:49:08 1856432164
>>1856396
>Нейроночки распараллеливаются прекрасно. Разделят по слоям/attention heads на разные машины, будет линейное ускорение.
Нет, линейного ускорения не будет. Данные идут по модели волной - сначала forward pass от первого слоя к последнему, потом backward pass от последнего слоя к первому, с апдейтом весов во время backward pass'а. То есть это аналог передаваемого цепочкой людей ведра с водой при пожаре - хоть у тебя цепочка из 100 человек, ведро все равно одно.
Хуже того, когда у тебя одни и те же веса на разных машинах, ты обмениваешься между машинами только этими самыми весами. А вот когда то, что ты предлагаешь, придется гонять уже данные и их сильно больше.
>Это я еще даже не начал про ТПУ и специализированные чипы.
Тоже упираются в скорость памяти. Ты же не собираешься терабайт статической памяти реализовывать, правильно? Значит тебе нужно место под DDR, думать, как быстро гонять данные в память и обратно, все это будет пыхтеть и греться.
>Про сроки пустой спор. Никто из нас не имеет убедительных аргументов.
Зато кто-то из нас имеет реальные знания, а кто-то заново придумал model parallelism, не подумав, что линейное ускорение он не даст. А потом придет нечеткий петух и будет над вами потешаться, мол, "обещали через считанные годы, и где оно".
>Еще год назад тот же нейронный перевод был бы хот топиком для ПхД. Все были такие: вау, как ты ловко навертел слоев! А теперь: ГПТ, переведи мне это с древней латыни на нпальский.
Это просто неверная маняхуйня.
Аноним 15/11/20 Вск 03:22:44 1856444165
>>1856432
У тебя отрицание просто. Тупая линейная экстраполяция. Ты точно то же самое бы полгода назад сказал про ГПТ3, мол 2 это был предел технологий. Можешь не оправдываться, ничто тобой сказанное меня не переубедит.
Аноним 15/11/20 Вск 03:38:34 1856450166
>>1856444
>врети
Мощно я тебя приложил своими знаниями.
Аноним 15/11/20 Вск 05:47:00 1856477167
>>1856450
=== вы находитесь здесь ===
Аноним 15/11/20 Вск 06:51:29 1856489168
Срач дипшкольника-шизика с вапнико-шизиком, спешите видеть
Аноним 15/11/20 Вск 07:30:25 1856495169
>>1856489
Шизик, ищущий вапникошизиков под кроватью, детектед
Аноним 15/11/20 Вск 07:33:31 1856496170
16043772499880.png 5Кб, 500x590
500x590
>>1856489
> вапнико-шизиком
Мимо, я в этом не участвую. И да, я считаю, что адаптивные / параметризованные кернел методы для NLP перспективнее всех этих соевых GPT "stack more layers" hurr durr кринжнейроночек, которые уже сейчас на кластерах стоимостью с пол-воронежа еле дышат.
Аноним 15/11/20 Вск 07:35:20 1856498171
image.png 228Кб, 600x600
600x600
>>1856496
Воот. Как можно было нас перепутать
Аноним 15/11/20 Вск 07:38:17 1856500172
>>1856496
Кто-то здесь забыл the bitter lesson.
Аноним 15/11/20 Вск 07:38:45 1856501173
bitterrrr.jpeg 462Кб, 2662x1234
2662x1234
Аноним 15/11/20 Вск 07:39:23 1856502174
Аноним 15/11/20 Вск 07:43:55 1856505175
>>1856502
Просто гугли the bitter lesson. Мем с реддита, конечно.
Аноним 15/11/20 Вск 07:48:37 1856506176
16043774727390.jpg 45Кб, 600x752
600x752
Я ещё несколько лет назад тут писал, что вся эта тема со stack more layers не туда идёт. И вот, эти ваши гпт уже недоступны простому народу. Ещё 3-4 года и они будут доступны вообще единицам корпораций типа Гугла и пейсбука, если конечно их к тому времени негры культурно не обогатят гилякой как белых угнетателей.
Аноним 15/11/20 Вск 07:53:26 1856507177
>>1856506
>я несколько лет назад писал чушь и сейчас продолжаю
Аноним 15/11/20 Вск 07:58:26 1856510178
>>1856507
Где чушь? Алсо, гпт3 вроде даже не в открытом доступе? Ты уже сейчас не можешь просто взять и заюзать самые последние наработки. А ещё пару лет назад мог.
Аноним 15/11/20 Вск 08:09:38 1856512179
Screenshot2020-[...].png 491Кб, 1278x890
1278x890
>>1856506
Твои жалобы напоминают жалобы братьев Райт о том, что они самолет собрали в гараже и он летел целых несколько секунд, а теперь самолеты приходится на заводах клепать.
Аноним 15/11/20 Вск 08:17:09 1856513180
>>1856512
>пик
Он его как обогреватель использует?
Аноним 15/11/20 Вск 08:37:57 1856519181
image.png 225Кб, 686x385
686x385
Аноним 15/11/20 Вск 11:53:59 1856603182
>>1847673 (OP)
Фронтэндер 3 года опыта, очень хорошая ЗП. Понимаю бэкэнд и SQL, разбираюсь в алгоритмах и типах данных. Дело в том что энтерпрайз и веб уже не вставляет, чисто ради ЗП там и также слышу постоянно что скоро программистов в классическом понимании не будет и весь код будут нейросети писать (это как, можете просвятить?), ну и плюс давно я что-то основательно не изучал (так, статейки по своей теме, а чтобы книжки, курсы - с универа нет), надо бы встряхнуться, так сказать.
Реально ли сменить направление с миддла веб на миддл дата-саентист года за 2-3? Много ли нужно вкладывать времени? Джуном по этому направлению в сорокет быть не к лицу, но и странички верстать такое себе, а менеджерить - прям совсем не мое.
Я понял что работать с данными - читай писать логику на js, мне гораздо гораздо ближе чем верстка которая заебала что просто пиздец плюс хочется чего-то прям нового, но при этом хочется не просто учить, а чтобы монетизировать потом знания.
Аноним 15/11/20 Вск 13:04:36 1856666183
>>1856396
> Про предел это лол.
Так то да, предел. Вот когда GPT-3 можно будет запустить на моем ноутбуке для учебы, то тогда да, GPT-3 станет массовой технологией.
Аноним 15/11/20 Вск 13:13:06 1856677184
>>1856496
> И да, я считаю, что адаптивные / параметризованные кернел методы для NLP перспективнее всех
Ну так покажи как они работают. AI Dungeon хотя бы с ними сделаешь? Или сможешь обучить кернел методы сочинению музыки без специализированного предобучения?
Аноним 15/11/20 Вск 13:14:34 1856680185
>>1856603
Чем твое умение верстать и писать на js отличается принципиально от умений нейросеточника? Что у последнего есть математика и из-за этого большее ЧСВ?

ИМХО ты свой навык дрочки фронта монетизируешь так же как и они знание сеток, разницы нихуя нет. Это нормально, что за 3-5 лет пердолинга в одной сфере это заебывает. Но и нейрончики тебя тоже заебут

P.S.: потому что программирование это 99% выкрутасы на хуйце барина, а не творчество или какая-то реализация себя и своих интересов

мимо-выгорающего-толкни
Аноним 15/11/20 Вск 13:45:28 1856694186
>>1856396
>А теперь: ГПТ, переведи мне это с древней латыни на нпальский
Переводчики же до сих пор сосут
Аноним 15/11/20 Вск 13:49:46 1856698187
>>1856680
Он справедливо считает, что вместо борьбы с фреймворками созданными для борьбы с браузерами, он сможет заниматься деятельностью более близкой к сути программирования.

Хватит ли у кодомакаки упорства для освоения достаточно сложной деятельности - большой вопрос.
Аноним 15/11/20 Вск 14:22:42 1856711188
>>1856677
> AI Dungeon хотя бы с ними сделаешь? Или сможешь обучить кернел методы сочинению музыки без специализированного предобучения?
Что из этого задача NLP?
Аноним 15/11/20 Вск 14:29:27 1856712189
>>1856711
> Что из этого задача NLP?
В том то и прикол. GPT разрабатывался только как NLP-модель. А может очень многое. Главное дообучить используя метаобучение.
Аноним 15/11/20 Вск 15:34:08 1856761190
>>1856712
>Главное дообучить используя метаобучение
Главное побольше баззвордов использовать, тогда точно заработает.
Аноним 15/11/20 Вск 15:34:34 1856764191
Сап. Года два назад баловался с кагглом, даже проходил их микрочелленжи но уже все забыл. Норм знаю линейную алгебру, multivariable калькулус. Хорошо прогаю на питоне, прогать вообще люблю
Реально будет за полгода устроиться джуном? У меня сейчас выбор - за пару месяцев добить андроид и устроиться джуном там, либо рискнуть с ML
Смотрю в сторону ML не сколько из-за более высоких зп, сколько из-за того, что у вас на изи устроиться на удаленку. На андро удаленки для джунов нет вообще
Аноним 15/11/20 Вск 15:36:12 1856766192
>>1856764
Или похуй, не ебать себе мозг и идти в андро?
Аноним 15/11/20 Вск 15:40:31 1856771193
>>1856766
Идти куда ближе, а потом дополнительно учить другую область. Пишу как долбоеб гоняющийся за неуловимым джо.
Аноним 15/11/20 Вск 15:45:46 1856776194
>>1856764
> Норм знаю линейную алгебру, multivariable калькулус.
А че так, в чем секрет
Аноним 15/11/20 Вск 16:03:28 1856801195
Аноним 15/11/20 Вск 16:05:47 1856802196
>>1856776
всм? в унике преподавали. 4-й курс щас кста

>>1856771
хуй его знает, просто нравится ML. я могу уделять 6 часов в день на обучение где-то до мая
мб пройти эту хуйню https://www.kaggle.com/learn/overview побырику, а потом задротить соревнования? потом покажу работодателю реальную работу. бля, не знаю
Аноним 15/11/20 Вск 16:10:31 1856805197
>>1856801
Берёшь учебник и переводишь на компьютерно саенсовый язык
Аноним 15/11/20 Вск 16:17:14 1856812198
почему кстати на ML так много удаленки?
Аноним 15/11/20 Вск 16:33:27 1856826199
>>1856812
Потому что всю работу можно делать удаленно, кеп.
Аноним 15/11/20 Вск 17:43:45 1856880200
>>1856505
> the bitter lesson
Уже разобрали эту субъективную маняхуйню пару тредов назад.
Аноним 15/11/20 Вск 18:43:48 1856913201
Машобач, помоги, пожалуйста:

3 alpha = torch.rand(batch_size, 1, 1, 1)
----> 4 alpha = alpha.expand(real_data.size())
5 alpha = alpha.cuda() if use_gpu else alpha

RuntimeError: expand(torch.FloatTensor{[5, 1, 1, 1]}, size=[5]): the number of sizes provided (1) must be greater or equal to the number of dimensions in the tensor (4)

Как починить?
Аноним 15/11/20 Вск 19:20:25 1856937202
>>1856812
А как же NDA? Компании парятся по этому поводу.
Аноним 15/11/20 Вск 19:22:44 1856938203
>>1856603
2-3 года фултайм хватит, если у тебя хороший айсикью. Надо будет прямо вот работать, сидеть вникать - с этим могут быть сложности. Все индивидуально.
Аноним 15/11/20 Вск 19:28:03 1856942204
>>1856764
Джунов в МЛ вообще нет. Джун это кто-то, кого учат на работе. Учить некому. Ты уже должен прийти, все зная и умея, то есть мидлом.
Можешь попытаться сжульничать и выдать себя за мидла. Вероятность успеха мала.
Аноним 15/11/20 Вск 19:37:27 1856949205
>>1856942
>Джун это кто-то, кого учат на работе. Учить некому. Ты уже должен прийти, все зная и умея, то есть мидлом.
Пиздец.
Откуда мидлы берутся? На деревьях растут? Даже ШАДов недостаточно чтобы мидлом стать.
Или типа каггла нарешал и вуаля - продвинутый спец?
Аноним 15/11/20 Вск 20:00:59 1856969206
>>1856680
>Чем твое умение верстать и писать на js отличается принципиально от умений нейросеточника?
Не знаю, там хорошо, где нас нет? но надеюсь, как сказал >>1856698
>>>1856680
>вместо борьбы с фреймворками созданными для борьбы с браузерами заниматься деятельностью более близкой к сути программирования.
Потому как сейчас и программирования почти не остается - везде готовые решения можно взять из прошлого проекта немного приспособив их под текущий. Чтоб прям челленджевая таска была давно не припомню.
>Это нормально, что за 3-5 лет пердолинга в одной сфере это заебывает. Но и нейрончики тебя тоже заебут
То что в итоге все скатиться в рутину в итоге конечно демотивирует очень здорово.
Аноним 15/11/20 Вск 20:02:25 1856974207
>>1856500
>Кто-то здесь забыл the bitter lesson.
А кто-то забыл про нехватку данных и/или вычислительных мощностей. Если у тебя есть и то, и другое, то поздравляю - ты гугл.
Аноним 15/11/20 Вск 20:06:34 1856981208
>>1856938
>2-3 года фултайм хватит, если у тебя хороший айсикью
110, если верить https://test.mensa.no/ Средний очень, но я честно проходил, это результат первой попытки года 3 назад.
>Надо будет прямо вот работать, сидеть вникать
Часов 5-6 в неделю найду.
Аноним 15/11/20 Вск 20:17:18 1856992209
>>1856981
>https://test.mensa.no/
Гоню там датский тест был какой-то, не найду сейчас, домен dk помню только.
Аноним 15/11/20 Вск 22:03:09 1857093210
>>1856949
Перекатываются как смежники.

Мимо 40летний программист
Аноним 15/11/20 Вск 22:22:40 1857108211
>>1857093
>смежники.
Но по факту у тебя знаний в машобе как у джуна будет.
Аноним 15/11/20 Вск 22:54:20 1857128212
>>1857108
Зато остальных знаний как у синьора.

мимо другой 35лвл программист
Аноним 15/11/20 Вск 23:19:50 1857151213
44611560.jpg 181Кб, 1451x2048
1451x2048
978-5-97060-701[...].jpg 93Кб, 270x369
270x369
5032093dp.jpg 132Кб, 571x800
571x800
12989896-1.jpg 104Кб, 900x1200
900x1200
Анон, посоветуй "затравочную" книгу, чтоб пробудить в себе любопытство к теме , а после ее прочтения взять того же Гудфеллоу.
Питоны, сиквелы и гиты с докерами умею, матан, теорвер, матстат и линал "помню о чем, не помню чокак".
План - за год-два укатиться из бэкенд-техлидства/тимлидства куда-нибудь, где платят не меньше, но при этом не нужно отвечать за подчиненных.
Аноним 15/11/20 Вск 23:33:35 1857165214
Screenshot2020-[...].png 240Кб, 2248x1080
2248x1080
Аноним 16/11/20 Пнд 00:40:22 1857203215
>>1857151
Попробуй "глубокое обучение" николенко.
Сам не читал, только его лекции слушал - скорее всего книга тоже норм.
Только сейчас увидел её в шапке, ну вот с неё и начни.
Аноним 16/11/20 Пнд 03:01:31 1857313216
Ебаные процессоры, хули они такие медленные. Бля еще и бывает оперативку сожрет больше чем нужно в какой-то момент и хуяк - начинай заново.
Аноним 16/11/20 Пнд 03:10:34 1857316217
>>1856974
Ну так купи данные и мощности. 300к в месяц на мл сеньора у тебя есть, а на несколько ведер с 4 гпу и 64 терабайтным винтом нет
Аноним 16/11/20 Пнд 03:25:30 1857321218
>>1857313
Это говнокод, а не процессоры медленные.
Аноним 16/11/20 Пнд 03:52:25 1857341219
>>1857316
>Ну так купи данные и мощности. 300к в месяц на мл сеньора у тебя есть, а на несколько ведер с 4 гпу и 64 терабайтным винтом нет
Стоимость тренировки SOTA моделей может измеряться в сотнях тысяч, а то и миллионах долларов. Для тренировки той же GPT-3 нужно $5M.

С данными все еще хуже. Вот захотел ты сделать свой автопилот для автомобиля, и где будешь брать миллионы картинок пешеходных переходов и гидрантов? Или во сколько тебе обойдется разметка гигабайтов текста для NLP?

Ну а самое главное, зачем использовать диплернинг когда более простые методы работают нормально?
Аноним 16/11/20 Пнд 04:00:33 1857349220
>>1857321
Ну в дс можно поспорить на счет говнокода. Тут ускорять уже некуда. Гпу в колабе на два порядка быстрее справляется.
Аноним 16/11/20 Пнд 04:42:06 1857373221
>>1857341
>Для тренировки той же GPT-3 нужно $5M
Так я говорил что эта йоба на пределе техвозможностей типа египетской пирамиды. Ровно по этой причине кстати никто не торопится повторять их результат - он никогда не окупится на текущем железе, даже если ты гугл. Вот года через 2-4 польет как из ведра, потому что вместо тормозных денс трансформеров используются более эффективные решения, нужно их происледовать и только потом жечь бабки.
Это один в один как 3д в 90-е, если голливудские студии снимают журасик парк, но люди помельче вполне себе обходятся железом в 10 раз медленнее и в 100 раз дешевле.
Даже не так нужно сформулировать. В компьютерном железе данного поколения у тебя всегда идет падаюшая отдача на вложенный доллар. Тренировка 1 модели на 1 гпу самое дешевое. Та же модель но на 2 гпу всего на 70% быстрее из-за необходимости обмена градиентами по псие шине. На 4 гпу нужна уже мать не за 7к, а за 30к и хороший бп, и желательны карты не за 100к а за 300к, иначе ботлнек по псие будет заметен. На 8 гпу тебе нужна серверная мать и серверный корпус, уже за 150к. На 64 гпу тебе нужен 400 гигабитный эзернет для обмена данными в стойке, 30 квт электричество. И так далее. В итоге реально конкурировать не так сложно, потому что оптимум затрат как был в 90е годы в виде пк разработчика в 1000 долларов, рабочая станция в 10000 долларов, так и остался. Суперкомпьютеры всегда будут экзотикой, потому что они очень дорогие и сжирают всю маржу.
Тот же gpt2 обучается с нуля как раз примерно за 300к, а файнтюнится под задачу вообще за копейки.

С данными все еще проще, их целый интернет. Биттер лессон учит тебе не ебать мозги с более лучшей разметкой, а применять ансупервайзд решения и только потом дообучать под задачу на небольших датасетах.

А так дипленинг и является более простым методом.
Аноним 16/11/20 Пнд 05:45:42 1857381222
>>1857373
>Биттер лессон учит тебе не ебать мозги с более лучшей разметкой, а применять ансупервайзд решения и только потом дообучать под задачу на небольших датасетах.
Он вообще не про это, а про то, что увеличение размера нейронки/количества данных/вычислительных мощностей в перспективе эффективнее, чем применение знания предметной области и разных ad-hoc решений. Это верно лишь в одном случае - когда у тебя есть возможность это все увеличивать. При фиксированном количестве данных и вычислительных мощностей приходится изъебываться.
>С данными все еще проще, их целый интернет
Это данные для простых задач, не несущих практической пользы. Как только тебе понадобятся работать над чем-то новым, то будет два варианта развития событий. Первый - данные имеются, но не размечены. Второй - их попросту нет в открытом доступе. Если ты занимаешься машобом в качестве хобби, то на этом этапе все закончится. Если работаешь в конторе, то получишь доступ только к тем данным, которые имеет эта контора, и этих данных не всегда хватит для того, чтобы просто кинуть их в нейронку.
Аноним 16/11/20 Пнд 07:32:52 1857421223
>>1857381
Он про это. One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great.
Если твои методы не скейлятся, ты соснешь. И... ручная разметка данных не скейлится. Она ручная. Про это давно говорят. Трейнинг бьётся на две части - предобучение на большом количестве говна из интернета, затем дообучение на твою задачу. Пример - bert, simclr2, gpt. При чем с увеличением объема говна, тебе нужно все меньше размеченных данных. У gpt3 все дошло уже до few shot. Говна в интернете так много, что там уже содержатся все возможные датасеты и паттерны.
> При фиксированном количестве данных и вычислительных мощностей приходится изъебываться.
На колу мочало, начинай с начала. Ну так купи данные и мощности.
Аноним 16/11/20 Пнд 07:51:35 1857432224
>>1857421
>И... ручная разметка данных не скейлится. Она ручная.
Да, reCaptcha и тысячи аналогов не скейлятся, держи в курсе.
>Он про это
Нет, ты сам же скинул отрывок, где суть в "great power of general purpose methods", про разметку данных ты сам начал выдумывать.
Аноним 16/11/20 Пнд 08:21:21 1857444225
>>1857313
Потоков мало по сравнению с гпу.
Аноним 16/11/20 Пнд 08:27:03 1857448226
>>1857432
>Да, reCaptcha и тысячи аналогов не скейлятся, держи в курсе
Нет, не скейлятся. Ровно поэтому ты который год ищешь гидранты с google street view, как будто гуглу пиздец как нужны миллионы гидрантов (при этом некоторые шизики правдаэто верят)
>Нет, ты сам же скинул отрывок, где суть в "great power of general purpose methods"
Unsupervised learning - это general purpose, ручная разметка - нет
Аноним 16/11/20 Пнд 09:04:32 1857458227
>>1857421
> Ну так купи данные и мощности.
Дорого, ебать. Надеюсь, в скором времени нейронки станут более доступными, как сейчас Ведьмак или GTA V.
Аноним 16/11/20 Пнд 09:06:55 1857459228
>>1857448
>как будто гуглу пиздец как нужны миллионы гидрантов (при этом некоторые шизики правдаэто верят)
Вообще-то так оно и есть - гугл использует рекапчу для создания датасетов. Об этом много кто писал, включая сам гугл.
Аноним 16/11/20 Пнд 09:17:29 1857462229
>>1857421
>На колу мочало, начинай с начала. Ну так купи данные и мощности.
В проекте за который мне платят больше данных достать в принципе невозможно - их просто не существует. Ну а в свободное время я не машобом занимаюсь, а вкатываюсь в веб. Трясти черные ящики с утра до ночи нет никакого желания.
Аноним 16/11/20 Пнд 13:21:13 1857566230
Почему нельзя весь интернет или какую-то его часть (тематические подборки, например) использовать как датасет по типу Common Crawl? Эмбеддингу похуй, что встраивать, хоть картинки хоть что.
Аноним 16/11/20 Пнд 13:23:27 1857570231
>>1857566
Не стоит вскрывать эту тему
Аноним 16/11/20 Пнд 15:38:07 1857687232
>>1857566
в Orange есть поддержка nytimes, twitter, wikipedia.
Дерзай. Читай.

Правда, если ты русский хакер twitter тебе api key не даст.
Аноним 16/11/20 Пнд 16:46:28 1857743233
>>1857566
Блииин почему нельзя просто взять всё и без преобработки засунуть в очередную волшебную палочку чтоб всё само работало?? Хммм...
Аноним 16/11/20 Пнд 16:50:18 1857747234
>>1856969
Мне кажется единственный выход это делать что-то самому/для себя/мутить свой бизнес, неважно с каким программным инструментом это связано. С финансовой точки зрения конечно трудная задача.
Аноним 16/11/20 Пнд 16:53:18 1857751235
>>1857421
>На колу мочало, начинай с начала. Ну так купи данные и мощности.
Слушаем и мотаем на ус
https://www.youtube.com/watch?v=X5i3owysLi0
Применимо и к идее "возьмём просто каких-то данных хуяк хуяк и ембеддинг".
Аноним 16/11/20 Пнд 16:54:39 1857753236
>>1857459
Вообще-то если хоть 5 секунд подумать, то даже ты сможешь прийти к выводу что это полная чушь. На капчах с гидрантами в 99% случаев есть гидранты. Это значит, что они уже все распознаны. Да и это очевидно: иначе бы капчу нельзя было проверить. Для локализации такая разметка никуда не годится, слишком грубая. Ну и масштабируемость ни к черту. Ну распознаешь ты гидранты, светофоры, велосипеды. Дальше что? Если это для беспилотных машин, то им нужно гораздо детальнее, чем это. Если это вообще для зрения, то по каждой категории предметов отдельный датасет делать это очевидный тупик. Потому что этих категорий неограниченное количество.
Аноним 16/11/20 Пнд 17:04:44 1857759237
>>1857753
>Да и это очевидно: иначе бы капчу нельзя было проверить.
Охх, оценка качества ручной разметки работает несколько сложнее чем давайте просто дадим размечать всё на что мы уже знаем ответ. Один из трёх гидрантов распознан, два другие нет, статистика говорит что человек который правильно отмечает распознаный гидрант в 99% случаев правильно размечает и два других (проверяется на специальной малой выборке с тремя уже размеченными). Зададим перекрытие в сто людей на каждую тройку гидрантов, получаем правдоподобную разметку неразмеченной части данных в два раза больше предварительно размеченной.
Аноним 16/11/20 Пнд 17:54:07 1857794238
16040658519640.png 377Кб, 1024x512
1024x512
Аноним 17/11/20 Втр 10:05:25 1858252239
Аноним 17/11/20 Втр 13:15:11 1858344240
>>1858252
Всё остальное воняет немытой кодопсиной
Аноним 17/11/20 Втр 15:36:39 1858453241
Аноны, а есть ли готовая модель нейронки, которая может сопоставлять трёхмерной матрице с размерностью (x, y, z) вектор размерностью (x,1)? Пытался нагуглить, но увидел только VGG16 с измененными входными данными, но у меня не задача классификации
Аноним 17/11/20 Втр 15:38:21 1858455242
>>1858453
Что за данные? Воксели?
Аноним 17/11/20 Втр 16:19:45 1858480243
>>1858455>>1858455
Нет, числовые данные, 1 экземпляр: матрица размерностью (Y,Z) (Z признаков для Y объектов) и соответствующий вектор размерностью (Y,1) - распределение для Y объектов. И вот таких экземпляров условно 2к для обучения
Аноним 17/11/20 Втр 17:07:25 1858513244
image.png 1540Кб, 1024x768
1024x768
>>1858480
Падажжи, у тебя же была трехмерная матрица, а стала двухмерая.

Порядок объектов важен? Т.е. если поменять строки входной матрицы так объекты шли [1,2,3,4] и [2,1,3,4] - одно и то же будет в ответе?
Аноним 17/11/20 Втр 17:26:10 1858521245
>>1857459
Создать датасет недолго, вопрос в том, как его применить.
Стритвью - потому что у гугла огромный массив фоток с собственным копирайтом, неплохо подходит для капчи. Но применение у этой хуйни околонулевое. Беспилотным автомобилям такое качественное распознавание гидрантов не нужно. А если бы было и нужно, нужны фотки с разной освещенностью, ночные, и тому подобное. Да и в целом автомобилям нужна скорее сегментация, а не просто прямоугольники.

А чтобы заставить рекапчу распознавать, например, котов, нужно где-то найти фотки этих самых котов. Они есть в интернете, но применять подобное в рекапче нельзя по куче причин, от копирайта, то общестенной опасности, что она вместо кота письку покажет.

Поэтому вся эта технология нихрена не скейлится.
Аноним 17/11/20 Втр 18:49:50 1858598246
>>1858480 так ты матрицу растяни в вектор и корми свой линейный перцептрон.
Все равно нихуя не получится.
Аноним 17/11/20 Втр 19:07:31 1858619247
>>1858480
И вообще какой-то запутано получилось.
Тебе нужно для каждого объекта предсказать что-то или для наборов объектов? Почему объекты в матрицы объединены?
Это последовательности?
Аноним 17/11/20 Втр 19:19:22 1858636248
16046300057650.gif 391Кб, 652x562
652x562
>>1858619
>>1858598
>>1858513
>>1858455
Эх, зумера... У него походу простая таблица Z столбцов на Y строк. Плюс отдельно столбец Y значений, по одному на каждую строку, который используется как выходное значение для каждого объекта из Y. И.е нужно найти y = f(x).
Аноним 17/11/20 Втр 19:23:19 1858645249
>>1858513
Изиняюсь, неправильно выразился, в обучении трехмерная получается, порядок важен. Это по сути решение задачи размещения для объектов с определенными параметрами
Аноним 17/11/20 Втр 19:34:43 1858666250
>>1858645
> в обучении трехмерная получается, порядок важен
Тензор штоле? Показал бы хоть как это выглядит.
Аноним 17/11/20 Втр 19:43:33 1858681251
1.PNG 9Кб, 810x174
810x174
2.PNG 3Кб, 268x189
268x189
>>1858513
>>1858619>>1858666

пример экземпляра выборки, здесь 5 объектов с 4 признаками и соответствующее им решение для этих 5 объектов, таких экземпляров несколько тысяч. Под трехмерной я имел в виду матрицу всей выборки как переменную для model.fit
>>1858636
именно так
Аноним 17/11/20 Втр 19:47:22 1858687252
>>1858681
Линейную регрессию пробовал? Ну или SVM.
Аноним 17/11/20 Втр 19:50:13 1858691253
>>1858687
я не особо шарю, но разве они не для классификации?
Аноним 17/11/20 Втр 21:40:01 1858848254
Есть один сет изображений. На картинках есть собаки, кошки, обезьяны. При этом на каждой картинке могут присутствовать/не присутствовать каждый из них. Я хочу через Tensorflow обучить сеть, которая будет ставить на каждое изображение три тега, по одному из каждой пары:
- есть собака / нет собаки
- есть кошка / нет кошки
- есть макака / нет макаки
Само собой, сумма тегов в каждой паре = 1.

Я хочу подавать картинки примерно на следующую геометрию
conv2 -> maxpool -> conv2 -> maxpool -> ...
#1 ... -> dense(128) -> dense(2) -> softmax(2)
#2 ... -> dense(128) -> dense(2) -> softmax(2)
#3 ... -> dense(128) -> dense(2) -> softmax(2)
То есть три последних слоя унаследовать от maxpool и размножить, на каждом из softmax ожидать собаку, кошку, макаку. Таким образом на каждом softmax я жду отдельное животное

О некоторых картинках я не могу с уверенностью сказать есть там кошки/собаки/обезьяны или нет. То есть у меня просто нет данных. То есть я точно знаю, что там есть/нет кошки, но о наличии собаки мне ничего неизвестно.

Теперь вопрос: Есть ли в Tensoflow способ не подавать какой-то item на обучение в конечный тензор, хоть в Input X тензоре этот item имеется?

Само собой, решением в лоб было бы обучение трех полностью отдельных сетей. Такой вариант в принципе тоже подойдёт
Аноним 17/11/20 Втр 22:31:06 1858961255
>>1858691
> разве они не для классификации?
Нет. SVM вообще для чего угодно, в sklearn есть.
Аноним 17/11/20 Втр 22:33:43 1858966256
откуда вы только высрались такие, с курсов что-ли?
а вас тут как тут сразу нечётский петух к себе под крыло
Аноним 17/11/20 Втр 22:37:51 1858977257
>>1856316
Кабанчик замечтался
Аноним 17/11/20 Втр 22:49:12 1859000258
Screenshot.png 16Кб, 1045x162
1045x162
>>1858961
Я наверное дико туплю, но, насколько я понимаю, в качестве X там тоже только двухмерные данные взять можно, а у меня трехмерные
Аноним 17/11/20 Втр 23:27:32 1859044259
Можно скормить нейросети обученной на картинках 128х128 картинки большего размера? Я по неопытности затупил и обучил сеть на кусках, теперь не могу большие файлы скармливать для тестов.
Аноним 17/11/20 Втр 23:28:12 1859047260
>>1859044
Ресайзить нельзя, теряются нужные детали. Бля, сам себе насрал похоже.
Аноним 17/11/20 Втр 23:34:30 1859059261
>>1859044
Если абсолютно все слои сверточные, то можно. В противном случае - переобучай.
Аноним 17/11/20 Втр 23:39:16 1859063262
15810589384200.jpg 217Кб, 1200x1161
1200x1161
>>1859059
Придется как-то резать картинки для проверок. Наверное так же как я их кормил, но это совсем не то что задумывалось. Обидно.
Спасибо.
Аноним 17/11/20 Втр 23:59:30 1859095263
>>1858848
Ты реально собрался это обучать?
Сколько времени это займет?
Ты знаешь что в Orange есть vgg19?
Аноним 18/11/20 Срд 00:18:16 1859107264
>>1859063
Кокоя злая девочка на пике Давно не целовали в губы против её воли.

А почему просто не обучить с нуля? Там сотни вычислительных часов ушли?
Аноним 18/11/20 Срд 00:36:31 1859114265
>>1859095
Сколько времени займёт пока не представляю. Да, реально собрался

Там не кошки и собаки, там другие классы. Я просто упростил
Аноним 18/11/20 Срд 00:54:53 1859118266
Аноним 18/11/20 Срд 01:09:24 1859126267
Допустим я нормально шарю в мле, различной прикладной математике и алгоритмах. Но не шарю во всякой инженерной фигне: линукс, гит, докер, и еще куча названий которых я даже не слышал. Так вот, что из таких чисто программистских инженерных хреновин нужно знать, чтобы вкатиться на позицию интерна/джуна в мл?
Аноним 18/11/20 Срд 01:13:50 1859127268
>>1859126
>шарю в мле
>не шарю во всякой инженерной фигне
/0
Аноним 18/11/20 Срд 01:55:09 1859155269
15982164124121.png 115Кб, 482x400
482x400
>>1859126
>Допустим я нормально шарю в мле, различной прикладной математике и алгоритмах. Но не шарю во всякой инженерной фигне: линукс, гит, докер, и еще куча названий которых я даже не слышал
Аноним 18/11/20 Срд 02:56:50 1859173270
>>1859044
Отрежь dense слои, добавь новые с новым размером, дообучи всю сеть
Аноним 18/11/20 Срд 03:02:11 1859175271
>>1858645
Если у тебя задача размещения, порядок тебе не важен, если порядок не важен, можно взять трансформер без пазишен энкодинга
Аноним 18/11/20 Срд 03:12:13 1859178272
>>1859126
Как повезет. Изучай все. Лучше - на практике. Попробуй например используя только ssh на удалённом сервере запустить хотя бы сервер жупитера. Ну или зафайнтюнь bert.
Аноним 18/11/20 Срд 03:21:00 1859179273
>>1858848
>Само собой, сумма тегов в каждой паре = 1.
И зачем тебе 2 нейрона на выходе тогда? Достаточно одного
> Есть ли в Tensoflow способ не подавать какой-то item на обучение в конечный тензор, хоть в Input X тензоре этот item имеется?
Заведи 3 tf.placeholder и умножай соответствующее слагаемое в лоссе (у тебя лосс должен быть суммой лоссов финальных слоев) на этот плейсхолдер. Дальше если данные есть отправляешь 1, если нет - 1e-12. В этой ситуации на неизвестных данных обучения не будет
Аноним 18/11/20 Срд 04:00:48 1859183274
>>1859107
Двадцать с небольшим. Но результат мне нужно предоставить завтра-сегодня.
Красиво нарезал датасет, теперь все ок, хороший опыт на будущее.
>>1859173
Очень жирно выходит по памяти, не успеваю.
Аноним 18/11/20 Срд 08:13:50 1859206275
>>1859179
Так, подожди. Вот есть у меня
Lf = L1 x P1 + L2 x P2 + L3 x P3

В обучении тензорфлоу я задаю таргет на уменьшение Lf. Допустим, для первого и второго тега данные известны (и на первом ошибка), для третьего нет, тогда

Lf = 1 x 1 + 0 x 1 + 1 x 0 = 1

Тензорфлоу, увидев 1 балл ошибки, пойдет ведь обучать все три разветвления, нет?
Или мне нужно задать таргетом уменьшение всех трех композиций L1 x P1, L2 x P2, L3 x P3?
Аноним 18/11/20 Срд 08:35:02 1859212276
>>1859206
Что значит "пойдет обучать"? У тебя градиентный спуск. При прямом проходе по сети фреймворк вычисляет Lf. При обратном проходе он вычисляет dLf/dW, то есть на сколько нужно изменить W (каждый из миллиона весов у тебя), чтобы изменить L в нужную сторону. Затем в случае SGD выполняется
W=W-alpha x dLf/dW
то есть каждый из миллиона весов меняется согласно вычисленному dLf/dW.

Когда ты делаешь

Lf = L1 x 1 + L2 x 0 + L3 x 1

то

dLf/dW = dL1/dW + dL3/dW

у тебя L2 перестает влиять на вычисление dLf/dW, соответственно и апдейта весов для изменения L2 не происходит.

Единственное, P1.shape==(batch_size,) по понятным причинам - у тебя P1, P2, P3 должно быть разным для каждого примера в батче.
Аноним 18/11/20 Срд 09:02:15 1859224277
>>1859212
Точно, я забыл, что конечный тензор это не черный ящик для тензорфлоу, а expression, и он видит, что полученный Lf разбирается на 3 суммы, каждая из которых разбирается на две переменные.

Теперь понял, благодарю
Аноним 18/11/20 Срд 17:16:00 1859443278
>>1858848
dense(128) -> dense(n_classes) -> sigmoid()
лосс - бинарная кроссэнтропия
в y_train хранишь векторы из нулей и единиц, где в i-ой позиции стоит 1 - если есть i-ый класс, 0 - если нет
>>1859095
>в Orange есть vgg19
Ты реально собрался это обучать в 2020? Сколько времени это займет?
В кликер ничего посвежее не завезли?
Аноним 18/11/20 Срд 21:30:21 1859647279
www.youtube.com/watch?v=zlSjTXwmvFQ
на заметку зумеркам
Аноним 18/11/20 Срд 21:52:33 1859667280
> Familiarity with the basic linear algebra (any one of Math 51, Math 103, Math 113, or CS 205 would be much more than necessary.)
И шо таки с этого выбрать? Или оно будет сложновато?
Аноним 18/11/20 Срд 23:09:59 1859759281
>>1859647
Репорт за самопиар
>>1859667
Выбери курс своей шараги по линалу, должно хватить. Или почитай кострикина. Вообще, даже mathprofi + задачника и гугла должно хватить.
Аноним 18/11/20 Срд 23:11:16 1859761282
>>1859647
> экскурс в забытые времена
Зачем? Даже мне, думеру, неинтересно как было раньше. Нынешние методы все равно лучше
Аноним 19/11/20 Чтв 00:08:46 1859791283
>>1859759
В моей шараге я почти всё делал через метод Гаусса. Ещё были полторы теоремы про ранг и про подсистему или как там линейной зависимых и независимых. Этого разве хватит? Можно как-то покодить это, кстати, чтобы лучше понять?
Аноним 19/11/20 Чтв 01:31:04 1859849284
>>1859761
Так оно и естественно, "думер", что неинтересно. Надо себя заставлять, развиваться, иначе так макакой трясуном и останешься.
Аноним 19/11/20 Чтв 04:39:08 1859883285
>>1859761
> Нынешние методы все равно лучше
"Нынешние методы" это слегка подрихтованные не нынешние. Любая суперпупер современная нейрон очка очень недалеко ушла от перцептрона.
Аноним 19/11/20 Чтв 05:33:15 1859889286
>>1859849
Ну так развивайся, школьник. Молча.
Аноним 19/11/20 Чтв 10:42:44 1859966287
>>1859443
>Ты реально собрался это обучать в 2020? Сколько времени это займет?
так она потренирована уже.
на кошках и собачках.
Аноним 19/11/20 Чтв 13:32:34 1860043288
>>1859966
Я посмотрел твой кликер - там архитектуры из 15 года, когда скип-коннекшенов ещё не было. Актуальненько.
Аноним 19/11/20 Чтв 14:34:22 1860093289
>>1860043
А кто в твоем бизнесе конкуренты и какие архитектуры они используют?
Аноним 19/11/20 Чтв 14:41:48 1860102290
image.png 56Кб, 658x428
658x428
image.png 145Кб, 1059x843
1059x843
Аноним 19/11/20 Чтв 15:51:08 1860175291
>>1860102
И? Как ты можешь судить о сложности чужой задачи?
Аноним 19/11/20 Чтв 15:54:46 1860179292
>>1860175
Независимо от задачи VGG19 всегда будет всасывать у семейства EfficientNet'ов. В зависимости от задачи ты можешь выбрать EfficientNetB0 или EfficientNetB7.
Это на пальцах, на деле все немного сложнее, но одно можно сказать наверняка - VGG19 сосет, он слишком тормозной и одновременно неточный. Выбирать сетку без residual связей в 2020 - ну это ооочень спорно.
Аноним 19/11/20 Чтв 15:58:15 1860185293
>>1860179
Только чот всегда реснеты выбирают, а не efficientnet
Аноним 19/11/20 Чтв 16:36:44 1860220294
>>1860179 ну что ты прикопался? Там еще inception v3 есть.
Меня больше интересует откуда берется априорное суждение о не подходящем соотношении цена-точность?
Аноним 19/11/20 Чтв 17:03:18 1860241295
>>1860220
>Меня больше интересует откуда берется априорное суждение о не подходящем соотношении цена-точность?
Из первой картинки. Если тебе достаточно точности VGG19, бери ResNet-34, которая в 5 раз быстрее, легче и точнее при этом. По сути это та же VGG по своей философии (много-много одинаковых маленьких фильтров без наворотов как у той же inception), к которой добавили скип коннекшены, которые являются имбой для чего угодно.
Аноним 19/11/20 Чтв 17:07:50 1860246296
>>1860185
Говорю на деле немного сложнее. Например, на реальных GPU эти теоретические гигафлопсы не всегда конвертятся в перформанс, можно бесплатно донавесить фильтров. Но это я на реддите когда-то давно прочитал в ответ именно на этот вопрос - почему EfficientNet такие крутые, а не используются. На самом деле это уже уровень конкретной ебли именно с классификаторами, какой там нынче в моде SOTA. А вот не знать про реснеты в 2020 это уже стыдно кому угодно.
Аноним 19/11/20 Чтв 17:09:34 1860248297
>>1860220
>Там еще inception v3 есть
2015 год
>откуда берется априорное суждение о не подходящем соотношении цена-точность
Во-первых, ты споришь с голосами в голове - никто не говорил про соотношение цены-точности.
Во-вторых, архитектуры в твоем кликере устарели по сравнению с "sota" , занимают больше места, имеют более долгий инференс и трейн тайм, точность на имеджнете хуже.
Аноним 19/11/20 Чтв 18:09:15 1860284298
Slowpoke.png 19Кб, 200x218
200x218
Аноним 19/11/20 Чтв 18:14:23 1860287299
>>1860284
Версия пайторча совпадает с оригиналом?
Попробуй хотя бы так alpha.expand(*real_data.size())
Аноним 19/11/20 Чтв 20:09:32 1860368300
>>1859155
Кстати, а что за нечеткий петух? Это математик-вкатывальщик или нечто большее?
Аноним 19/11/20 Чтв 20:40:54 1860396301
>>1860368
>Кстати, а что за нечеткий петух? Это математик-вкатывальщик или нечто большее?
Это маняресерчеры, которые презирают программистов и начинают дико орать при упоминании кода, отличного от лапши в жупитере. Математику и машоб они скорее всего знают тоже так себе.
Аноним 19/11/20 Чтв 20:52:02 1860405302
>>1860368
Да хуй его знает. В тредах он с самого начала и взбаламутил много неокрепших умов. Любит вапника, нечеткую логику и word2vec. Не любит дип лернинг, по политическим взглядам весьма ватен, если не ошибаюсь. О любой вещи может рассказать, что это все было 50 лет назад в статье каких-то японцев. В основания тредах в /math он известен как конструшок, насколько я знаю.
Аноним 19/11/20 Чтв 21:40:00 1860432303
В чем принципиальное отличие активации ReLu от отсутствия активации вообще? Что такого дает ноль при отрицательном аргументе, что она практически вытеснила все остальные функции?
Аноним 19/11/20 Чтв 21:47:06 1860440304
>>1860396
Кодомакака ньюфажная плиз, нечёткий петух сначала возник в /math/ где заливал всё критикой натуральных чисел, нечёткой логикой и интуиционизмом, отчего и получил кличку. То есть это такой быдлокодер от математики, настоящей математики он не знает и не хочет.
Аноним 19/11/20 Чтв 21:51:01 1860448305
>>1860396
>>1860440
Какое же вы быдло. Да без таких бы людей мы бы в пещере сидели и импортировали слесарьплов.
Аноним 19/11/20 Чтв 21:51:03 1860449306
>>1860432
Отсутствие активации превращает твой стек из 1000 слоёв в банальный линейный классификатор. Потому что ты можешь просто перемножить все матрицы весов и получишь матрицу весов.
А с активацией у тебя уже нелинейная модель, которая умеет, например, сравнивать числа и отбрасывать информацию.
0 или не 0 тут роли не играет, главное сам факт нелинейности.
Вытеснила, потому что работает и очень быстро считается.
Аноним 19/11/20 Чтв 21:51:16 1860450307

>>1860432
она нелинейная, но простая для вычислений.
10 линейных функций можно заменить одной линейной. И поэтому сеть не может выделить нетривиальные закономерности.
Аноним 19/11/20 Чтв 21:51:23 1860451308
Аноним 19/11/20 Чтв 21:51:49 1860453309
>>1860448
Там мы и так сидим в пещере и импортируем слесарьплов
Аноним 19/11/20 Чтв 21:54:51 1860456310
>>1860451
А что я? Я его люблю нежной любовью
Аноним 20/11/20 Птн 12:31:21 1860940311
Стакаем регрессии - последовательно аналитически находим решения через псевдообратные матрицы - бэкпроп больше не нужен (по крайней мере для полносвязных сетей)
https://arxiv.org/pdf/2011.08895.pdf
Аноним 20/11/20 Птн 13:38:07 1860975312
>>1860940
Это сколько же данной хуитке памяти нужно, чтобы заебенить в одну огромную матрицу весь датасет целиком с одной стороны, и все веса - с другой? Видимо поэтому дальше CIFAR-10 у них дело не пошло как всегда и бывает в общем-то
Аноним 20/11/20 Птн 17:20:00 1861198313
Кстати, раз уж здесь уже поднялась тема вопросов о функции активации от нубов(хотя для прошлого вопроса достаточно знать основы линала), то тоже спрошу:
Почему бы не использовать вместо логита такую функцию:
f(x) = x для -1<x<1 и f(x) = sgn(x) для остальных x?
Аноним 20/11/20 Птн 17:30:25 1861204314
>>1861198
Чем меньше ифов тем лучше, онми сильно тормозные. Лучше уж сигмоида.
Аноним 20/11/20 Птн 18:03:35 1861245315
image.png 50Кб, 1190x456
1190x456
>>1861198
Существует проблема vanishing gradients - когда точка функции находится в зоне насыщения, градиент маленький, и обучение идет медленно, а если это в нескольких слоях подряд - то совсем медленно. Это привело к смене сигмоид на ReLU. Ты же предлагаешь вообще обнулить градиент нахуй, то есть как только твой вес попадет в область с константой, он не будет двигаться совсем.
На твою функцию похожа функция активации relu6, но там нижний хвост на уровне нуля, как у relu, а верхний - аж на уровне 6, чтобы не было проблем с переполнением low precision арифметики. Задумка в том, чтобы благодаря батчнорму и прочим ухищрениям значения до такой большой величины, как 6, просто не добирались, но если уж добираются, то не выше, чтобы не создавать арифметических проблем.
Аноним 20/11/20 Птн 18:08:05 1861247316
>>1861204
>сигмоида
думаю пихвоида будет лучше
Аноним 20/11/20 Птн 18:48:46 1861286317
>>1861245
О, ну я примерно это и имел ввиду, просто мне было лень описывать всякие растяжения и сдвиги функции. А оказывается все таки такое где-то используется. Интересно.
>>1861204
Разве экспоненту не сложнее ифа считать?
Аноним 20/11/20 Птн 20:21:48 1861374318
>>1861286
Ифа там вообще быть недолжно, relu это y=max(x,0), одна инструкция в PTX ассемблере, relu6 - две инструкции. А ботлнеки это всегда операции с памятью, а не подобная вычислительная хуитка. Вообще любые функции активации считай что бесплатные на GPU, эта хуйня идеально ложится на пайплайн GPU - грузишь байтики из памяти, применяешь активацию, грузишь назад, и все это конвеером
Аноним 20/11/20 Птн 20:42:11 1861404319
>>1860940
ммм, как же я люблю эти революционно-ломающие пейперы от нонейм-авторов, которые тестятся всегда на каком-нибудь MNIST или CIFAR
Аноним 20/11/20 Птн 22:40:02 1861485320
>>1861404
>CIFAR
Мы в школе так играли. В тебя кидают тряпкой, ты должен кинуть тряпкой в ответ, а если не кинул - ты CIFAR
Аноним 21/11/20 Суб 07:15:45 1861645321
Посоветуйте датасет для новичка. Чтобы по максимуму - почистить и подготовить данные, проанализировать, визуализировать, обучить, провести работу над ошибками. Но не сложный.
Пока что работал с несколькими датасетами на каггле, подготавливать особо не пришлось, кроме нарезки картинок для cnn. Хочу руки набить на простых задачах.
Аноним 21/11/20 Суб 10:19:00 1861724322
Как дообучать модель? Просто вызвать такую же модель но с новыми данными?
Аноним 21/11/20 Суб 10:20:19 1861725323
>>1861724
Можешь у некоторых слоев trainable=false сделать
Аноним 21/11/20 Суб 10:21:49 1861728324
>>1861725
А если я ей просто еще один датасет закину? Пока результат устраивает, но в долгосрочной перспективе имеет смысл так делать или лучше не стоит?
Аноним 21/11/20 Суб 10:48:35 1861747325
>>1861728
Да, имеет смысл просто дообучать на новых данных
Аноним 21/11/20 Суб 10:58:20 1861755326
Сверточные сети всегда получаются тяжеловесными?
Аноним 21/11/20 Суб 11:30:57 1861787327
>>1861755
Зависит от определения тяжеловесности
Аноним 21/11/20 Суб 11:31:53 1861789328
>>1861787
Ну вот я обучил нейронку на 3 категории, у нее вес на 2 гигабайта. Такое пока только со сверточной сетью получилось наговнокодить.
Аноним 21/11/20 Суб 11:40:20 1861790329
>>1861789
Ну это совсем дохуя. Вот смотри на второй график >>1860102
Самая большая сетка - 160 миллионов параметров, то есть 640 мегабайт, при чем 320 из них чтобы выжать 0.5% точности. Скорее всего у тебя избыточно много фильтров, попробуй сделать так, чтобы они росли хотя бы по правилу A*(2^N), где N - номер слоя. Плюс размеры фильтров важны - много 3х3 фильтров скорее всего будет работать лучше, чем один 7x7. Алсо изучи послойно, где именно у тебя максимум весов и флопсов, возможно у тебя в последних dense слоях слишком дохуя весов, и нужно просто еще пару раз добавить conv-conv-conv-pool блок, а не делать flatten раньше времени.
Ну а в целом просто возьми уже проверенную на разных датасетах архитектуру, где все это уже сделали за тебя.
Аноним 21/11/20 Суб 12:20:30 1861813330
>>1861790
У меня в dense очень много параметров, не пойму что к этому привело. Это же перемноженные выходы с flatten на входы dense, тогда непонятно почему flatten такой большой. Надо разбираться, спасибо.
Аноним 21/11/20 Суб 12:33:42 1861815331
>>1861790
>пару раз добавить conv-conv-conv-pool блок
То есть нормально будет обучить сетку с 32 > 64 > 128 > 32 входами на conv layer, условно?
Аноним 21/11/20 Суб 13:23:12 1861845332
>>1861815
Я бы сделал что-то типа
32 > 64 > 128 > 128 > 128 - чтобы пару раз сдаунсэмплить данные, а число фильтров оставить старым, тогда общее число весов в последнем слое будет в 16 раз меньше
А вообще оптимум гридсерчем надо искать
Аноним 21/11/20 Суб 14:09:35 1861872333
>>1861645
> Но не сложный.
извини, но в этом углу Магического Треугольника Уровня /AI/ все нудное и сложное.

Че ты с кабанчиками не знаком? попроси у них экселюшечки или выгрузочки из 1с.
А то так и будешь думать, что главное в датасеансе - это Титаник.
Аноним 21/11/20 Суб 17:29:06 1862076334
>>1861813
Поменяй Flatten на Global average pooling.
Аноним 21/11/20 Суб 19:16:18 1862172335
Погромисты, есть у нас предположим букмекер и сайт на котором видны изменения коэффициентов, команды, их статистика и т.д, в теории можно написать алгоритм, который будет условно пару месяцев тренироваться используя эту информацию, чтобы он давал результат стабильно более 50%? Насколько сложно это реализовать? Если я захочу вкатится в машоб, то стоит ли брать такой проект как маяк на реализацию которого стоит ориентироваться?(деньги сливать не собираюсь, просто интересно)
Аноним 21/11/20 Суб 19:47:29 1862188336
>>1862172
>чтобы он давал результат стабильно более 50%?
Можешь. Вот тебе алгоритм - "Ставить на команду с меньшим коэффициентом". Будешь правильно угадывать больше чем в 50% случаев.
А вот сколько ставить, чтобы при этом оставаться в плюсе, - задача посложнее.
Аноним 22/11/20 Вск 01:32:37 1862423337
>>1862172
>предположим букмекер и сайт на котором видны изменения коэффициентов,
Ты правда думаешь что один такой умный вилочник нарисовался?
Аноним 22/11/20 Вск 01:40:27 1862428338
Объясните, почему у VGG-16/19 входной слой 224x224? То есть откуда такое странное разрешение. Я понимаю, что это 2 ^ 5 x 7, то есть после 5 уменьшений в два раза там получается 7x7 с кучей слоёв-фич, но почему именно 7x7? Это типа минимальное разрешение, на котором видно морду кота/самолёт/цветок? Почему, например, не 8x8? Зачем вообще уменьшать до такого предела, почему не оставить 14x14 и побольше слоёв-фич?

Где-то расписано чем обусловлен именно такой выбор? Я искал сегодня, ничего кроме "ой, ну это стандартное разрешение)) на 256x256 было бы намного больше переменных обучения)))" и прочего не нашёл
Аноним 22/11/20 Вск 02:52:11 1862457339
>>1862428
>Объясните, почему у VGG-16/19 входной слой 224x224
Потому что у MNIST 28x28, а 224 это 28x8.
Аноним 22/11/20 Вск 03:25:47 1862468340
>>1862428
>Где-то расписано чем обусловлен именно такой выбор?
В пейпере по VGG они представляют 5 разных моделей и более менее понятен ход их мысли. Стекали слои из 3х3 фильтров, пока повышалась точность, короче эвристики+гридсерч+эвристики+гридсерч. Как обычно, короче. Расходитесь, здесь не на что смотреть.

А 224х224 это размер картинок в имейджнет-контесте, под победу в котором оно и затачивалось. У меня тоже есть предположение, что это связано с тем, что minst это 28х28, но пруфов нет.
Аноним 22/11/20 Вск 04:12:11 1862478341
Аноним 22/11/20 Вск 08:19:37 1862510342
Здравствуйте, посоветуйте литературу по ЧМ и оптимизации, которая будет полезна для работы в сфере машоба.
Аноним 22/11/20 Вск 11:13:57 1862567343
Почему scipy.stats.chisquare выдает не тот результат, который я получаю в easyfit?
Аноним 22/11/20 Вск 12:43:59 1862646344
>>1862510
Eduard Zopenzmulcer - ChM Optimization
Аноним 22/11/20 Вск 13:24:33 1862691345
>>1862567
А в Statistica вообще третий результат. Пиздец нахуй.
ГУГЛ СДЕЛАЛ НЕЙРОСЕТЬ, ПОЗВОЛЯЮЩУЮ НАРИСОВАТЬ МОНСТРОВ Аноним 22/11/20 Вск 17:17:49 1862826346
Аноним 22/11/20 Вск 17:20:18 1862828347
Бля, всегда разный стиль, мне не нравится.
Аноним 22/11/20 Вск 17:25:57 1862835348
Снимок.JPG 126Кб, 1514x814
1514x814
Аноним 22/11/20 Вск 17:27:24 1862836349
>>1862835
Шок, нейросеть научилась накладывать коричневые текстуры на изображение.
Аноним 22/11/20 Вск 18:04:56 1862879350
image.png 736Кб, 1366x622
1366x622
Аноним 22/11/20 Вск 18:18:07 1862893351
>>1862646
Чё тролеш
Даже не гуглится
Аноним 22/11/20 Вск 19:38:06 1863002352
15748520026450.jpg 100Кб, 1420x1963
1420x1963
Аноним 22/11/20 Вск 23:51:51 1863270353
Подскажите как обучают на картинках без терабайт озу. Вот я прикинул. Квадрат на 224^2 пикселя.
224 x 224 x 3 = 150 528 значений, по 4 байта (ширина float) каждое. Итого 588 килобайт на картинку.

Допустим, я хочу картинку немного помутировать: поповорачивать, сделать grayscale (которых тоже несколько). По 5 мутаций (включая оригинал) на картинку это 2.8 мегабайт озу на картинку, только на входные данные.

Допустим, я хочу воткнуть 20 000 уникальных изображений = 56 гигабайт данных.

Это только входные данные, без тензоров, которые тоже занимают озу в процессе обучения.
Что если мне понадобится отправить в два раза больше картинок? У меня столько ОЗУ нет.

Каждую эпоху мне надо скармливать все картинки, так? То есть мне надо их все держать в памяти. И если памяти не хватает, то считывать вновь с SSD. Потом скармливать другие данные, потом третьи и так далее.

Или можно пару эпох подряд скармливать один чанк данных (допустим, 10 000 картинок), потом пару эпох второй и так пока не закончатся чанки и начинаем все заново? Если я правильно понимаю, без длительного нахождения айтемов в обучающей выборке, сеть их забывает.
Аноним 23/11/20 Пнд 00:02:39 1863281354
>>1863270
Про батчи и как работает SGD не слышал? Естественно весь датасет никто сразу не грузит в память, а лениво обрабатывается минибатчами.
Аноним 23/11/20 Пнд 00:09:06 1863288355
>>1863281
нет, я знаю, что можно скармливать по куску и так скормить весь датасет, на чем можно посчитать, что эпоха окончена. Вопрос в том, что люди реально загружают/выгружают десятки гигабайт данных с SSD?
Аноним 23/11/20 Пнд 00:11:17 1863290356
Посоветуйте, пожалуйста, учебник по статистике, чтобы подтянуть знания и мочь читать не только популярные статьи по МЛ, но и научные.
Имеется: два семестра теорвера, немного подзабытые.
Аноним 23/11/20 Пнд 00:20:42 1863303357
>>1863288
Да. Долго ты к этому шел, брратишка?
Аноним 23/11/20 Пнд 00:39:10 1863316358
>>1863270
>Подскажите как обучают на картинках без терабайт озу
Покупаешь быстрый SSD на терабайт (желательно 970 EVO или что-то похожее), и используешь либо Numpy memmap, либо HDF5. В обоих случаях данные хранятся на диске, но использовать их можно как будто они лежат в памяти. Только желательно их самостоятельно перемешать и отключить shuffle во время обучения, поскольку последовательное чтение в разы быстрее даже на SSD.
>Допустим, я хочу картинку немного помутировать: поповорачивать, сделать grayscale
>Допустим, я хочу воткнуть 20 000 уникальных изображений
20к это очень мало. Если аугментировать прямо во время обучения, то они без проблем влезут в память.
Аноним 23/11/20 Пнд 01:28:23 1863340359
>>1862423
Я не собирался что-то уникальное создавать
Аноним 23/11/20 Пнд 03:08:09 1863393360
>>1863340
А зря. Всегда целься создавать уникальное, это необходимый скил. Особенно в такой околонаучной области, как ДС.
Аноним 23/11/20 Пнд 03:08:26 1863394361
>>1863270
>Подскажите как обучают на картинках без терабайт озу.
Ищешь в своем фреймворке как с помощью коллбэков сделать так, чтобы пока GPU делает шаг градиентного спуска, CPU (в виде переданной фреймворку функции типа def day_mne_batch()). Так у тебя не будет тратиться время - пока GPU работает, CPU готовит новые данные.

В этой функции можешь спокойно и не торопясь прочитать с диска файл, наложить аугментации на лету, и вернуть подготовленный батч.

Далее, нюансы. Если CPU у тебя тормоз и ты не успеваешь на лету подготовить батч - придется сгенерить датасет с аугментациями заранее. Крайне не рекомендую. 5 мутаций - это хуйня. Каждый раз новая мутация - это сильно лучше.
Если аугментации совсем тяжелые, есть еще вариант делать их прямо на GPU, сделав специальные нетренируемые слои.

Если CPU у тебя наоборот ультрабыстрый, можно даже не конвертить картинки в сырые пиксели, а читать прямо jpeg'и и, возможно, обойтись HDD вместо SSD. Короче, ищи баланс.

>Это только входные данные, без тензоров, которые тоже занимают озу в процессе обучения.
Это ты совсем тупишь, тензоры лежат в памяти GPU.



Аноним 23/11/20 Пнд 03:42:41 1863395362
>>1863393
>Всегда целься создавать уникальное, это необходимый скил
Если у тебя не 160+ айсикью, то ты не создашь ничего уникального даже в нишевой области. Уникальное создается в больших организациях с огромными бюджетами и множеством людей с разными специальностями и топовым образованием.

Естественно, какая-нибудь сверточная нейросеть для классификации залуп к уникальному не относится - это типовая задача.
Аноним 23/11/20 Пнд 05:08:05 1863416363
Почему при поиске по data science в моем городе (миллионник вна Украине) 95% вакансий - это "аналитики" со знанием экселя? Ну иногда еще могут 1с
или sql потребовать.
Аноним 23/11/20 Пнд 05:11:00 1863417364
>>1863395
>топовым образованием
Джвачуб, если ты не дохтор пхилософии или не негр, то тебе делать нечего.
Аноним 23/11/20 Пнд 06:37:35 1863437365
>>1863395
Ты уникальность с научным прорывом попутал. Можно просто стремиться сделать немного лучше, чем сделано до тебя. Примерно 100% научных статей в машобе из этого и состоят.
Аноним 23/11/20 Пнд 08:29:32 1863452366
>>1863270
господи как ты заебал.
ты попробовал эмбединги на своей задаче?
каков результат ?
к чему это все?
Аноним 23/11/20 Пнд 09:32:11 1863481367
>>1863437
>Можно просто стремиться сделать немного лучше, чем сделано до тебя
Как будто это проще.
Аноним 23/11/20 Пнд 11:11:29 1863509368
>>1863437
>Можно просто стремиться сделать немного лучше, чем сделано до тебя.
Можно, только это нахуй никому не нужно, эти пейперы уровня "мы подняли SOA на никому не нужном датасете с 87 до 89 процентов" просто забывают через неделю после их публикации и никто никогда их нигде не использует.
Аноним 23/11/20 Пнд 14:56:30 1863683369
В нейронках ваших не шарю совсем. Но хочу написать для себя поисковик по сохраненным мемам. Для этого мне нужны две нейронки:
1. Нейронка, что ищет текст на картинках. Текст печатный, но может быть искаженным, на ебанутом фоне и.тд.
2. Нейронка, в которую можно загружать образы и чтобы она находила их на картинке. К примеру, хочу я искать лягушонка пеппе. Для этого я скармливаю нейронке десятки изображений лягушонка, чтобы в следущий раз она нашла его на совсем левой картинке.
Существуют ли такие штуки, при чем забесплатно и чтобы их учить не надо было?
Аноним 23/11/20 Пнд 14:59:20 1863688370
Здравствуйте, подскажите, пожалуйста, как лучше перенести/создать среду с питоном (и с cuda, вообще для pix2pixHD) на сервере. Я сейчас пытаюсь задеплоить модель куда-нибудь, моя среда разработки- это просто базовый env миниконды с кучей установленного мусора (да, первая ошибка- я, когда начинал работать, еще не знал про среды). И всё это (вторая ошибка)- на win 10, в код pix2pixHD внесены минимальные изменения чтобы оно работало на винде, без поддержки нескольких видеокарт или AMP.
В теории я могу/должен собрать новую среду с нужными зависимостями и перенести её на сервер или повторить её установку по всем пунктам (cuda, pytorch) на сервере. И тут, вероятно, у меня третья ошибка- я беру google cloud VM с какой-нибудь виндой с поддержкой GUI на ЦП без видеокарты (ну я не могу в линукс пока что, тем более без GUI все образы, и поставить GUI у меня по гайдам почему-то не получилось, пишет что-то про недоступность устройства). В случае с win-server 2012 и 2019 после установки conda, cuda и зависимостей код запускается и выдаёт ошибку, что не может подклучить _ctypes, хотя плагин для поддержки - VStudio 2019 я ставил.
Вопрос- я вообще правильно делаю, что пытаюсь на VM от гугла без видеокарты поднять pix2pixHD ?(в теории процессора и 8 гб должно хватать, я не обучаю там модель, а только запускаю уже обработку обученного генератора.) Может мне стоит посмотреть на 1) другие сервисы с ubuntu VM с GUI , там должно быть чуть меньше проблем. 2) Пробовать учиться делать docker-изацию всего этого дела и поднимать потом всё это же на виртуальнйо машине (или на выделенном сервере? где-то читал, что в VM докер- это извращение). Я просто уже пару дней бьюсь. Может есть способ сделать образ или список типа freeze всех зависимостей для приложения только грамотно? Я смотрю в сторону докера, но не очень понимаю, как там сохранить, например cuda или конду с зависимостями или как передать внутрь контейнера мои файлы снаружи. Или может где-то у Нвидии есть уже готовые контейнеры с pix2pixHD и даже серверы чтобы с ними играть тестить?
Аноним 23/11/20 Пнд 15:44:29 1863737371
>>1863683
Искать похожие картинки – гугли каскады Хаара.
Аноним 23/11/20 Пнд 16:00:19 1863749372
>>1863683
> Нейронка, что ищет текст на картинках
Эта задача называется OCR. Вроде бы есть бесплатные в открытом доступе. В целом задача для неироглифических языков хорошо проработана и решена
Для японского и китайского там всё сильно сложнее
Аноним 23/11/20 Пнд 16:11:33 1863762373
>>1863688
1. запусти свою модель на CPU на винде. например с помощью CUDA_VISIBLE_DEVICES='' python yoba.py в виндовом баше
2. запусти ее на ubuntu VM
3. далее там же можешь либо создать докер образ, выписав все команды, либо повторить все действия через шелл
>не очень понимаю, как там сохранить, например cuda или конду с зависимостями
Гугли, в интернете все есть
Аноним 23/11/20 Пнд 16:15:44 1863768374
>>1863394
> 5 мутаций - это хуйня
Если у меня будет по 15 мутаций и 40k картинок = 300 гигов. У меня столько свободного места на SSD нет, придется еще один докупать. Про мутации во время обучения ну это просто пушка. Если у вас такие CPU-кластеры, которые за время эпохи могут намутировать хотя бы 20k картинок, то можете обучать прямо на них. Зачем вам тогда GPU вообще?
Аноним 23/11/20 Пнд 17:14:12 1863828375
>>1863509
Во-первых, используют. Во-вторых, иметь репу с просто повторенным результатом и такую статью - это земля и небо в карьерном плане. Первое это ноль, не показывает ничего кроме макакинга. Второе это вклад, умение писать, понимание проблемы, умение решать задачи и добиваться результатов лучше других. Если еще и цитаты будут, а они будут если у тебя СОТА, то ты вообще будешь как боженька среди плебса.
Аноним 23/11/20 Пнд 17:28:25 1863843376
>>1863737
Свое устаревшее говно увози
>>1863768
Ты троллить тупостью начинаешь? Да, покупай ещё SSD чтобы хранить аугментированные изображения.
Аноним 23/11/20 Пнд 17:48:19 1863863377
>>1863843
> устаревшее говно
Предложи лучше
Аноним 23/11/20 Пнд 18:01:02 1863884378
>>1863863
Нейросетка, выдающая эмбединги -> поиск ближайших соседей с помощью faiss
Аноним 23/11/20 Пнд 18:03:43 1863888379
>>1863884
Молодец, новые булшит баззворды усвоил успешно, зумерок, жди следующей осени теперь
Аноним 23/11/20 Пнд 18:05:22 1863895380
>>1863888
Иди нахуй, дебил. Каскады хаара он в 2020 году рекомендовать будет
Аноним 23/11/20 Пнд 18:19:44 1863913381
>>1863762
понел, впитал, попробую, спасибо.
Аноним 23/11/20 Пнд 18:41:09 1863932382
Аноним 23/11/20 Пнд 19:28:15 1863955383
>>1863768
>Если у вас такие CPU-кластеры, которые за время эпохи могут намутировать хотя бы 20k картинок, то можете обучать прямо на них
Ну мань, ну хули ты диванствуешь.
Нейросетка тяжелая, чтобы обработать 1 картинку, GPU нужно пропустить данные сквозь кучу слоев, сначала forward, а потом backward, параллельно сделав дохуя расчетов.
А аугментация картинки - штука легкая, самая страшная вещь, которую ты делаешь - это афинные преобразования, потому что кропы/грейскелы/отражения и прочая хуйня вообще считай что бесплатная и по скорости равносильна переносу байтов из одного места в памяти в другое. Возьми блядь time.time и замеряй. Поэтому если у тебя аугментация требует раз в 100-1000 меньше флопсов, чем forward+backward pass, все сходится. А если нет - ты просто самые тяжелые части агументации переносишь на GPU, либо, в крайнем случае, только их переносишь на SSD.
Аноним 23/11/20 Пнд 20:41:00 1863994384
2827zoomerrage.png 42Кб, 256x256
256x256
Аноним 23/11/20 Пнд 20:43:48 1863997385
>>1847673 (OP)
Залётный в треде. Поясните, пожалуйста. Если я хочу дома с помощью камеры видеонаблюдения распознавать лица, в какую сторону мне копать? Есть тренированные модели, подходящие для российского фенотипа? Платные/бесплатные? Можно ли получать какую-то условную хэш-сумму лица, чтобы сверять свой/чужой?
Аноним 23/11/20 Пнд 21:32:16 1864036386
Аноним 23/11/20 Пнд 21:49:40 1864057387
>>1863683
2- Orange, конечно же.
С хуевым качеством, но ты удовлетворишь свою потребность в создании.

Иначе ничего не получится.
Аноним 23/11/20 Пнд 21:59:59 1864068388
Аноним 23/11/20 Пнд 22:00:49 1864069389
>>1863994
А, это ты что ли. Без картинки не узнал
Аноним 23/11/20 Пнд 22:34:44 1864107390
Здравствуйте, я заканчиваю 8 класс и хочу вкатиться в машоб, что мне для этого нужно?
Аноним 23/11/20 Пнд 22:41:37 1864115391
>>1864107
Как ты его заканчиваешь в ноябре, наркоман
Аноним 23/11/20 Пнд 22:55:11 1864127392
>>1863683
В принципе ты google фото описываешь. Картинки с нужным текстом ищет (довольно хуево). Определенные объекты ищет, даже если "аниме" в поиск написать, будет действительно только аниме. Но как бы у Гугла это всё работает неидеально, так что сомневаюсь, что у тебя лучше получится.
Аноним 23/11/20 Пнд 23:09:16 1864134393
>>1864127
Но гугол ищет фото по всему интернету, я же буду искать только в своей папке на 2 гигабайта.
>>1863749
>>1864057
Спасибо аноны, пойду гуглить реализации OCR и что такое этот ваш Orange. как только сдам все ебучие кр в универе, блять
Аноним 23/11/20 Пнд 23:21:40 1864143394
>>1864036
Неужели всё так плохо? Доверять этой хуйне вообще нельзя, получается.
Аноним 23/11/20 Пнд 23:31:29 1864148395
>>1863997
Айфон купи и свой апп напиши для него.
Аноним 23/11/20 Пнд 23:57:33 1864166396
image.png 576Кб, 1023x2160
1023x2160
image.png 256Кб, 512x1080
512x1080
>>1864134
>Но гугол ищет фото по всему интернету, я же буду искать только в своей папке на 2 гигабайта.

Я не про поиск гугл по изображениям. Приложение google photos на ведро, галерея гугловская короче. Он ищет по твоим фоткам. Первый скрин ищет по слову сыр на изображении (ну и по объекту сыр тоже), второй скрин ищет объекты аниме.
Аноним 24/11/20 Втр 00:03:41 1864169397
>>1864036
> не важно какая математика под капотом
А так можно на собеседовании сказать?
Аноним 24/11/20 Втр 00:43:50 1864184398
>>1864143
Он набивает себе цену, чтобы впаривать свои услуги
Аноним 24/11/20 Втр 00:53:01 1864185399
>>1864169
Если джун то нельзя, если синииоор то можно.
Аноним 24/11/20 Втр 00:55:26 1864187400
>>1864143
Можно, просто посмотри его блог поподробней подпишись и поставь палец вверх :), там он разные подробности связанные с реальным применением всяких таких штук в основном обсуждает.
Аноним 24/11/20 Втр 01:18:55 1864197401
>>1864187
>просто посмотри его блог
Хватит уже этого петуха тут пиарить, пиздуй на свой Швабр.
Аноним 24/11/20 Втр 01:36:48 1864203402
>>1864197
Всё ещё печёт, зумерок?
Аноним 24/11/20 Втр 01:47:53 1864206403
>>1864203
У меня уже не печет. В конце концов, есть же плохая погода, нечестные выборы и школьник в ML-треде, который постоянно носит какие-то сомнительные видео. Пора смириться
Аноним 24/11/20 Втр 01:58:10 1864211404
2827zoomerrage.png 42Кб, 256x256
256x256
Аноним 24/11/20 Втр 02:10:06 1864217405
image.png 451Кб, 1157x624
1157x624
>>1864211
>УЖЕ НЕ ЗУМЕР ТРАЛЮ ЗУМЕРОВ
Аноним 24/11/20 Втр 02:49:11 1864224406
15960264102200.jpg 67Кб, 592x532
592x532
Аноним 24/11/20 Втр 02:59:14 1864228407
image.png 193Кб, 400x534
400x534
Аноним 24/11/20 Втр 03:03:58 1864230408
>>1864036

Угу, тото у либерах гонконгских не горит и следом за ними не горит у демократической мировой общественности как у коммуняк нейросети не работают.
Аноним 24/11/20 Втр 03:05:01 1864231409
Аноним 24/11/20 Втр 03:23:01 1864236410
>>1864230
>демократической мировой общественности
Петухов забыли спросить
Аноним 24/11/20 Втр 03:51:35 1864243411
Аноним 24/11/20 Втр 04:09:48 1864247412
>>1864243
В МЛ все такие петухи, или есть норм ребята?
Аноним 24/11/20 Втр 04:11:18 1864248413
>>1864247
>В МЛ все такие петухи, или есть норм ребята?
МЛ - это петушиный угол айти. Сам как думаешь?
Аноним 24/11/20 Втр 04:22:05 1864251414
>>1864247
Петух - твоя батя
Тоха
Аноним 24/11/20 Втр 04:45:18 1864258415
>>1864251
Брат, Тоха, я тебя давно искал!
Аноним 24/11/20 Втр 08:47:23 1864312416
>>1863290
Кобзарь, "Прикладная математическая статистика".
Аноним 24/11/20 Втр 09:28:26 1864320417
Аноним 24/11/20 Втр 12:55:06 1864412418
>>1864166
Дай совес второй строки и второго объекта четвертой строки.
Аноним 24/11/20 Втр 16:50:42 1864634419
Аноним 24/11/20 Втр 17:03:20 1864642420
>>1864634
3к это он загнул офк, но если инглиш с1 действительно - это очень круто.
Аноним 24/11/20 Втр 17:04:32 1864643421
>>1864642
>have experience in working with databases.
Хотя я конечно b1, но я нихрена в его с1 не верю, как-то максимально криво звучит эта фраза даже для меня.
Аноним 24/11/20 Втр 17:16:34 1864651422
>>1864634
>17 years old
>Self-taught
>3000 USD
Перегнул с зарплатой раза в 3-4. Даже если закрыть глаза на отсутствие профильной вышки, я все равно не понимаю, как и когда 17-летний зумер может вкатиться в датасаенс.
>>1864643
>have experience in working with databases
>максимально криво звучит эта фраза даже для меня
Вообще-то так правильно. С английским у него как раз проблем нет.
Аноним 24/11/20 Втр 17:17:49 1864653423
Аноним 24/11/20 Втр 17:21:56 1864655424
>>1864653
>experience of working
В глаза ебешься? Experience in working.
Аноним 24/11/20 Втр 17:33:57 1864669425
>>1864651
>>have experience in working with databases
>>максимально криво звучит эта фраза даже для меня
>Вообще-то так правильно. С английским у него как раз проблем нет.

Хмм, а разве не проще дропнуть "in working" и оставить have exp with...
Аноним 24/11/20 Втр 17:34:35 1864671426
>>1864651
>С английским у него как раз проблем нет.
Типичные славянизмы, прямо чувствуется, что русский хохол писал
Аноним 24/11/20 Втр 17:57:21 1864684427
>>1864669
>Хмм, а разве не проще дропнуть "in working" и оставить have exp with...
Так тоже можно. Пиши длиннее если резюме пустое, короче - если наоборот нет места.
>>1864671
>Типичные славянизмы, прямо чувствуется, что русский хохол писал
А ты сам кем будешь? Вбей эту фразу в кавычках в гугл и увидишь, что так много кто пишет.
Аноним 24/11/20 Втр 18:00:57 1864685428
>>1864684
Да похуй. Ничего плохого в славянизмах нет
Аноним 24/11/20 Втр 18:17:14 1864701429
>>1864642
>>1864643
С1 принято подтверждать сертификатом. нет серта - пошёл вон
Аноним 24/11/20 Втр 18:34:51 1864714430
>>1864701
Не слыхал о таком, обычно проверяют банальным разговором на заезженные темы (настолько заезженные, что следующий раз как буду искать работку думаю припизднуть маленько и сказать что у меня уже аппер, заготовив текста на попсовые темы заранее).

Но мои познания это B1-B2, может для сС рли требуют. Я видел такие формальные требования только для вакансий инглиш тичеров на крупных галерах, при этом для тех же сейлзов например я не припомню требований по бумажкам.

Да и вообще о каком сертификате речь?. Резюме - кусок дерьма. Не говоря о том где оно опубликовано. Насколько я понимаю у вас в РФ hh действительно ходовой сайт для ит, но в украхе в ит сфере работу на досках объявлений никто не ищет. Есть узкоспециализированные сайты и линкедин, а hh и прочие работа.уа имеют статус помойки (или около того).
Аноним 24/11/20 Втр 18:56:51 1864724431
>>1864714
ХОХОЛ УХОДИ С ДВАЧА
Аноним 24/11/20 Втр 19:00:26 1864726432
Аноним 24/11/20 Втр 20:31:15 1864763433
>>1864634
>Have experience in working with databases.
Может он еще и винду ставить умеет и блокировщик экрана снимать, почему не указал computer science? Мне вот подгорело, явно троллинг.
Аноним 24/11/20 Втр 20:42:47 1864781434
>>1864714
>линкедин
Хуясе, я думал этой парашей в здравом уме никто не пользуется как и Фасебуком.
Аноним 24/11/20 Втр 20:51:50 1864793435
>>1864781
Позвони когда вылезешь из скрепного.
Аноним 25/11/20 Срд 03:57:13 1865074436
>>1864714
О, а не подскажешь, где смотришь? А то я тут как раз недавно ныл, что на всяких ворк.юа в основном тупо работа в эксельке.
хохол зумер вкатывальщик к-к-комбо!
Аноним 25/11/20 Срд 04:00:41 1865076437
А в геймдеве до МЛя ещё не доросли? Работа имеется?
Аноним 25/11/20 Срд 04:01:50 1865078438
Из специалезированных только джобс.доу знаю. Но я еще не то чтобы прям сильно в это вникал, все равно еще рано мне работать, пока учусь.
Аноним 25/11/20 Срд 04:02:35 1865079439
специализированных*
Аноним 25/11/20 Срд 04:09:02 1865083440
>>1865076
Генерят контент типа камней, текстур и прочей поебени. Насчет работы не знаю. Тут скорее нужно уже на работе ездить по мозгам кабанчику роликами с two minute papers
Аноним 25/11/20 Срд 09:25:55 1865157441
>>1865076
В геймдеве и так есть чему жрать ресурсы видеокарты, куда там ещё мл.
Аноним 25/11/20 Срд 11:09:32 1865211442
>>1865157
Одну видюху для графики, одну для физики, ещё вот для ML хочется. Вопрос сколько надо видюх для того, чтоб майнкрафт не лагал?
Аноним 25/11/20 Срд 12:18:48 1865261443
>>1864634
> Multivariable Calculus
Откуда
Аноним 25/11/20 Срд 13:13:50 1865311444
Аноним 25/11/20 Срд 13:53:45 1865358445
unknown.png 349Кб, 990x784
990x784
Аноним 25/11/20 Срд 14:03:59 1865362446
>>1865358
Сторгуется на 300, а ты так и будешь вкатываться