Программирование

Ответить в тред Ответить в тред
НЕЙРОНОЧКИ И МАШОБ ТРЕД 28 /ai/ Аноним 24/08/20 Пнд 00:00:11 17859521
15955575030600.jpg 215Кб, 1386x881
1386x881
15972522282340.png 115Кб, 482x400
482x400
15972427585130.gif 34Кб, 532x669
532x669
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Аноним 24/08/20 Пнд 00:03:42 17859532
Аноним 24/08/20 Пнд 00:13:05 17859593
>>1781272 →
Любую науку способны двигать единицы. То что в машобе на 1 учёного 100 сойбоев роли особой не играет. Вон у Хопфилда с Кротовым новый пейпер по мотивам работы Хохрайтера, который интерпретировал софтмакс аттеншен как новый тип сети Хопфилда, просто эстетическое удовольствие от такого чтива. В интересное время живем
Аноним 24/08/20 Пнд 11:51:19 17861654
Сейчас вузы ко всем около компьютерным специальностям дописывают, что учат машинному обучению?
Аноним 24/08/20 Пнд 13:56:10 17863185
>>1785952 (OP)
>2
О, рабочебыдлецо до сих пор горит
Аноним 24/08/20 Пнд 17:05:25 17865676
>>1786165
В 20к20 нет смысла учиться каэсочке без машинки.
Аноним 25/08/20 Втр 02:15:44 17872017
Quantum machine laerning булшит или нет?

Алсо, понравилась идея применения ML к трейдингу. В соло можно что-то запилить и рубить 300кк/нс? Или уже поезд ушел?

Если что я нуб, прохожу 4-ый курс в специализации от Яндекса (4fun)
Аноним 25/08/20 Втр 09:11:47 17872768
https://www.youtube.com/watch?v=7bUYEMZVMCE
МЛ ИРЛ:
5% - подбор модели и подкрутка ее параметров
20% - сбор и приведение данных в порядок
75% - обкашливание вопросиков с кабанчиками
Аноним 25/08/20 Втр 11:03:36 17873499
>>1787201
Шоб быть норм трейдером нужен толстый кабель к бегающим орущим мужикам с минимальным пингом
Аноним 25/08/20 Втр 11:35:18 178739010
Аноним 25/08/20 Втр 11:39:05 178739911
>>1787201
Мошиах лернинг это в целом буллшит. Трейдинг без инсайдов - казино, которое методами машинного обучения в принципе не просчитываемо
Аноним 25/08/20 Втр 12:13:13 178745612
>>1787399
ну вроде ребята, которые плотно занимаются трейдингом что-то зарабатывают. А что они делают? По моим ощущениям, они смотрят на новости и графики.

А что если автоматизировать этот процесс: скармливать данные и новости алгоритму в реальном времени, чтобы он предсказывал что будет дальше?

P.S Я ничего не понимаю в трейдинге
Аноним 25/08/20 Втр 12:29:53 178747713
>>1787456
Во-первых, ты предлагаешь по сути анализ временных рядов, который не подходит для твоей задачи.
Во-вторых, переведи все эти "новости" в употребимый для алгоритма вид. Дешевле и проще нанять "ребят которые плотно занимаются трейдингом"
В-третьих, ребята которые "что-то зарабатывают", смотрят на инсайды. Без инсайдов трейдинг - казино.
Аноним 25/08/20 Втр 12:37:03 178748114
Аноним 25/08/20 Втр 14:18:32 178759615
Data Analyst это кто? Чем он Data Scientist отличается?
Аноним 25/08/20 Втр 14:40:57 178763816
DataAnalystClea[...].jpg 525Кб, 1000x667
1000x667
>>1787596
да, собственно, работой.
потому что Data Scientist ничего полезного бизнесу не дает.
Совсем охуели.
Аноним 25/08/20 Втр 14:43:02 178764517
>>1787477
>В-третьих, ребята которые "что-то зарабатывают", смотрят на инсайды. Без инсайдов трейдинг - казино.
но ведь есть еще какая-то внушительная часть алгоритмического трейдинга чисто на скорость .
они без временных рядов неплохо оперативно справляются, наверное
Аноним 25/08/20 Втр 14:51:43 178766418
Ну и мусор тут в треде пиздец
Аноним 25/08/20 Втр 15:35:30 178771019
1404239257665.jpg 250Кб, 1000x1000
1000x1000
>>1787596
В моем случае:
- регулярные SQL/Excel отчеты (30%) - запустить скрипты\макросы, посмотреть что получилось
- ad hoc отчеты с использованием комбинации из SQL/Python (для веб-скрейпинга и обработки текстовых данных)/Excel (25%)
- (раз|до)работка Power BI отчетов (25%).
- бессмысленные созвоны и встречи (20%)
Аноним 25/08/20 Втр 17:33:38 178783520
>>1787710
Расскажи как поиметь tableau ?
Где кряк?
Аноним 25/08/20 Втр 18:46:11 178788221
>>1787710
Пандасом кто-нибудь пользуется?
Аноним 25/08/20 Втр 20:18:00 178799222
>>1787835
Мы только в PBI делаем

>>1787882
Да, конечно. pandas, пакеты визуализации, bs4, requests, re - мой основной инструментарий по работе
Аноним 25/08/20 Втр 21:09:25 178802423
Аноним 25/08/20 Втр 21:11:42 178802624
Аноны, есть задача, нужен подходящий алгоритм решения. Есть цепочки событий, например:
1->2->3
2->1->3
Их можно разбить на стоящие рядом события, например:
1->2 в цепочке встречается 5 раз
2->3 встречается 7 раз
и потом нужно обсчитать входной набор таких цепочек событий, разбить на группы (тип цепочке размечается человеком). Потом нам дают новую цепочку и надо понять, к какой группе она скорее всего относится.
Дайте ключевых слов, по которым искать подходящий алгоритм. Заранее спасибо.
PS Нагуглил похожую задачу, определение авторства текстов по последовательностям слов в предложениях. Там используется метод опорных векторов, но не уверен что это именно то, что нужно.
Аноним 25/08/20 Втр 22:15:52 178805825
>>1787201
>применения ML к трейдингу
А что ты будешь нейроночке скармливать? Котировки акций? Так в них принципиально нет ответа на вопрос сколько эти акции будут стоить в будущем. Максимум что делают с помощью трейдинговых ботов - не дают сильно много денег просрать, типа бот быстрее видит что начался пиздец и принимает решение по-быстрому сбагрить товар.
Аноним 25/08/20 Втр 22:21:39 178805926
>>1785952 (OP)
Посоны, кто-нибудь имел дело с лейблами семантичкеских ролей? Ковыряю AlenNLP Semantic Role Labeling нейроночку, открыл словарик - там куча лейблов типа I-ARG0 или B-ARG1 и еще куча всякой поеботы, но главное что название каждого лейбла начинается либо на "I-" либо на "B-".
Вопрос - что эти две буквы значат? Нашел описания для всех остальных компонент лейбла, а для этих буковок не нашел.
Аноним 26/08/20 Срд 09:17:38 178834927
Есть какие-нибудь активные англоязычные имиджборды где можно обсудить МЛ?
Аноним 26/08/20 Срд 09:22:49 178835728
>>1788026
Как это машин лернинх? Обычный алгоритм уровня институтной лабароторной справится.
Аноним 26/08/20 Срд 09:27:55 178836229
>>1787456
Тоже думал как раз об этом. Если мониторить новости, то можно преуспеть. Однако книги по трейдингу, которые я прочел говорят что анализ графиков достаточная методика для трейдинга, но там всё с комплексным пониманием котировок связано и результат таких торгов врядли принесёт больше 30% прибыли за годичный период, то есть с ляма там получается 200-300 тысяч денег.
Аноним 26/08/20 Срд 09:34:26 178837530
>>1788362
>результат таких торгов врядли принесёт больше 30% прибыли за годичный период, то есть с ляма там получается 200-300 тысяч денег.
30% в год это дохуя - инвестиции с небольшим риском приносят максимум 10%.

Ну а так есть три проблемы. Во-первых, нужны инсайды. Во-вторых, надо знать, как преобразовать всю информацию во что-то, что можно скормить нейросети и желательно чтобы оно работало. В-третьих, нужны огромные вычислительные мощности. Зная один лишь второй пункт ты уже сможешь зарабатывать столько, что на трейдинг станет наплевать.
Аноним 26/08/20 Срд 10:11:47 178843931
Аноним 26/08/20 Срд 10:40:11 178846432
>>1788375
Я говорю об эффективных методах и большом успехе. В среднем конечно если ты новичок, то врятли вытянешь 10%. Я думаю преобразовывать инсайды не так уж и сложно, при том что мы сейчас имеем как "инсайды" это только проблема классификации.
Аноним 26/08/20 Срд 10:55:13 178847633
>>1788362
>говорят что анализ графиков достаточная методика
для того чтобы ловить падающие ножи
Аноним 26/08/20 Срд 13:07:51 178858534
Сап. Все же слышали про GPT-3? Нейросеть на основе NLP обучилась на огромном количестве данных и уже умеет писать код (часто с ошибками), вот например https://twitter.com/sharifshameem/status/1284095222939451393

Сам я джун на анроиде, в течение месяца получу первую работу. Так вот, сколько еще можно будет работать обычным программистам? Хотя бы пара лет у меня есть еще поработать? А то как-то не очень приятно, хотя я был бы рад потерять работу, если бы был создан полезный миру публичный General AI

Мб у NLP-нейросетей есть какие-то фундаментальные ограничения, барьер точности? Ведь они еще вовсе не "думают", а просто предсказывают текст, к тому же GPT-3 отличается от GPT-2 только объемом скормленных данных, ничего нового ребята из OpenAI по сути не сделали
Аноним 26/08/20 Срд 13:08:47 178858735
15957551869560.mp4 10173Кб, 400x608, 00:01:13
400x608
Аноним 26/08/20 Срд 13:37:34 178861636
>>1788585
Такое говно срали еще на прологе 30 лет назад
Аноним 26/08/20 Срд 18:34:08 178897137
>>1788439
Спасибо, посмотрю.
>>1788357
Можешь дать пример такого алгоритма или задачи с решением? Либо ключевые слова, по которым искать.
Аноним 26/08/20 Срд 20:10:11 178902038
image.png 60Кб, 721x600
721x600
>>1788464
>Я думаю преобразовывать инсайды не так уж и сложно
Пикрил. Для начала, как ты собираешься переводить новости из текста в вектор, сохранив при этом сложную семантику? Все существующие подходы работают слишком плохо, чтобы это было возможно. Даже если это получится, тебе придется самому делать датасет и классифицировать каждую новость, а для этого тебе придется вдаваться в детали трейдинга. То есть, чтобы создать такую систему, тебе придется стать профессиональным трейдером.

Без всего вышеперечисленного твой максимум - это анализ самих курсов, что работать гарантированно не будет.
Аноним 26/08/20 Срд 21:10:40 178907539
>>1788349
а на форчане нет разве?
Аноним 27/08/20 Чтв 00:14:09 178920440
>>1789075
Внезапно, нет. В /g/ даже программирование не слишком активно обсуждают, в основном устройства и программы, а в /sci/ одни шизики.
Аноним 27/08/20 Чтв 02:16:35 178923841
>>1788464
>>1789020
Вы вообще в какую-то хуйню полезли. Классифицировать новости не так уж сложно, для этого есть эмбеддинги. Вот только это не нужно. Предсказывать временные ряды в трейдинге тоже не нужно. Все проще. Никто же не будет спорить, что:
- текущая ситуация на рынке полностью отражается показаниями индикаторов
- доход от купли продажи активов зависит только от текущей ситуации на рынке, есть моменты, когда выгоднее покупать, продавать или ничего не делать
Классифицировать нужно векторы показаний индикаторов, а помечать их нужно наиболее оптимальным действием при такой ситуации.
Аноним 27/08/20 Чтв 02:20:29 178924042
>>1789020
Текст в бинарное значение сейчас переводят вполне удачно, достаточно данных и результаты будут 70-80% правильными, используя например иерархическое нлп. А создание датасета это наибольшая часть работы офкорс, над этим следует волосы на голове порвать немного.
Аноним 27/08/20 Чтв 02:21:46 178924143
>>1789238
Индикаторы и есть графики лол. Это хуй у тебя получится сделать что-то на уровне новичка-трейдера.
Аноним 27/08/20 Чтв 02:24:20 178924244
Аноним 27/08/20 Чтв 02:55:44 178924945
>>1789238
>Классифицировать новости не так уж сложно, для этого есть эмбеддинги
>>1789240
>Текст в бинарное значение сейчас переводят вполне удачно
Эмбеддинги нормально работают только на простых задачах.
Аноним 27/08/20 Чтв 03:27:54 178925646
>>1789238
>- текущая ситуация на рынке полностью отражается показаниями индикаторов
Конечно нет. Ситуация на рынке отражается в головах участников рынка. Сечину жена с утра не дала и он слил миллиард - кто-то заработал, кто-то потерял.
>доход от купли продажи активов зависит только от текущей ситуации на рынке, есть моменты, когда выгоднее покупать, продавать или ничего не делать
Только узнаешь ты об этом постфактум.
Аноним 27/08/20 Чтв 04:37:22 178926747
>>1789256
> Конечно нет. Ситуация на рынке отражается в головах участников рынка.
И разумеется, никак не влияет на показатели индексов. Ты себя читаешь? Поведение на рынке, зависящее от того что в голове у участников, отражается на показателях индексов. Это зависимые переменные.
> Только узнаешь ты об этом постфактум.
Да, на основе анализа истории последствий подобных же состояний рынка.
>>1789249
> Эмбеддинги нормально работают только на простых задачах.
А это простая задача. Сентимент анализ по-сути.
Аноним 27/08/20 Чтв 11:08:48 178945548
Аноним 27/08/20 Чтв 15:13:18 178980249
>>1789267
>И разумеется, никак не влияет на показатели индексов.
Влияет - уже после подачи заявки на сделку.
>Да, на основе анализа истории последствий подобных же состояний рынка.
Ты считаешь, что по данным погоды за 10 лет нейронка предскажет тебе погоду на завтра. Не предскажет.
Аноним 27/08/20 Чтв 16:33:34 179000250
>>1789802
> предскажет Не предскажет.
Я вообще про предсказания ничего не говорил. Речь об оценке состояния рынка и автоматическом выборе оптимальной стратегии в данном состоянии.
Аноним 27/08/20 Чтв 17:05:04 179005651
>>1789802
>Не предскажет.
Это вговнемочёные со своими дифференциальными говнениями ничего не предсказывают, а чад с нейронкой, бустингом и данными всё предсказывает.
Аноним 27/08/20 Чтв 17:15:14 179007952
>>1790002
>Речь об оценке состояния рынка и автоматическом выборе оптимальной стратегии
>не предсказания
Аноним 27/08/20 Чтв 20:04:59 179023253
Аноним 27/08/20 Чтв 22:25:56 179033054
>>1790232
Че бампаешь то, говно с вишенкой, не более.
Аноним 27/08/20 Чтв 22:52:53 179036655
>>1790232
Нет пруфов, кроме этого видоса.
Аноним 28/08/20 Птн 00:07:50 179042356
>>1790366
Ты думаешь OpeanAI (авторы нейросети), финансируемые Максом, будут заниматься таким?
Аноним 28/08/20 Птн 00:44:59 179044657
>>1790366
Я игрался с gtp3, вполне представляю, что он так может
Аноним 28/08/20 Птн 11:23:22 179076958
>>1790446
В течение пары лет заменит программистов?
Аноним 28/08/20 Птн 11:28:45 179077759
>>1789267
Проще парсить новости и подсчитывать упоминания торгуемых компаний. Когда какая-то компания начинает чаще упоминаться, то уже подключается бот на ифэлсах.
Аноним 28/08/20 Птн 11:29:41 179077960
Сейчас пролистал Бишопа и там ни одной строчки кода, как так?
Аноним 28/08/20 Птн 15:13:54 179107461
IMG202008281510[...].jpg 18Кб, 483x255
483x255
IMG202008281510[...].jpg 10Кб, 564x141
564x141
Двач, почему моя нейронка не работает, не считает ошибку и прочее, на моем датасете? Самая простая нейросеть, на классическом, готовом, датасете все работает. И там в готовом и в моем датасете значения float64 да и в целрм похожи только размерности разные. У меня только 600+ признаков one hot encoding, может в этом дело?
Аноним 28/08/20 Птн 17:28:21 179120462
Аноним 28/08/20 Птн 21:09:39 179144763
Как сделать нейросеть (или другой ИИ), который сможет посчитать подобные предметы на картинке (например, прорежённую кучку винтиков на контрастном фоне)?
Аноним 28/08/20 Птн 22:03:34 179150464
15982722236443.jpg 73Кб, 1080x1062
1080x1062
Поясните про skip connections. Если это сумма выходов двух слоёв, значит ли это, что:
- вход последующего слоя должен размером равняться этой сумме?
- должен ли быть размер картинок суммируемых слоёв быть одинаковым?
- подобное поведение будет актуально как свёрточных, так и развёрточных слоёв?
Аноним 28/08/20 Птн 22:31:07 179151865
peopleod.png 1427Кб, 1137x765
1137x765
resmrcnnstandin[...].jpg 148Кб, 1024x682
1024x682
Аноним 28/08/20 Птн 22:34:07 179152166
Аноним 28/08/20 Птн 23:46:20 179156267
>>1791504
>- вход последующего слоя должен размером равняться этой сумме?
А чему еще он может равняться?
>- должен ли быть размер картинок суммируемых слоёв быть одинаковым?
В 99% случаев да, но можно выкрутиться. Например, если на входе у тебя 8 каналов [батч, длина, ширина, 8] а на выходе 1 канал - [батч, длина, ширина. 8], то при сложении слоев будет выполнен бродкастинг и меньший слой подгонится под размер большего копированием вдоль недостающей оси.
Второй вариант - вместо сложения использовать конкатенацию. То есть было [батч, длина, ширина, 8] и [батч, длина, ширина, 1], на выходе [батч, длина, ширина, 9]. Так скипы устроены в UNet.
Аноним 28/08/20 Птн 23:47:48 179156368
>>1790779
Диды не умели симпатично программировать, за что не возьмутся, везде фортран получается
Аноним 29/08/20 Суб 00:11:40 179157469
>>1791562
>А чему еще он может равняться?
Ну... если оба выхода по 32, и вход 32?
> вместо сложения использовать конкатенацию.
Получается, это разные вещи? Что предпочтительнее?
Аноним 29/08/20 Суб 01:20:59 179161070
>>1791574
>Ну... если оба выхода по 32, и вход 32?
Каких оба выхода? Ты похоже что-то не догоняешь. У тебя есть операция сложения, у нее два операнда, левый и правый, и этой операции все равно, откуда ты взял данные, главное, что левый и правый операнд обязаны иметь совпадающие размеры, иначе как ты собираешься складывать.
А что именно с чем ты складываешь в данном конкретном вопросе роли не играет. Каким образом у тебя возникло 2 выхода я не понимаю.
>Получается, это разные вещи?
Да, это разные вещи. Сложение поэлементно складывает, как складываются матрицы в линале, конкатенация же дописывает один тензор к другому. получая тензор большего размера вдоль заданной тобой оси, как правило первой или последней. Естественно на выходе у тебя получается больший тензор, и следующему слою придется иметь больше весов. чтобы с ним работать. Конкатенация мощнее, но требует сильно больше флопсов в следующем за конкатенацией слое.
>Что предпочтительнее?
Пробуешь и то и то и смотришь. Черный ящик сам себя трясти не будет.
Аноним 29/08/20 Суб 01:45:09 179161671
А гридсёрч в scikit работает так же быстро как если просто самому в цикле проходиться и фитить модели или он оптимизирован?
Аноним 29/08/20 Суб 15:28:12 179189172
Есть гайд по вкату на стажировку?
Аноним 29/08/20 Суб 19:47:41 179207273
Аноним 29/08/20 Суб 20:08:00 179208274
>>1791891
Ты должен быть старшекурсником топового вуза.
Аноним 29/08/20 Суб 21:21:17 179212875
Какой шанс, что через 5 лет нейронки сможет настраивать обычный человек, непонимающий как они работают?
Аноним 29/08/20 Суб 21:22:13 179213076
>>1792128
>нейронки сможет настраивать обычный человек, непонимающий как они работают
Уже.
Аноним 29/08/20 Суб 21:31:52 179213877
>>1792128
А что, тут хоть один зумер понимает, как они работают? Представление функции нескольких переменных через суперпозицию функций двух переменных, теорема Колмогорова-Арнольда, вот это все.
Аноним 29/08/20 Суб 21:39:52 179214078
>>1792130
>>1792138
Переформулирую.
Человек, который не может даже в программирование.
Какой шанс, что выбор нейронок через несколько лет будет алгоритмизирован и менеджерке не нужен будет специалист, чтобы настроить нейросеть
Аноним 29/08/20 Суб 21:49:35 179215179
>>1792140
>Переформулирую.
>Человек, который не может даже в программирование.
И такое уже есть (Orange, Weka, и т.п.). Только они справляются далеко не со всеми задачами, которые с каждым днем становятся все сложнее. Зачастую нужна тонкая настройка и хотя бы относительное понимание как оно работает, иначе получишь 60% точности вместо 95%. Еще как правило нужна оптимизация. Возникнет задача где данных под тесять терабайт, и любая система где нужно нажимать на кнопочки сделает пук-среньк и повиснет.
Аноним 29/08/20 Суб 22:12:27 179216980
Анон, выручай, ты смог установить BigARTM 0.9 версии или старше?
(Py3, windows10, да, пидарас я)
Следовал строго инструкции из installation, но все равно выдает ошибку, что модуль artm отсутствует
Аноним 29/08/20 Суб 22:13:35 179217181
>>1792151
Спасибо, анон.
А как вкатиться в работу по МашОбу?
Я 23 лвл, инженер по электроприводу. Год работаю программистом АСУТП (это собирать из блоков И, ИЛИ разрешения на пуск и алгоритмизировать работу промышленного оборудования).

Математику на уровне обычного инженерного ВУЗа выучить не проблема. Технический английский присутствует.

Правильно я понимаю, что сперва надо научиться писать читаемый код я писал только скрипты для тестов мох программ на Python, выучить SQL, R, PyTorch и можно смело перекатываться? И рассчитывать на 70к в ДС2 через год-другой.

работа не нравится из-за командировок и ебанутой ответственности. Можно один бит пропустить и из-за тебя работа 50 инженеров встанет. А если ещё что-нибудь как на саяно-шушенской ГЭС там на релейно-контактных схемаз все было сделано, так что виноват не программистслучится и на тебя решат спихнуть вину, то совсем печально будет
Аноним 29/08/20 Суб 22:20:25 179217782
>>1792171
>А как вкатиться
Никак. Ты уже слишком стар для интерна/ждуна, да ещё и с непрофильной вышкой
Аноним 29/08/20 Суб 22:34:47 179219183
>>1792171
>А как вкатиться в работу по МашОбу?
Понятия не имею я сам еще не вкатился.
Аноним 29/08/20 Суб 23:29:34 179223684
>>1792177
Главное, что я готов работать за еду год, потом сбережения закончатся
Да и история челиков, которые в 30+ перекатились меня подбадривает.
К тому, же из-за ЧСВ, присущего любому человеку, я думаю, что у меня точно получится.

Даже если ты прав. Я же могу вкатиться в машинное обучение по своей специальности. Я знаю технологии, а судя по интервью это часто бывает важно.
Аноним 29/08/20 Суб 23:47:13 179225685
>>1792082
Мага МАИ подойдёт?
примат, но не по машобу, обосрался на вступительных
Аноним 30/08/20 Вск 00:16:52 179227686
>>1792171
Раз в год меняешь работу/должность на более машобную - куда возьмут, а при новом трудоустройстве немного пиздишь о том, чем занимался
Сразу трясуном ящиков тебя не возьмут конечно
Аноним 30/08/20 Вск 06:05:54 179239687
>>1792140
> Человек, который не может даже в программирование.
Там программирование не нужно. Написать несколько строк вызова готовых функций с параметрами, причем, примеры кода есть в документации это не программирование.
Аноним 30/08/20 Вск 06:59:10 179240588
>>1792396
этот прав. Там даже дебич может справиться. Касательно вопроса- ну да, все идет к этому, но не так быстро. Это будет как рост производительности пк догоняться ростом требований софта (из-за ухудшения оптимизации-упрощения процесса "программирования"). Прогресс будет медленным, ну или ебнут квантовый пк, и тогда тут будет скайнет.
Аноним 30/08/20 Вск 09:06:06 179242389
>>1792396
>это не программирование
хрюкнул, дай свое определение программирования
>>1792140
Если вместо дерганья ануса через код будет голосовой интерфейс это ничего не поменяет. Без знаний в этой области далеко не уедешь.
https://youtu.be/hHwjceFcF2Q
Аноним 30/08/20 Вск 09:15:57 179242890
>>1792423
> , дай свое определение программирования
На примере слесарьплова. Написать сам слесарьплов - это программирование. Пользоваться им (дергать анус готовые функции через код) - не программирование.
Аноним 30/08/20 Вск 09:18:47 179242991
>>1792423
Добавлю ещё про непрограммирование.
Это просто другой абстракции, также, как сейчас не надо наизусть знать конфигурацию суперкомпьютера на котором ты щелкаешь тумблерами, чтобы подвигать байтики.
Аноним 30/08/20 Вск 09:32:31 179243392
huyudi.png 1023Кб, 1188x804
1188x804
>>1791518
В очередной раз убеждаюсь, что подобные статейки это просто инфоциганский мусор+лохотрон.
Нет, чтобы просто дать документацию и небольшой туториал, они берут и размазывают всё по всему.
Очень долго не мог запустить приведённый в первой статье код, так как не понимал, что авторы подразумевали под некоторыми переменными, например T.
Но я разобрался и всё-равно, мы видим, что автор статьи просто набросал рандомного текста, ничего не объяснив, так что мой результат только пикрелейтед, мда.

Люди, кстати, выглядят так. будто сгенерированы нейросетью. Вполне вероятно, что и текст той статьи сгенерирова нейросетью.
Аноним 30/08/20 Вск 09:43:51 179243493
>>1792236
>я готов
И нахуй ты нужен? С непрофильным образованием и без опыта от тебя будет больше вреда.
>история челиков
Инфоцыгане пиздят, чтобы продавать курсы по машобу.
>Я же могу вкатиться в машинное обучение по своей специальности
Так чего ещё не вкатился, лол.
Аноним 30/08/20 Вск 09:47:54 179243894
Аноним 30/08/20 Вск 09:53:01 179244095
>>1792428
Тф - это фреймворк, говорить, что писать код для фреймворка - не программирование, это все равно, что обозвать C# не программированием только на основании того, что ты видел, как какие-то студенты кидают батоны на winforms.
При этом по сути это еще и метапрограммирование (код, генерирующий граф вычислений), результатом которого является дифференцируемый код (функциональщина в квадрате).
Я молчу о том, что воспроизводимость требует хороших практик написания кода и организации работы, а стоимость железа не позволяет повысить требования и забить хуй, как много лет делают мейнстримные программисты.
Аноним 30/08/20 Вск 09:56:17 179244296
>>1792433
>Очень долго не мог запустить приведённый в первой статье код, так как не понимал, что авторы подразумевали под некоторыми переменными, например T.
>инфоциганский мусор+лохотрон
Охуенная логика, если ты новичок и у тебя что-то не получается, виноват в этом кто угодно, только не ты. Далеко пойдешь. Политиком можешь стать, мэром города какого-нибудь небольшого.
Аноним 30/08/20 Вск 14:31:10 179264397
Аноним 30/08/20 Вск 15:36:36 179270998
Аноним 30/08/20 Вск 19:12:44 179290799
>>1792709
нелинейности не хватило
Аноним 31/08/20 Пнд 00:06:19 1793159100
>>1792907
Так у двухслойного хватает чтобы выучить в принципе любую функцию.
Аноним 31/08/20 Пнд 01:13:08 1793253101
>>1792709
так справился же. Ну и да, если бы в первом инпуте были два входа: угол от центральной точки + расстояние от центральной точки, то там можно было бы в один слой всё зарешать (наверное)
Аноним 31/08/20 Пнд 01:32:39 1793291102
>>1793253
Это уже ручной дизайн фич
Аноним 31/08/20 Пнд 01:35:20 1793295103
Аноним 31/08/20 Пнд 02:45:26 1793315104
>>1793159
Чтобы выучить любую функцию, достаточно просто массива точек и интерполяции между ближайшими соседями. Нет никакого практического смысла рассуждать о том, можно ли какой-то йобой описать любую функцию, если иметь достаточное число весов. Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
Аноним 31/08/20 Пнд 04:58:47 1793332105
>>1793315
> Чтобы выучить любую функцию, достаточно просто массива точек и интерполяции между ближайшими соседями.
Вот только ещё в 60х поняли, что это так не работает. Точек и расстояния между ними недостаточно в подавляющем большинстве случаев, хотя бы из-за того что почти все подобные задачи некорректнопоставленные.
> Нет никакого практического смысла рассуждать о том, можно ли какой-то йобой описать любую функцию, если иметь достаточное число весов. Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
Это единственное, что вообще имеет смысл в машобе. Все остальное это шаманство и тряска черных ящиков.
Аноним 31/08/20 Пнд 09:04:08 1793391106
>>1793332
>Точек и расстояния между ними недостаточно в подавляющем большинстве случаев, хотя бы из-за того что почти все подобные задачи некорректнопоставленные.
Какие "подобные задачи". Я отвечал на фразу "Так у двухслойного хватает чтобы выучить в принципе любую функцию". Не хватает, потому что в этом случае скрытый слой будет представлять как раз подобную таблицу.
>Это единственное, что вообще имеет смысл в машобе.
Не, это твоя очередная сверхидея.
Аноним 31/08/20 Пнд 12:04:41 1793563107
259eb21b59c5e9e[...].jpg 34Кб, 700x803
700x803
Тряс-тряс чёрный ящик, а результат говно.
Аноним 31/08/20 Пнд 17:25:42 1793931108
>>1793563
Переверни его, дебич
Аноним 31/08/20 Пнд 18:07:37 1793988109
>>1793563
>>1793931
Пока нёс черный ящик с говном кабанчикам, расплескал содержимое на ротешники зумерам вкатывальщикам
Аноним 31/08/20 Пнд 18:29:30 1794027110
>>1793315
>Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
Так там вроде достаточно взять n+1 нейрон на внутреннем слое, чтобы получить возможность аппроксимировать любую гладкую функцию на n-мерном пространстве.
Т.е. конкретно в случае со спиралью на плоскости вообще трёх нейронов должно хватить, видимо в локальный минимум застревает какой-то просто.
Аноним 31/08/20 Пнд 23:35:53 1794245111
>>1792082
Старшекурсник мэгэу в треде, куда можно пойти стажёром кроме Яндекса/Сбера/SAS?
в ODS состою, там ещё несколько мест видел в job, но нигде в данный момент нет активных вакансий
мимо другой анон
Аноним 01/09/20 Втр 00:24:23 1794264112
Аноним 01/09/20 Втр 00:49:53 1794272113
>>1792140
Примерно 0, так как программы для автоматического решения задач ML по типу RapidMiner умеют во входные данные только определенного формата, а без кода который хотя бы джейсончики перегоняет в csv ничего работать не будет, к томуже они не могут извлекать новые признаки.
Аноним 01/09/20 Втр 02:14:55 1794306114
>>1792138
>Колмогорова-Арнольда
Курицына-Рикибазукова
Аноним 01/09/20 Втр 04:16:36 1794344115
>>1792140
Прям чтовы менеджер среднего звена Вася работал полностью сам - не раньше чем протез мозга сделают.
Аноним 01/09/20 Втр 04:18:46 1794345116
>>1794344
Ну полностью не полностью, но входной барьер опустят - зарплаты упадут.
Аноним 01/09/20 Втр 04:26:05 1794346117
>>1794345
> но входной барьер опустят - зарплаты упадут
Сразу после колонизации Марса
Аноним 01/09/20 Втр 04:32:28 1794350118
>>1794345
Это естественный ход вещей. 15 лет назад простейший макакинг был не то что как рокет саенс, даже еще выше. Рили выучив синтаксис какой-нибудь джавы можно было сесть и рубить бабло.
Барьеры убирают, но за ними вырастают новые, повыше. Нейроночки на серьезном уровне это все же головоломная штука, которую надо изучать годами. На таком уровне в математику могут жалкие проценты людей. Делать что-то без представления о том, что такое параметры, функция потерь, градиент, свертка, нормализация, оптимизация - ну это как кодить на жс не зная что такое переменная, функция, цикл. То есть можно, наверное, как-то, по примерам копируя, но ясно что много ты так не накодишь.
Аноним 01/09/20 Втр 04:35:37 1794354119
>>1794350
>в математику могут жалкие проценты людей
А куда девается хуева туча маняматиков выпускаемых говновузами по всему миру?
Аноним 01/09/20 Втр 04:48:32 1794367120
>>1794354
Во-первых, их мало - матфаки совсем не популярны. Во-вторых, получить корку баки может любой дурак, это не значит что он реально может работать по специальности на новейших технологиях. Скорее всего подавляющее большинство из выпускников вообще не слышали про нейроночки в стенах вуза, как максимум какой-то наспех состряпаный курс на уровне ютуб-лекций "тренируем классификатор МНИСТ вместе". В третьих, те кто реально хорошо делают математику, идут на ПхД в чистой математике, и для них нейроночки это просто очередное навевающее зевоту приложение, никак не соприкасающееся с современными математическими трендами (там вся матеша из 19 века).
Аноним 01/09/20 Втр 04:55:35 1794369121
Але, у меня одногруппница щас на 4 курсе учится, не получила диплом еще, ее уже взяли работать на джуна в машоб 20ч в неделю - 30к зп. Шарит она или нет? Нет))) Ну просто умело пыль в глаза кидает и много теории знает + девочка. Я к чему. Нахуй вам ваш диплом и учеба? Идите учите, пытайтесь устроиться и т.д. Вот пример из жизни привел. Прям вчера ее повысили со стажора до джуна на изичах.
Аноним 01/09/20 Втр 04:56:55 1794370122
>>1794369
Ты сам-то где работаешь?
Аноним 01/09/20 Втр 04:57:06 1794371123
А, да, к слову город наш новосибирск, т.к. не масква и не питир, где 30к - это копейки. У нас в 21 год получать 30к - это збс. Кароч ебал диплом и учебу, я конечно чмо, которого никуда не принимают, потому что пишут "Ты еще студент." "У тебя нет опытаа работы.", но ей повезло и ее устроили. И вам так же может повести) Ну либо как мне будут писать что вы чмо))))))) Но я просто лошок
Аноним 01/09/20 Втр 04:58:40 1794372124
>>1794370
Я не работаю, потому что меня отшивают на хед хантере)) Пишут что я додик-студент-без опыта работы)) Но я - это плохой пример))))) Просто что-то не так делаю, или резюме помойка) Она попала на работу, потому что на конференции заобщалась с типом, который ее заинвайтил.. Но я верю, что и через хед хантер можно найти работу)))))) Главное же верить?)
Аноним 01/09/20 Втр 04:59:41 1794376125
>>1794372
Если ты не работаешь, то как ты можешь оценить скиллы этой тянки?
Аноним 01/09/20 Втр 05:00:08 1794378126
>>1794369
Если язык подвешен, можно и гендиром стать, или вообще свою галеру устроить. Это все известно. Мы тут о лобовой атаке речь ведем, когда своими силами все.
Аноним 01/09/20 Втр 05:02:02 1794380127
>>1794350
>15 лет назад простейший макакинг был не то что как рокет саенс, даже еще выше. Рили выучив синтаксис какой-нибудь джавы можно было сесть и рубить бабло.
Как же вы заебали. Аутсорса не было, веба не было, английский никто не знал, основные рабочие места - это автоматизация документооборота в рашкофирмах, и платили много только в местах типа банков, и таких мест было мало.
В нейронках зарплаты в принципе на уровне любого другого скиллового айти, будто девопсенье на AWS или способность сделать хороший нетормозящий UI в браузере. Они не большие и не маленькие, обыкновенные.
Аноним 01/09/20 Втр 05:02:26 1794381128
>>1794376
Потому что она моя одногруппинца) Я 3 года с ней общаюсь и вижу, что пыль в глаза только пускает, что преподам, что всем) За нее все делают, она только теорию учит и выдает за свой результат, но причем умело) Сомневаюсь что тут по другому. Но она пол года на стажировке была, мб ее там и научили чему-то, и щас скиллы есть. Но когда попадала в компанию - 99% что не было скиллов, кроме хорошего и умелого навяливаня лапши на уши.
Аноним 01/09/20 Втр 05:14:00 1794384129
>>1794381
>Я 3 года с ней общаюсь и вижу, что пыль в глаза только пускает, что преподам, что всем
Ну так рашкообразование страшно нерелевантная хуйня в плане оценки скиллов, и это говно нужно пару лет выбивать из любого студента.
Аноним 01/09/20 Втр 05:27:10 1794392130
>>1794380
Я же не про рашу, где люди выращивали картоху технологиями до каменного века, с мотыгами, чтобы с голоду не подохнуть. Тут ничего не было и никто ничего не знал.
Аноним 01/09/20 Втр 08:46:47 1794458131
>>1794384
Если человек сам нихуя не делает, а только пыль в глаза пускает, то это человек такой, а не рашкообразование.. Я вижу много студентов, кто так же нихуя не делает, но они пытаются хотябы, списывают, разбирают что списали, чтобы разобраться и ответить преподу.. Да, они тратят больше времени и получают тот же результат, а они хуже, чем всякие бляди типо этой одонгруппницы. Но и в жизни и в работе оне попытаются разобраться и понять, а не пустить пыль в глаза мол есть скиллы, когда их нет. Хотя чего спорить то)) Тебе то лучше знать есть ли у этой одонгруппницы скиллы или нет, не видя и не зная ее..
Аноним 01/09/20 Втр 11:15:57 1794550132
Если она умеет заобщаться, то зачем ей это делать с типом на конференции за 30к, если она может заобщаться с папиком и получать от него 300к?
Аноним 01/09/20 Втр 11:21:50 1794563133
>>1794550
Одно другому не мешает. Днем она общается с типом на конференции, вечером - с папиком.
Аноним 01/09/20 Втр 12:06:31 1794608134
>>1794458
>Тебе то лучше знать есть ли у этой одонгруппницы скиллы или нет, не видя и не зная ее..
Объективный факт в том, что у нее есть работа, а у тебя нет, а все остальное твое субъективное мнение - безработного студенчешки, который меряет успех способностью сдать экзамен не списывая
Аноним 01/09/20 Втр 12:32:52 1794637135
Аноним 01/09/20 Втр 13:05:31 1794686136
>>1794608
Симп, спок. Сейчас бы в 2К20 не знать о существовании pussypass.
Аноним 01/09/20 Втр 14:02:26 1794759137
>>1794686
да канеш
тимлиду насасывает после работки
Аноним 01/09/20 Втр 16:49:20 1794929138
>>1794458
Вангую, что там не беспилотный автомобиль делают, а на дата-аналитика ее взяли. Т. е. нужно будет софтскиллить с разработчиками, чтобы они встроили логи для сбора данных для тебя, потом обработка и применение машоба уровня регрессии и донесение получившегося результата до манагеров. При этом кеглядрочерство (подбор модели и ее параметров) занимает меньше всего времени в это процессе. Софтскиллы и понимание бизнес-процессов важнее.
Аноним 01/09/20 Втр 19:22:20 1795051139
ogog15098220112[...].jpg 102Кб, 1200x628
1200x628
Аноним 01/09/20 Втр 21:54:01 1795103140
>>1794245
Я попал через производственную практику, дс2
01/09/20 Втр 22:33:17 1795130141
Работать в ДС - топ спот по сочетанию необходимости вникать в теорию / прогать / вникать в предметную область
Мимопроходил
Аноним 02/09/20 Срд 16:19:09 1795514142
15574493218870.jpg 44Кб, 720x479
720x479
Стоит ли делать карьеру в ML, если ты принципе уже состоялся как программист мидл Python/C++, город ДС? Карьеру сугубо промышленную, хоть и обещают простор для творчества и экспериментов, но продукт полностью коммерческий (а значит правит балом заказчик). Разумеется все под строгим NDA, без планов на публикации и получение научной степени. В наличии есть вышка хорошего вуза, где в том числе был курс по ML, и базовые знания из головы пока не выветрились. Но я конечно понимаю, что это копейки от нужных для работы навыков, и в принципе готов первые год-два серьезно позадротить эту тему. Все же не круды шлепать и запросы в БД посылать, тут хоть какой-то интерес и азарт присутствуют.
Почитав и треды, и другие источники, пока что для меня складывается ощущение, что ML (по крайней мере исследовательская часть, дата-инженеров с "импорт тензорфлоу" в расчет не берем) это удел математиков с прикормленных кафедр, которые в свою тусовочку ой как неохотно принимают чужаков. Хотелось бы спросить людей из соответствующих отделов крупных контор, вроде Яндекса или Сбера кого я только на двачах не встречал, думаю и такие найдутся. Как вы себя чувствуете на своем месте, работа интересная? По зарплатам не обижают? До сеньор-помидорских позиций дорасти без серьезной phd и статей реально? Не боитесь отправиться на мороз от прихоти руководства, особенно после случая, когда Самсунг разогнал весь NLP отдел в полном составе?
Стою сейчас на очень серьезном жизненном распутье и терзает меня чуйка, что такой шанс вкатиться дается раз в жизни.
Аноним 02/09/20 Срд 18:40:43 1795654143
>>1794686
Очередной самоподдув неудачников с борд
Аноним 02/09/20 Срд 18:49:40 1795659144
Аноним 02/09/20 Срд 19:52:09 1795682145
А GAN'ы после обучения валидируют?
Аноним 02/09/20 Срд 20:03:05 1795692146
>>1795514
Нет. Хайп ML и иже с ним уже умирает в США, а значит вскоре это дойдет и до нас. Вкатываться в ML в 2020 - ловить падающий нож
Аноним 02/09/20 Срд 20:55:42 1795722147
>>1795692
как может скатываться то в чем каждый день придумывают что то новое?)
Аноним 02/09/20 Срд 21:02:25 1795729148
>>1795722
>придумывают что то новое
придумывают как stack more layers?
поинтересуйся лучше эффективностью этих придумываний
Аноним 02/09/20 Срд 21:27:39 1795749149
>>1795514
>Стоит ли делать карьеру в ML, если ты принципе уже состоялся как программист
Стоит, потому что это твой шанс не продавать свои жопочасы до 40 лет, а продавать знания.
В принципе ML в этом плане близок к знанию какого-нибудь AWS, когда умеешь. кажется, что херня для даунов, а на деле полно людей, для которых это все рокет саенс. Ну или я не знаю, к программированию смарт-контрактов. Короче это нишевое айти со всеми вытекающими, работы меньше, но и работников меньше.
>Почитав и треды, и другие источники
В интернете везде пасутся тролли, вниманиебляди и прочие токсичные пидорки, инфа несет скорее отрицательную ценность.
Аноним 02/09/20 Срд 22:14:41 1795775150
>>1795749
>Стоит, потому что это твой шанс не продавать свои жопочасы до 40 лет, а продавать знания.
С чего ты решил что знания стоят дороже жопочасов? Тем более что продаешь ты не знания, а результат, который в ML в большинстве случаев получается говно. Проще работать за зарплату, чем пытаться объяснить кабанчику почему у тебя ничего не получилось.
Аноним 03/09/20 Чтв 08:13:11 1795913151
>>1794759
вот щяс обидно было
мимо_женат_на_тимлид_ке
Аноним 03/09/20 Чтв 11:36:07 1796100152
>>1795775
>Проще работать за зарплату, чем пытаться объяснить кабанчику почему у тебя ничего не получилось.
Может у него софтскиллы вкачаны.
Аноним 03/09/20 Чтв 12:13:23 1796152153
>>1796100
зачем тогда мышиное облучение? эффективнее будет прокачиваться в менеджеры
Аноним 03/09/20 Чтв 12:42:31 1796184154
g.foolcdn.com.png 100Кб, 700x553
700x553
Если нейронки не работают, то почему разрастаются дата-центры с гпу? Нвидия с них уже имеет больше доходов, чем с задротов.
Аноним 03/09/20 Чтв 14:48:06 1796332155
>>1796184
>Если нейронки не работают, то почему разрастаются дата-центры с гпу?
Придумали новый объеб корпоративных кабанчиков на деньги, а то базы данных оракл и SAP уже не в моде.
>Нвидия с них уже имеет больше доходов, чем с задротов.
Так там и накрутки в 10 раз больше. Типичный рецепт нвидии - это взять флагманскую геймерскую карту, которая сама по себе двухкратный оверпрайс по сравнению с бюджетом, добавить 4 гига памяти и продать еще раза в 2.5 дороже. При этом ресерчерам подобные карты дарятся бесплатно, чтобы они выкладывали модели которые требуют ну тютелька-в-тютельку 16 гигов.
Куда смотрит амуде не понятно.
Аноним 03/09/20 Чтв 15:32:15 1796378156
>>1796332
>Куда смотрит амуде не понятно.
Radeon™ Pro SSG Graphics
Аноним 03/09/20 Чтв 15:44:00 1796396157
>>1796332
>Типичный рецепт нвидии
типичный рецепт нвидии, это брать отбраковку камней, и делать из этой отбраковки линейку потребительский карт.
среди потребительских карт, только в самой старшей может быть полный камень
Аноним 03/09/20 Чтв 15:46:45 1796401158
>>1796396
>>Типичный рецепт нвидии
>типичный рецепт нвидии, это брать отбраковку камней, и делать из этой отбраковки линейку потребительский карт.
>среди потребительских карт, только в самой старшей может быть полный камень

Привет, дебич, это у всезх производителей такая практика. Тупо потому что ASML заряжает за каждый фотошаблон как за чугунный мост и линейку дешевле из отбраковки делать.
Аноним 03/09/20 Чтв 15:52:06 1796412159
>>1796396
Это вы так своих кабанчиков словом "отбраковка" пугаете? Что это меняет в сказанном мной?
Аноним 03/09/20 Чтв 16:00:35 1796419160
>>1796401
Больно дохуя отбраковки получается, сколько это в штуках, 99% выпуска? Ну, допустим, битые SM-ядра можно отключать, но а если брак попадет на другую часть кристалла? Попахивает пиздежом, потому что не понятно, нахуя так сильно шакалить техпроцесс. Проще отрубить лишние ядра программно.
Аноним 03/09/20 Чтв 16:21:27 1796432161
>>1796419
думаю, зеленые инжинеры знают что и как отключать. да и вообще, основная площадь кристалла — всякие ядра и, соответственно, большая вероятность, что битыми окажутся именно ядра.
Аноним 03/09/20 Чтв 17:43:29 1796485162
2016-10-12-11-1[...].jpg 892Кб, 1980x1408
1980x1408
>>1796332
>а то базы данных оракл и SAP уже не в моде.
В текством файле лучше всего БД держать?
Аноним 03/09/20 Чтв 18:30:48 1796524163
добройоба.jpg 120Кб, 518x386
518x386
>>1796485
CSV, работать через pandas
Аноним 03/09/20 Чтв 19:06:15 1796563164
>>1796332
>При этом ресерчерам подобные карты дарятся бесплатно
Ресерчеры их покупают за деньги из бюджета на ресерч.
Аноним 03/09/20 Чтв 19:11:48 1796568165
>>1796563
Это уже фуфлыжники какие-то, которым ни нвидия ни амазон мощности не дарят
Аноним 03/09/20 Чтв 19:21:58 1796571166
>>1796568
Я такое в первый раз слышу. Цена на эти видеокарты настолько высокая именно потому, что их покупает либо бизнес, либо ресерчеры на бюджет, который положить в карман все равно не получится. Остальным эти карты нахуй не нужны.
Аноним 03/09/20 Чтв 19:31:05 1796579167
>>1796571
>Я такое в первый раз слышу
Потому что пейперы не читаешь. Куда ни плюнь, нвидия подарила какой-нибудь титан хэ.
>Цена на эти видеокарты настолько высокая
Потому что нвидия лишает лицензии если использовать геймерские карты в датацентрах. В чем это выражается не знаю, скорее всего в лишении гарантии. Ну а датацентры берут оптом по другим ценам.
Аноним 03/09/20 Чтв 19:42:21 1796587168
>>1796579
>Потому что пейперы не читаешь.
Ни в одном пейпере не видел такого. Пишут конфигурацию и все - ничего про подаренные видеокарты.
Аноним 03/09/20 Чтв 20:07:29 1796616169
>>1796332
> которые требуют ну тютелька-в-тютельку 16 гигов
Это херня какая-то. Не может обученная модель использовать столько памяти для калькуляции
Аноним 03/09/20 Чтв 21:29:43 1796746170
>>1785952 (OP)
C++ или Python и в чём преимущества и недостатки обоих?
Аноним 03/09/20 Чтв 21:59:21 1796760171
>>1796746
C++ если тебе нужно чтобы работало быстро
пистон - если нужно побэрику решить какую-то прикладную шняжку, не сильно завязанную на числодробилках и мультитрединге
Аноним 03/09/20 Чтв 22:12:31 1796767172
>>1796760
Короче говоря умея вна плюсы питон ценности не имеет?
Аноним 03/09/20 Чтв 22:16:49 1796774173
>>1796767
>Короче говоря умея вна плюсы питон ценности не имеет?
Если тебя устраивает затрачивать в десять раз больше времени чем нужно - пиши на плюсах.
Аноним 03/09/20 Чтв 22:27:13 1796785174
>>1796774
Ну я нацелен именно на серьёзные проекты а не на какую-то прикладную шняжку, так что думаю плюсы как-никак идеальный выбор.
Аноним 03/09/20 Чтв 22:34:34 1796793175
>>1796785
>Ну я нацелен именно на серьёзные проекты а не на какую-то прикладную шняжку
Ты вообще машобом занимаешься? Все проекты сначала пишутся на питоне в качестве прототипов, а уже потом часточно или полностью переписываются.
Аноним 03/09/20 Чтв 22:39:56 1796795176
Аноним 03/09/20 Чтв 22:41:15 1796797177
>>1796793
Не, я только кресты учу но в конце хочу нейронки со зрением писать.
Аноним 03/09/20 Чтв 22:42:35 1796798178
>>1796797
>нейронки со зрением писать
Тогда тебе однозначно нужен питон.
Аноним 03/09/20 Чтв 22:45:27 1796799179
>>1796798
Понадобится - выучу. Думаю после того как выдрочу плюсы с ним проблем не возникнет.
Аноним 03/09/20 Чтв 22:46:19 1796800180
>>1796587
Ну ты наверное один хайп от гуглбрейна читаешь, потому что я встречаю это постоянно, но естественно не у гугла
Аноним 03/09/20 Чтв 22:50:50 1796803181
>>1796767
На плюсах пишется код который гоняет модель где-то на телефоне или десктопном приложении. На питоне пишется код который создаёт и обучает эту самую модель. Зная только питон машобом заниматься можно, зная только кресты нет
Аноним 03/09/20 Чтв 22:51:17 1796804182
Аноним 03/09/20 Чтв 22:55:35 1796809183
>>1796800
Ты просто вкатывальщик, который не работал над реальными проектами. Когда пишешь прототипы, которые в 90% случаев не работают, тебе не важно насколько производителен язык - тебе нужно как можно быстрее проверить идею, и перейти к новой. Никто не будет ждать пока ты месяцами дрочишь байты.

Еще не забывай, что многие библиотеки, которые используются для тяжелых вычислений, написаны на крестах и куде.
Аноним 03/09/20 Чтв 23:03:12 1796815184
>>1796803
>>1796804
Ок, ок. Выучу я ваш питон. Спасибо за ответы.
Распознавание речи. Аноним 04/09/20 Птн 22:19:08 1797620185
image.png 64Кб, 625x625
625x625
Анон, тема заезжанная - есть ли какие-то годные готовые решения, с помощью которых можно сделать голосового помощника?

Чтобы не брать у гуглов и амазонов апи, что-то локальное, простенькое.

Чтобы ещё на питоне работало.
Обязательно ли нейросеть для распознавания речи использовать, или может какие-то методы переоткрыли и улучшили?
Аноним 04/09/20 Птн 23:12:34 1797672186
Сап.
Хочу создать бота для конфочки группы вбыдлятне, который будет учиться на высерах дногруппников и как-то иногда отвечать. До этого с нейроночками тыкался только с тенсорфлоу и базовым примером классификации изображений MNIST. Делал я это для курсача в том году.
Дорогие аноны, что мне нужно нагуглить и почитать, чтобы понять, как делать нейронки, которые будут отвечать на вводимый текст и попутно обучаться?
Аноним 04/09/20 Птн 23:16:45 1797674187
>>1797620
голосовой помощник делится на две части:
1. распознавание речи
2. анализ вопроса и реакция на вопрос

Тебе только первое? Компании туда миллионы долларов вливают. В паблике ничего нет
Аноним 04/09/20 Птн 23:25:27 1797677188
>>1797674
>Тебе только первое?
Да, только распознавание речи.
Аноним 04/09/20 Птн 23:47:51 1797682189
Аноним 05/09/20 Суб 00:05:03 1797695190
Аноним 05/09/20 Суб 00:12:34 1797698191
Аноним 05/09/20 Суб 00:14:53 1797699192
Аноним 05/09/20 Суб 00:27:43 1797708193
>>1797672
подойдет ли для этого GPT от опенаи?
Как я понимаю, тут нужно сделать то, что описал анон в этом посте >>1797674
>анализ вопроса и реакция на вопрос
что нужно загуглить для этого?
Аноним 05/09/20 Суб 00:47:13 1797715194
>>1797708
>>анализ вопроса и реакция на вопрос
На нейроговне соснешь.
Аноним 05/09/20 Суб 00:54:42 1797724195
>>1797715
да? а как работают боты всякие? на основе чего?
я почему-то думал всегда что это нейросетки
Аноним 05/09/20 Суб 01:26:55 1797742196
Аноним 05/09/20 Суб 06:49:05 1797815197
>>1797672
Гитхаб автора порфирьевича
Аноним 05/09/20 Суб 08:29:07 1797824198
unnamed.png 59Кб, 250x250
250x250
Аноним 06/09/20 Вск 09:16:00 1798498199
Будет ли работать регрессия если я, допустим, захочу прогнозировать стоимость дома по 200+ категореальным признакам и дом сможет иметь одновременно 10 таких признаков. Короче 190 нулей one hot encoding и 10 единиц загружаю в сеть, на выход цифру.
Аноним 06/09/20 Вск 09:20:04 1798500200
>>1798498
То, о чём ты говоришь, называется разряженными данными. Это совершенно нормально
Аноним 06/09/20 Вск 10:08:37 1798513201
Кто-нибудь ИТТ сдавал какие-нибудь сертификации ради повышения своей ценности на рынки труда в сфере анализа данных или ML и с для структурирования своих знаний в сфере? Типа IBM Data Science Professional Certificate / EMCDSA / TensorFlow Developer Certificate. Как думаете, имеет смысл?
06/09/20 Вск 21:32:13 1799066202
image.png 92Кб, 1824x608
1824x608
>>1798513
>IBM Data Science Professional Certificate
По описанию похоже на обычный курс по мл
Аноним 07/09/20 Пнд 00:04:21 1799140203
ну и ебанутый контест конеш
Аноним 07/09/20 Пнд 08:45:42 1799219204
00.jpg 136Кб, 750x507
750x507
sm.01.750.jpg 157Кб, 750x144
750x144
sm.02.750.jpg 464Кб, 750x451
750x451
sm.05.750.jpg 387Кб, 750x427
750x427
03.jpg 251Кб, 750x1007
750x1007
3DNews: Тесты GeForce RTX 3080 в задачах CUDA и OpenCL — прирост на 68 % по сравнению с RTX 2080.
https://3dnews.ru/1019979

DOMINATED
Аноним 07/09/20 Пнд 12:28:49 1799391205
>>1799219
>прирост на 68 %
Ну все, теперь уууууух бля
Аноним 07/09/20 Пнд 13:25:22 1799438206
>>1799219
Теперь ваши v100 за 800к превратились в тыкву
Аноним 07/09/20 Пнд 19:51:08 1799774207
Помогите найти материалы по определению рукописного ввода.
Везде все очень сложно, а у меня более простая задача - определить какую фигуру рисует человек из предзаданного набора.
Аноним 07/09/20 Пнд 20:27:52 1799808208
>>1799774
>а у меня более простая задача
А ты смешной
Аноним 07/09/20 Пнд 20:28:19 1799810209
>>1799808
П.с. поковыряйся в ОпенЦВ
Аноним 07/09/20 Пнд 23:24:18 1800030210
15958607146950.jpg 65Кб, 825x510
825x510
GAN'ы целиком или частично (дискриминатор) вообще как-то валидируют?
Аноним 07/09/20 Пнд 23:27:30 1800033211
>>1799438
Верно, завтра удалённым приказом нвидии все старые карты будут перепрошиты на простой и перестанут работать.
Аноним 08/09/20 Втр 09:22:32 1800261212
>>1799810

Ну мечтать-то не вредно, что кто-то уже занимался подобным и скинет репо с рабочей моделью какого-нибудь китайца.
Opencv - не то.
Анализируя только полученное изображение мы теряем инфу о том, как оно рисовалось.
Аноним 09/09/20 Срд 12:56:56 1801488213
>>1800261
>мы теряем инфу о том, как оно рисовалось.
Чигобля?
Аноним 09/09/20 Срд 16:03:33 1801687214
Аноним 09/09/20 Срд 16:09:22 1801690215
>>1801687
В нейроговне индусы рулят?
Аноним 09/09/20 Срд 16:20:09 1801695216
изображение.png 1305Кб, 1200x675
1200x675
Аноним 09/09/20 Срд 21:00:16 1802069217
>>1801488
>>мы теряем инфу о том, как оно рисовалось.

Логично же. При анализе готового пятна на канвасе, мы ничего не сможем о нем сказать.
А если анализируем это пятно как набор векторов, можно понять, что это у нас спиралька.
Аноним 09/09/20 Срд 21:07:00 1802078218
>>1801695
Самое смешное его обоссали еще года 3-4 назад после шизофазного говногайду по питону собравшему лям. Нихуя в нём не понимал но пытался встюхать какие-то курсы
Как я понял он в итоге раскрутил это говно и катается на ламбе, сам за эти годы нихуя не вникнув даже в основы хуйни которую впихивает
Аноним 09/09/20 Срд 21:10:25 1802081219
photo2020-09-09[...].jpg 25Кб, 386x278
386x278
>>1785952 (OP)
СУп.
Подскажите, какую функцию активации нейросети лучше выбрать, если всего 500 примеров и все признаки номенативные (и закодированные one hot encoding).
Relu выдаёт плохой результат. Нужно именно нейросеть задействовать
Аноним 09/09/20 Срд 21:14:23 1802089220
>>1802069
>А если анализируем это пятно как набор векторов, можно понять, что это у нас спиралька
Пиздец, ты поехавший?
Аноним 09/09/20 Срд 21:15:52 1802094221
>>1802078
Но бабосики то мутятся?
Аноним 09/09/20 Срд 21:56:40 1802136222
>>1802089
Отъебись от него, он правильно рассуждает
Аноним 09/09/20 Срд 21:57:16 1802137223
>>1802136
>он правильно рассуждает
Ты скозал?
Аноним 09/09/20 Срд 22:47:11 1802174224
>>1802081
Сколько классов? Для активации последнего слоя обычно используется softmax.
Аноним 09/09/20 Срд 22:57:09 1802184225
>>1802081
Если примеров 500 то лучше не использовать ничего сложнее логрега. Функция активации тут не поможет.
> все признаки номенативные
Сколько их?
Аноним 09/09/20 Срд 22:57:19 1802185226
>>1802078
Да, эпично пришёл к успеху.
Аноним 10/09/20 Чтв 03:15:45 1802332227
>>1801695
AI godfather, которого мы заслужили.
Аноним 10/09/20 Чтв 07:50:51 1802393228
>>1802184
68, при том, что датасет на 480 примеров. И все это нужно классифицировать на 5 категорий. Я понимаю, что это пиздец, но все же, как можно улучшить результат, хотя бы сделать его чуть осмысленнее
Аноним 10/09/20 Чтв 07:51:37 1802394229
Аноним 10/09/20 Чтв 08:54:43 1802407230
Подскажите библу, которую можно использовать для обработки естественного языка (русского). Чтоб на ее основе получилось классифицировать текст по темам.
Аноним 10/09/20 Чтв 14:58:21 1802612231
>>1802393
Логистическая регрессия
Аноним 10/09/20 Чтв 17:06:58 1802759232
Такой тупой вопрос: предпочтительно ли использовать MSE loss вместо RMSE loss'а? По сути рмсе это просто квадратный корень от мсе, то есть лишняя вычислительная операция, при том что минимум у них будет в одной и той же точке. Или я чего-то не догоняю?
Аноним 10/09/20 Чтв 18:32:21 1802836233
>>1802759
Минимум тот же, градиент разный.
Посмотри на график функции sqrt(x). Он около нуля похож на y=x, а чем дальше от нуля, тем более пологий.
Поэтому у loss и sqrt(loss) отличается реакция на крупные выбросы. Грубо говоря, если нейронка крупно наебалась, для MSE это повод сильно и резко апдейтить веса для того, чтобы срабатывал именно этот неудачный случай, а если более удачные случаи при этом слегка ухудшатся - не так страшно.
RMSE отнесется к этому более философски - не будет портить перформанс хороших случаев ради одного неудачного. На самом деле это все возведение в степень (1 в случае MSE и 0.5 в случае RMSE), поэтому вариантов больше.
Лично я бы подобной хуйней заморачивался только если все другое уже сделано.
Аноним 10/09/20 Чтв 18:35:02 1802839234
>>1802836
Алсо, надо отметить, что MSE сам по себе возводит ошибку каждого выходного нейрона в квадрат, поэтому делает все резко чувствительным к выбросам. Поэтому RMSE не настолько консервативен, как какой-нибудь mean absolute error, у которого градиент вообще один и тот же вне зависимости от степени ошибки.
Аноним 10/09/20 Чтв 18:48:40 1802855235
Аноним 10/09/20 Чтв 18:55:42 1802870236
>>1802836
Но с адаптивным лёрнинг рейтом в любом случае должно быть всё равно.
Аноним 10/09/20 Чтв 19:21:40 1802902237
Собака, расшкра[...].jpg 87Кб, 960x842
960x842
Снимок.PNG 1226Кб, 1827x462
1827x462
Шах и мат, МЛ-бляди
Аноним 10/09/20 Чтв 20:55:10 1803020238
>>1802902
Собака с головой тигра и телом тигра.jpg
Аноним 10/09/20 Чтв 23:22:46 1803163239
изображение.png 45Кб, 623x298
623x298
изображение.png 12Кб, 1060x138
1060x138
>>1802902
А гугл так просто не наебёшь
Аноним 10/09/20 Чтв 23:23:13 1803164240
изображение.png 20Кб, 604x139
604x139
Аноним 11/09/20 Птн 02:53:30 1803299241
Чего на каггле там мало сорев?
Аноним 11/09/20 Птн 07:26:30 1803341242
>>1803299
7 с призами, еще пачка за фантики или просто так. Чего тебе не хватает?
Аноним 11/09/20 Птн 21:05:57 1803912243
Сразу скажу, что с НейроСетями никак не связан и вопрос скорее из области мимокрокодила

Так вот, допустим, я запускаю, сеть обучаться на одном компе. Есть ли способ перенести накопленное и обученное сетью, скажем на другой носитель, чтобы не ждать нового итога?
Каким образом, вобще, закрепляется тот или иной результат?
Аноним 11/09/20 Птн 21:08:26 1803915244
Аноним 11/09/20 Птн 21:15:34 1803929245
bf0457f5539fb67[...].jpg 212Кб, 1920x1080
1920x1080
>>1803915
Вах, как быстро ответили!
Спасиба!
Аноним 11/09/20 Птн 22:08:34 1803970246
>>1803341
>7 с призами
Так они все для буржуев с персональными датацентрами, для нищиков ничего нет
Аноним 11/09/20 Птн 22:28:01 1803988247
Какой потенциал у Julia? Это правда что это убийца питона в датасаенс и все такое?
Аноним 11/09/20 Птн 22:42:15 1803999248
>>1803988
>убийца питона
Думаю, давно пора извлечь уроки из истории. Ни один здравомыслящий человек не потащит в проект новый язык, пока вы хотя бы не покажете ему нормальные инструменты разработки, не расскажете парочку саксесс сторис и не покажете десяток программистов на этом языке, живущих поблизости. Программисты же, пожалуй, кроме самых молодых, никогда не станут тратить свое время и здоровье на изучение очередного самого правильного языка, пока вы не покажете им нормальные инструменты разработки (не поделки типа Racer), пару десятков тысяч готовых библиотек (не «experimental», «unstable» и так далее), не расскажете парочку саксесс сторис и не покажите десяток открытых вакансий в их городе. Проблема курицы и яйца. Очень редко эту проблему удается успешно решить (условно тут можно привести в пример Go и Scala), в основном благодаря вложению времени и денег со стороны некоторой крупной компании (Google, Typesafe), по каким-то своим соображениям заинтересованных в популяризации языка.

https://eax.me/cpp-will-never-die/
Аноним 11/09/20 Птн 22:43:57 1804000249
>>1803988
Никакой. Пока юлька развивалась, в питон завезли аннотации типов, numba и прочие jax.
Аноним 11/09/20 Птн 22:45:53 1804001250
Какое вообще должно быть преимущество у специализиованного продукта, чтобы его нельзя было заменить программой на питоне?
Аноним 11/09/20 Птн 22:47:17 1804002251
>>1804001
Система типов, позволяющая делать быстрый JIT с итоговой скоростью на уровне С++, более нативно встроенный в язык аналог нампая. Да и специализированным продуктом сложно назвать, вполне себе язык общего назначения
Аноним 11/09/20 Птн 22:47:55 1804003252
>>1804002
Я не про язык говорю, а именно про продукт.
Аноним 11/09/20 Птн 22:49:30 1804006253
Аноним 11/09/20 Птн 22:52:46 1804009254
>>1804003
Что такое продукт? Батон из магазина Продукты что ли?
Аноним 11/09/20 Птн 22:53:45 1804011255
>>1804009
Нихуя у вас тут дебилы в треде.
Аноним 11/09/20 Птн 22:55:25 1804012256
>>1804011
Дебилы типа тебя часто не могут понять мотивации умных людей
Аноним 11/09/20 Птн 23:10:35 1804021257
>>1804012
>умных людей
Ты к нам случайно не из Хабра такой лунопопый?
Аноним 11/09/20 Птн 23:35:22 1804040258
Аноним 11/09/20 Птн 23:39:37 1804041259
Да нахуй не нужно, тут ж правильно сказал кто-то выше (или в прошлом треде): питон нужен быстренько набросать прототипчик и проверить имеет ли смысл дальше копать, никакие "системы типов и встроенные нампаи" здесь никому не нужны, главное - скорость разработки и инфраструктура.
Аноним 12/09/20 Суб 22:41:31 1804782260
>>1785952 (OP)

Можно ли написать осознающую себя нейросеть?
И сколько ресурсов ПК это займет?
Аноним 12/09/20 Суб 23:27:34 1804818261
>>1804001
Бамп. Я просто пилил один проект, связанный с обработкой данных, не на питоне, и вдруг подумал, а что я отвечу на вопрос "почему вы просто не написали библиотеку на питоне?" и не придумал.
Аноним 13/09/20 Вск 00:27:42 1804855262
>>1804818
А ответа и нет. Сейчас без пайтон АПИ - считай что в мусорку код пишешь. Никто не будет на крестах или чем там еще пердолиться, подключая твою либу.
Аноним 13/09/20 Вск 00:32:01 1804857263
>>1804855
Это не либа, это полноценная отдельная программа.
Аноним 13/09/20 Вск 00:34:13 1804858264
Аноним 13/09/20 Вск 03:51:57 1804910265
Что лучше: большее качество на тесте при том что на трейне ещё лучше или меньше и на трейне и на тесте, но зато примерно одинаково?
Аноним 13/09/20 Вск 04:01:29 1804911266
Аноним 13/09/20 Вск 10:13:02 1805010267
Аноним 13/09/20 Вск 11:22:02 1805061268
>>1804910
Чем выше на тесте, тем лучше. Трейн не важен.
Аноним 13/09/20 Вск 20:20:38 1805554269
Какая из питоновских библиотек для обработки pcap файлов лучше? Что-то их дохера больно.
Аноним 14/09/20 Пнд 00:27:14 1805748270
image.png 1041Кб, 748x746
748x746
Бля, я думал, тут анончики модельки тюнят и рейтингом на каггле выебываются. А тут зумерки-вкатуны, да говнокодеры софтварные пытаются оправдать свою неспособность пройти 3 бесплатных курса на степике ВУЗом, наличием пипирки в штанах и возрастом.
Аноним 14/09/20 Пнд 00:32:35 1805750271
>>1804782
>Можно ли написать осознающую себя нейросеть?
Да
>И сколько ресурсов ПК это займет?
Пара школьных спортивных залов
Аноним 14/09/20 Пнд 00:48:38 1805755272
>>1805748
>говнокодеры софтварные
В машобе как раз большая нехватка нормальных софтвер девелоперов. Петушиные маняматики и прочие трясуны черных ящиков умеют программировать в лучшем случае на уровне стажера-выпускника. Гит, CI/CD, паттерны? Нет, не слышали.

При таком раскладе проект обречен на провал.
Аноним 14/09/20 Пнд 03:01:53 1805804273
>>1805748
>тут анончики модельки тюнят
Ну, допустим, тюнят, и хули ты ждешь, скриншотов с графиком лосса?
А каглодрочер хуже пидораса.
Аноним 14/09/20 Пнд 03:15:09 1805807274
>>1805804
>А каглодрочер хуже пидораса
Чё это
Аноним 14/09/20 Пнд 07:37:35 1805828275
>>1805807
Архив с задачками и рейтингом для фаллометрии
Аноним 14/09/20 Пнд 07:42:19 1805829276
>>1805755
Так никто и не говорит, что софтвер девелоперы хуйня и нн. Проигрываю с того, что мидлы-аноны не могут вкатиться в самую базовую хуйню, пусть даже в трясунство черных ящиков, и ноют об этом на сосаче. Говнокодер - не оскорбление, а постирония.
Вонаби-зумеркам на ебало харкать не зазорно. Стремно спрашивать, как забивать гвозди, построив дом
Аноним 14/09/20 Пнд 11:02:25 1805942277
>>1805829
>не могут вкатиться в самую базовую хуйню
Имплаинг вкат зависит только и только от скиллов кодинга, а не от социоблядских игрищ (что особенно важно в этом вашем мышином облучении)
Аноним 14/09/20 Пнд 14:50:07 1806143278
>>1805942
>мышином облучении
Ржу
Аноним 14/09/20 Пнд 15:51:50 1806232279
Screenshot1.png 140Кб, 424x227
424x227
Есть у кого нормальное описание алгоритма поиска контуров (функция findContours в OpenCV). Нахожу только ссылку на статью "Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing", которой в отрытом доступе нет нигде от слова совсем. Может кто сталкивался. Копаться в OpenCVшных имплементациях совсем не хочется
Аноним 14/09/20 Пнд 16:30:35 1806290280
462710p0e9ZNEZr[...].jpg 214Кб, 1430x645
1430x645
Все эти tensorflow работают на тензорных ядрах Хуанга?
Аноним 14/09/20 Пнд 16:38:28 1806306281
Аноним 14/09/20 Пнд 16:40:29 1806311282
>>1805755
>Гит, CI/CD, паттерны? Нет, не слышали.
это не так уж принципиально для старта проекта.
А вот без маняматика в принципе никакого прорывного проекта не будет.
Вся ебанутая бесполезная хуйня уже понаписана
Аноним 14/09/20 Пнд 16:50:12 1806323283
>>1805829
>Вонаби-зумеркам на ебало харкать не зазорно
Типичный признак омежки с психологией опущенного деда из армии и прочих унтерменшей.
Аноним 14/09/20 Пнд 16:54:23 1806332284
>>1806232
>Есть у кого нормальное описание алгоритма поиска контуров
Загугли "поиск связных областей".
>которой в отрытом доступе нет нигде от слова совсем.
Не знать в 2020 о существовании сайхаба. https://sci-hub.st/https://doi.org/10.1016/0734-189X(85)90016-7
Аноним 14/09/20 Пнд 17:10:01 1806341285
>>1806332
Да как-то и не подумал. Спасибо
Аноним 14/09/20 Пнд 18:23:57 1806408286
А можно где-нибудь найти материалы к курсам How to Win a Data Science Competition с курсеры в свободном доступе?
Аноним 14/09/20 Пнд 19:18:38 1806449287
>>1806408
> курсам How to Win a Data Science Competition
Заплоти инфоцыганам, инфоцыгани сами себе не заплотют.
Аноним 14/09/20 Пнд 20:01:57 1806502288
Аноним 14/09/20 Пнд 20:02:10 1806503289
>>1806290
Хуанг пишет библиотеку cudnn с закрытыми исходниками, в которой происходит неизвестный природе ахалай-махалай. Все эти тензорфлоу просто ее вызывают.
Аноним 14/09/20 Пнд 20:04:20 1806510290
Аноним 15/09/20 Втр 00:56:07 1806880291
привет, аноны. Короче я НЕ дата саентист и НЕ хочу вкатываться. Но зато очень хочу потыкать GPT-3 из-за хайпа. Где-нибудь можно глянуть материал про то, как ее дообучить/хуй знает что сделать, чтобы она могла генерить стихотворения (где-то видел как чел это сделал) на русском?
Спасибо
Аноним 15/09/20 Втр 00:57:29 1806882292
>>1806880
>очень хочу потыкать GPT-3 из-за хайпа
Разве она появилась в свободном доступе?
Аноним 15/09/20 Втр 01:26:05 1806897293
Пасаны, что посмотреть про ресурсное планирование? Всякие вот job shop, resource-constrained scheduling, вот это вот всё
Аноним 15/09/20 Втр 10:43:26 1807058294
>>1806882
так я хз, думал, что плохо ищу. Ее еще нет? А некоторые чуваки же учат, на TJ видел, что кто-то в фигме делает макеты, кто-то код пишет и тд
Аноним 15/09/20 Втр 12:05:38 1807112295
>>1806880
Она не доступна широкой публике. Сейчас закрытый бета-тест, потом будет платный доступ к API
Аноним 15/09/20 Втр 13:31:13 1807164296
>>1807112
>Сейчас закрытый бета-тест, потом будет платный доступ к API
А как же паперы в которых все написанно? Ну что бы любой задрот прочитал и сделол? Сарказм
Аноним 15/09/20 Втр 15:27:13 1807279297
>>1807112
думаю долго не протянет идея, ломанут пидорков
Аноним 15/09/20 Втр 18:48:41 1807463298
>>1807164
>А как же паперы в которых все написанно? Ну что бы любой задрот прочитал и сделол?
Оно так и работает, но лишь до тех пор, пока для тренировки не нужен датасет, которого нет в свободном доступе, или вычислительные ресурсы стоимостью в несколько миллионов.
Аноним 15/09/20 Втр 19:56:37 1807504299
>>1806880
>Но зато очень хочу потыкать GPT-3 из-за хайпа.
https://www.reddit.com/r/artificial/comments/icvypl/list_of_free_sitesprograms_that_are_powered_by/
>Где-нибудь можно глянуть материал про то, как ее дообучить/хуй знает что сделать, чтобы она могла генерить стихотворения (где-то видел как чел это сделал) на русском?
Ты скорее всего путаешь GPT-3 и GPT-2. GPT-2 можно дообучить, найди гитхаб автора порфирьевича, он там на русском все объясняет. Но у тебя вряд ли получится.
GPT-3 же не нужно обучать, оно само по нескольким примерам начинает генерить желаемый вывод, в этом его фишка
Аноним 15/09/20 Втр 20:07:57 1807515300
>>1807463
>Оно так и работает
А ну это типа аак квантовая физика, дяди имеют доступ к колайдеру и гранты, а ты ешь сухари и играешь с котиком.
Аноним 15/09/20 Втр 20:18:31 1807522301
>>1807515
Физика элементарных частиц примерно на 3 порядка дороже
Аноним 15/09/20 Втр 21:42:36 1807597302
>>1807504
> Но у тебя вряд ли получится.
А че это? ТИПА ОБИДЕТЬ МЕНЯ СУКА РЕШИЛ???
Аноним 15/09/20 Втр 21:47:48 1807600303
>>1807522
>элементарных частиц
Такая же магия и тряска ящика
Аноним 15/09/20 Втр 22:09:11 1807628304
Как вы проходите собеседования? Что на них спрашивают?
Аноним 15/09/20 Втр 23:03:54 1807688305
>>1807597
Очень глупые вопросы задаешь
Аноним 16/09/20 Срд 00:39:19 1807753306
>>1807688
ну это рофл был. Так то просто интересно: тут имеют место быть технические сложности или рил просто так считаешь, потому что я не из области дата саенса? Просто если это рил пиздец и займет месяц-два, то и хуй бы с ним
Аноним 16/09/20 Срд 00:59:44 1807773307
>>1807628
Меня на прошлой неделе выебали математикой, теор вер, статистика. Я жидко обосрался и обмяк после собеседования в мтс.
Аноним 16/09/20 Срд 01:06:23 1807778308
>>1807773
Пиздееец. Не падай духом, анончик
Аноним 16/09/20 Срд 01:42:30 1807798309
>>1807778
Да уже, понял над чем нужно поработать, что подучить. Но вообще неожиданно неприятно. Весной на джуна в контору обрабатывающую астрофотографии я прошел как по маслу и спрашивали не так много а я отказался, по некоторым причинам. Зря долго ебланил.
Аноним 16/09/20 Срд 01:43:04 1807799310
>>1807773
>мтс
Это телефонный оператор?
>Меня на прошлой неделе выебали математикой, теор вер, статистика.
Лолирую, скоро в МакДак будут так же ебать - срыночек, копетолиздм, заебись!
Аноним 16/09/20 Срд 01:44:30 1807800311
>>1807798
>понял над чем нужно поработать
Что ты понял, МТС дно донное, они ничего не сделали и звать их никак, понял он, лол. Во истину у нас дураков на 100 лет ну и плюс маняматиков, этих идиотов не считаем
Аноним 16/09/20 Срд 01:49:33 1807801312
>>1807800
Ну ты тоже как-то некрасиво себя ведешь, не был же на моем собеседовании, хули тявкать. Вывод некоторый сделал, вполне достаточно.
Аноним 16/09/20 Срд 01:52:30 1807803313
>>1807773
>в мтс
Хочешь получать 100к на должности "сеньора"?
Аноним 16/09/20 Срд 01:52:37 1807804314
>>1807801
Та ты тру лохопетыч, чего бы не поугарать. Сейчас тебя в Крошку Картошку бы нагрузить с таким бы собесом, лол
Аноним 16/09/20 Срд 01:53:46 1807806315
>>1807803
Экчуали 150 на мидла.
Аноним 16/09/20 Срд 01:54:52 1807807316
>>1807804
>Крошку Картошку
Люблю кстати, с тремя брынзами
Аноним 16/09/20 Срд 01:55:15 1807809317
>>1807804
>Крошку Картошку
Есть Додо Пицца, они там в Хабропетушарне раньше постились, примерно такое же.
Аноним 16/09/20 Срд 02:17:49 1807824318
>>1807798
> я отказался, по некоторым причинам.
Из-за диплома что ли? Долбоеб потому что.
Аноним 16/09/20 Срд 02:31:48 1807826319
>>1807824
Не, квартиру не давали рядом с работой, очередь была иннополис. Я живу на другом конце соседнего города.
Бля, пиздец вы тут желчные какие-то. Я просто опытом поделился, а уже накинулись. Проще будьте что ли.
Аноним 16/09/20 Срд 02:36:05 1807830320
>>1807826
Собственно отрасль долбоебов, чего удивляться.
Аноним 16/09/20 Срд 02:36:28 1807831321
>>1807826
>Я просто опытом поделился, а уже накинулись.
Мань, просто пойми, эти конторы они 0 и звать их никак и такие требования с тебя это просто жесть.
Аноним 16/09/20 Срд 02:37:55 1807832322
>>1807831
Я об этом спорю что ли? Ты же видишь на какой вопрос я ответил.
Что тебя триггернуло так?
Аноним 16/09/20 Срд 02:38:40 1807833323
>>1807826
Если из-за диплома - то долбоеб (я таких знаю, вместо получения драгоценного первого опыта страдают хуйней и получают нормальный оффер на год позже, чем могли бы). Если нет - то нет. Не понятно, где ты желчь нашел. Для борд твой пердак слишком чувствительный.
Аноним 16/09/20 Срд 02:41:45 1807834324
>>1807832
>Что тебя триггернуло так?
Что ты в обще начал с ними оправдываться.
Аноним 16/09/20 Срд 02:42:35 1807835325
Аноним 16/09/20 Срд 02:43:30 1807836326
>>1807800
>Что ты понял, МТС дно донное, они ничего не сделали и звать их никак, понял он, лол
А что они должны были сделать? Выросло какое-то ебанутое поколение, которое уверено, что без ежедневного хайпа компании нихуя не делают и не существуют
Аноним 16/09/20 Срд 07:13:45 1807892327
>>1807753
оно запускается на огромных дорогих мощностях, просто так тебе не дадут покататься на ядерной ракете. Пока что.
Аноним 16/09/20 Срд 07:15:02 1807893328
>>1807836
>без ежедневного хайпа компании нихуя не делают и не существуют
Что про Додо Пиццу скажешь? Почитай их высеры на швабре, на досуге.
Аноним 16/09/20 Срд 08:08:46 1807915329
>>1807892
Запускается она не на особо дорогих мощностях, на видюху модель не влезет конечно же, но в целом инференс был бы посилен даже частнику-программисту с зарплатой 300к
Аноним 16/09/20 Срд 09:04:11 1807945330
>>1807893
>Что про Додо Пиццу скажешь?
Пицца как пицца. Что можно через вебку пронаблюдать как ее готовят - прикольная идея. В целом любой бизнесмен в этой говностране - народный герой, не вижу причин для хейта.
Я не про такой хайп. Я про тех дрочеров на всякие гугл и опенаи, которые уверены, что если коммерческая компания не делает публикаций, значит они нихуя не делают и внутри нихуя не происходит.
Аноним 16/09/20 Срд 13:23:35 1808059331
Двач, а есть ли какой-нибудь софт, с помощью которого можно БЫСТРА проанализировать данные, с минимальным количеством телодвижений? Буквально в три кнопки. Ну что бы сразу вывелось корреляция между разными атрибутами, количество уникальных значений, количество пустых значений...
Аноним 16/09/20 Срд 13:32:34 1808061332
Аноним 16/09/20 Срд 14:14:41 1808086333
>>1807915
энтузиасту тогда уже. Что потом делать со своим стеком видюх- вопрос, каждые пару лет новая линейка. Пускаю слюни на 24 гб новую карту, как ее там, 3090 или 80...
Аноним 16/09/20 Срд 16:37:03 1808220334
Screenshot211.jpg 49Кб, 753x841
753x841
>>1808061
Ну и говно.
Этим вас с Пятерочках мучают?

А вот у меня есть такой софт.
Аноним 16/09/20 Срд 16:40:20 1808223335
Аноним 16/09/20 Срд 16:59:26 1808252336
Аноним 16/09/20 Срд 19:47:16 1808441337
>>1808220
>А вот у меня есть такой софт.
Он создает больше проблем, чем решает. Посчитать корреляцию это буквально три строчки на питоне включая импорт библиотеки. SOTA с помощью такого софта не воспроизвести, а от терабайта данных он сделает пук среньк и повиснет.
Аноним 16/09/20 Срд 19:49:26 1808444338
>>1808441
>а от терабайта данных он сделает пук среньк и повиснет.
А питон нет что ли?
Аноним 16/09/20 Срд 19:52:09 1808448339
>>1808444
>А питон нет что ли?
На питоне можно сделать генератор, который будет подгружать данные с диска.
Аноним 16/09/20 Срд 20:22:44 1808466340
>>1808220
Просто научись печатать вслепую
Аноним 16/09/20 Срд 20:54:38 1808494341
>>1794245
Поговори с преподавателями. Они, скорее всего, сами где-то работают.
Аноним 16/09/20 Срд 22:14:24 1808547342
>>1808441
А зачем тебе терабайт? Тестируй идеи на гигабайте. Не загружай все сырки из Пятерочки.
Все равно за тобой переписывать программист будет.
Аноним 16/09/20 Срд 22:22:40 1808554343
16000168299220.jpg 11Кб, 350x270
350x270
>>1808547
>Тестируй идеи на гигабайте. Не загружай все сырки из Пятерочки
>Все равно за тобой переписывать программист будет.
Аноним 17/09/20 Чтв 08:21:25 1808736344
Screenshot212.jpg 143Кб, 1344x860
1344x860
>>1808441
Он создает проблемы тебе, рабу какого-то кабанчика из Пятерочки и других крупных компаний.

А для нас он демократизирует науку. Позволяет все попробовать.
Принести в любой бизнес и классический машоб и нейросети.

как сделать SOTA из 90ых ?
https://www.researchgate.net/publication/5091269_Bordeaux_Wine_Vintage_Quality_and_Weather

А вот так:
Аноним 17/09/20 Чтв 08:23:19 1808737345
>>1808736
шо самое интересное, это не было SOTA в 90ых
Просто какой-то экономист пришел и сказал : вы ебанутые? вы почему до сих пор платите этим экспертам по вину такие деньжищи? там же линейная регрессия!
Аноним 17/09/20 Чтв 09:43:34 1808764346
Сап обучач, будут советы по выбору дистрибутива под сеточки? Минта мне с головой хватит или лучше что-то другое?
Аноним 17/09/20 Чтв 09:45:49 1808765347
>>1808764
тоже СОТА собрался копировать? Тогда ставь дебиан. Будь как все.
Аноним 17/09/20 Чтв 09:50:56 1808770348
>>1808765
Если копировать-вставить, то да, это про меня. Не люблю голый дебиан, ну раз говоришь дебиан норм, значит и минт сойдёт.
Аноним 17/09/20 Чтв 16:05:55 1809073349
>>1808764
Я по привычке поставил ксубунту, первый раз 20.04, хули, лтс, а у этой падлы при 3х включённых в иксконфиге gpu (потому что нвидия охуенная фирма и не дает рулить вентилятором у хедлесс затычки) короче ломается вся крыса нахуй с каким-то феерическими багами и тормозами. Решил проблему установив гном3.
При этом на 18.04 такой хуйни не было.
А в целом похуй. Один хер это просто прошивка для запуска питона и вместо апта ты будешь юзать пип, конду, а то и докер. Главное чтобы системный питон не был убердревним говном, ну чисто из-за удобства
Аноним 17/09/20 Чтв 16:51:35 1809130350
>>1809073
Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются? А то все говорят, что надо на линух катиться, я так и не понял нахуя, што тут питон, што там, надо попробовать, видимо.
Аноним 17/09/20 Чтв 18:01:18 1809215351
>>1809130
юзай докер/виртуалки и не еби себе мозги
Аноним 17/09/20 Чтв 20:47:07 1809370352
>>1809130
>Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются?
Винда отжирает 20% видеопамяти, и не получится тренировать на нескольких видеокартах. Некоторые библиотеки и модели придется адаптировать. Вроде все.
Аноним 17/09/20 Чтв 23:49:51 1809603353
>>1808494
Совет годный, конечно, но у меня вышка немного не it (естественные науки)
Аноним 18/09/20 Птн 00:34:12 1809653354
Аноним 18/09/20 Птн 00:45:04 1809669355
>>1809653
В унике проходили до ООП, уже год плюсы не практикую, но могу что-то вспомнить, если напрягусь
Аноним 18/09/20 Птн 00:54:11 1809679356
>>1809370
я тебе скажу, что особого прироста от тренировки на нескольких видюхах, если их не 8 и более нету. На винде может быть пердолинг с некоторыми либами, но это исправляется, если долго покурить. Ну и линух непривычен после 23 лет винды.
Аноним 18/09/20 Птн 01:00:15 1809682357
>>1809669
Хуево. Ищи какое рыночное преимущество ты можешь в себе развить, зумерков, да еще с естественной вышкой, просто дохуя.
Аноним 18/09/20 Птн 01:10:01 1809684358
>>1809682
Это да, есть знакомые-вкатыши даже с моего курса
А какой-нибудь проект за спиной в профильной области (NLP, CV, рекомендашки и пр.) сильно может заролять? Так впадлу кагл дрочить, учитывая, что не везде про него даже знают, а конкуренция там дикая
Аноним 18/09/20 Птн 01:24:27 1809686359
>>1809679
>я тебе скажу, что особого прироста от тренировки на нескольких видюхах, если их не 8 и более нету
Есть. Но он, конечно, зависит от размера и типа модели.
>На винде может быть пердолинг с некоторыми либами, но это исправляется, если долго покурить
Либы может быть и настраиваются, но вот ограничение памяти выбешивает. Купишь видеокарту на 24Гб, а доступными будет лишь 20. Причем на семерке все работало нормально, а на десятке какому-то пидарасу пришло в голову поменять лимиты памяти в видеодрайвере. Пять лет прошло, а починить до сих пор не удосужились, несмотря на многочисленные жалобы пользователей.

К сожалению, комп у меня один на все задачи, поэтому приходится терпеть.
Аноним 18/09/20 Птн 01:26:00 1809687360
>>1809130
>Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются?
Основные плюсы появляются, когда ты становишься достаточно большим мальчиком, у которого машина с IDE - это одно, а машина для тряски ящиков - это другое. А то очень неудобно сидеть пердеть на дваче, пока у тебя параллельно на 100% CPU занят вычислениями, а из-за запущенного фаерфокса случается OOM. Фактически если у тебя нет лишних $500, чтобы собрать на 2700x рызене машинку для вычислений с двумя PCIEx16 слотами и закинуть ее на балкон, то о какой продуктивной работе вообще может идти речь. Естественно для такой машины нужна простая и беспроблемная прошивка, которую установил, настроил и забыл, там нативный шелл со всеми плюхами типа tmux'а, и она не ебет тебе мозги обновлениями и вообще всей той бесящей хуйней, которую дарит пользователям винда.
Если же ты студентик и $500 на выделенную машину у тебя нет, то линукс тебе осваивать все равно придется, и делай это лучше сейчас.
На "машине с иде" у меня меня тоже линукс уже лет 10, но это уже холивар. В целом мне похуй, с чего работать, я летом неделю со смартфона с установленным ssh работал, редактируя скрипты в nano. Ноутбук так и пролежал в сумке.
Аноним 18/09/20 Птн 01:27:57 1809688361
79FC489B-BF74-4[...].jpeg 4319Кб, 4032x3024
4032x3024
Анчоусы, хелп плиз. Как найти по графу вычислений производную y с крышкой по b? Вообще не выкупаю что-то
Аноним 18/09/20 Птн 01:36:50 1809689362
>>1809687
>А то очень неудобно сидеть пердеть на дваче, пока у тебя параллельно на 100% CPU занят вычислениями, а из-за запущенного фаерфокса случается OOM
Оперативка и CPU для нейронок не нужны. Проблема разве что в видеокарте, из-за которой при тряске ящиков начинает тормозить абсолютно все, включая даже браузер. Решается покупкой второй видеокарты. На одной трясешь ящики, на второй играешь и двачуешь.
Аноним 18/09/20 Птн 01:37:09 1809690363
>>1809684
>А какой-нибудь проект за спиной в профильной области (NLP, CV, рекомендашки и пр.) сильно может заролять?
Это полный рандом. Люди, которые разбираются в нейросетях, не разбираются в людях, и наоборот. Совет только один - чем больше ты разносторонне развит, с подтверждением скилла независимым источником (даже с твоих слов), тем больше шансов.
Кагл говно, да. У меня у знакомого джуна есть половина сервера с четыремя V100, который простаивает 90% времени. И вот теперь подумай, какие у тебя шансы победить такого на кагле. Это спорт высоких достижений с разрешенным допингом. Но, опять же, это рандом, тебе может попасться тимлид-каглодрочер, а может тот, кто хейтит кагл, как я. Я бы если бы был мной но студентом, делал бы то же, что делал тогда - задрочил C++ и искал работу именно с мотивацией того, что я может и херовый исследователь (на самом деле нет), но зато заэмбедю вашу писечку в продакшен так, что конкуренты обзавидуются. Это еще до нейронок было. И это сработало, потому что вкатывальщиков как грязи, а чтобы они еще при этом и сносными программистами были - это нереально уже, а средний программист дико боится ТЗ с интегралами и не способен соптимизировать это самое ТЗ на высоком уровне. Ну, либо, задрочить AWS и куберфлоу за две недели, и сказать, что ты ниибаца инфарструктурщик. Хуй знает, пробуй.
Аноним 18/09/20 Птн 01:50:27 1809691364
>>1809690
Признаюсь, я не всё понял, но посыл уловил, буду просто апргрейдить своего покемона в резюме разносторонними фичами. Спасибо, анон
Аноним 18/09/20 Птн 02:32:25 1809697365
>>1809689
>Оперативка и CPU для нейронок не нужны.
Не не нужны, а при желании и отдельном геморрое ты можешь настроить пайплайн так, чтобы они минимально ботлнечили. На деле же с хорошим CPU можно аугментировать данные нампаем на лету, а не встраивать эту ебань в граф вычислений или предварительно формировать из 1 гб датасета 100 гб аугментированного говна, да и просто написать синхронный скрипт и ебать мозг с параллельной работой CPU и GPU.
То же касается и экономии оперативки - можно, конечно, ебать мозги с генераторами и подгружать все асинхронно с диска, но когда ты можешь загрузить 60 гб датасет тупо в оперативку и сделать model.fit() прямо из говноскрипта китайца, это удобно.

Но если ты днищук, то да, можно обойтись без оперативки и CPU. И покупается все за копейки. Не знаю правда почему я 2700x назвал, забыл уже маркировку амудей.
Навскидку, cpu - 8к, лучший по перформанс-на-доллар амуде, но не менее 2 ядер на GPU, мать на X370 чипсете - 6.5к, бп на 850 вт - 10к, память 2666 16 гб - 5к, ссд - 5к, корпус - 3к. Меньше $500 в сумме. Если совсем-совсем днищук, то же самое собирается из мусора с авито в 2 раза дешевле, главное не экономить на БП. Потом покупается вторая карта, докупается оперативка, процессор апгрейдится. Хватит такой машинки лет на 5, если конечно хуанг не сделает 40хх серию с потреблением электрического чайника, а все к этому идет.

>Решается покупкой второй видеокарты. На одной трясешь ящики, на второй играешь и двачуешь.
Это спор пека-вс-консоли напоминает. Решение это так себе - солидный боярин со спецализированным сервером и студентик, готовый ради экономии 20к к куче решаемых, но дурацких проблем, и все чтобы поиграть в некстген. Понятно что на самом деле никакой второй видюхи не будет, а будет просто превозмогание от тормозов на единственной.
Аноним 18/09/20 Птн 02:45:55 1809701366
Каггл хейтят неосиляторы с оправданиями НУ У НИГО ЖИ СТО НИРОНОК
Аноним 18/09/20 Птн 03:08:48 1809703367
>>1809701
Каглодрочер порвался. Ничего нового
Аноним 18/09/20 Птн 03:23:02 1809704368
>>1809697
>На деле же с хорошим CPU можно аугментировать данные нампаем на лету, а не встраивать эту ебань в граф вычислений или предварительно формировать из 1 гб датасета 100 гб аугментированного говна
Намапай не задействует больше одного потока. А самому распараллелить зачастую не получится из-за GIL.
>То же касается и экономии оперативки - можно, конечно, ебать мозги с генераторами и подгружать все асинхронно с диска, но когда ты можешь загрузить 60 гб датасет тупо в оперативку и сделать model.fit() прямо из говноскрипта китайца, это удобно.
Сегодня тебе нужно 60гб, завтра 100, а послезавтра терабайт. Грузить данные с SSD гораздо дешевле и падения в производительности практически нет. Просто делаешь memmap и работаешь с данными на диске как будто они находятся в памяти. Даже генератор писать не нужно.
>Навскидку, cpu - 8к, лучший по перформанс-на-доллар амуде, но не менее 2 ядер на GPU, мать на X370 чипсете - 6.5к, бп на 850 вт - 10к, память 2666 16 гб - 5к, ссд - 5к, корпус - 3к. Меньше $500 в сумме.
За такие деньги говно получится. Нормальная машина для тряски ящиков стоит $2-3k.
>солидный боярин со спецализированным сервером
Солидным боярам сервер выдает работодатель, и этот сервер на порядок мощнее десктопа. Собирать сравнимые по стоимости сервер и десктоп не имеет смысла, поскольку у тебя будут постоянно простаивать ресурсы. Либо сервер, если не трясешь ящики, либо десктоп, когда не пользуешься им.

Собирая одну машину за те же деньги ты получаешь более мощный процессор, больше памяти и дискового пространства, и две видеокарты вместо одной. Для многозадачности можешь ограничить использование ядер процессора, и тренировать на одной видеокарте. Только при этом у тебя сохраняется возможность использования всех ресурсов одновременно.

В общем, собирать сервер имеет смысл только когда он как минимум в несколько раз дороже десктопа.
Аноним 18/09/20 Птн 05:08:47 1809716369
>>1809704
>самому распараллелить зачастую не получится из-за GIL
Проблемы питоноёбов
Аноним 18/09/20 Птн 05:09:06 1809717370
>>1809716
Туда ли ты зашел, петушок?
Аноним 18/09/20 Птн 06:11:04 1809729371
>>1809704
>А самому распараллелить зачастую не получится из-за GIL.
Как вариант use_multiprocessing=True в fit_generator
Мне не понравилось, уже не помню почему, и я использую просто Pool и starmap_async. Оно еще и универсально к фреймворку
>Сегодня тебе нужно 60гб, завтра 100, а послезавтра терабайт.
Нет, не так. Для теста разных идей приходится частенько пользоваться чужими скриптами, в которых каждый лепит как угодно. Как правило - это китайцы, которые ничего, кроме np.load не знают. Когда нужно скрипт каждого китайца адаптировать под свое железо - это проеб времени на ублажение железа. При этом если у тебя CPU медленнее, чем у китайца, это не страшно, а вот количество оперативки критично. Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
>За такие деньги говно получится.
Лол
1. Нагруженность машины не важна, я просто куплю вторую видеокарту
2. Нагруженность машины важна, и пекарни за $500 не хватит
Критерий говно-не-говно простой - у тебя утилизирована видюха на 100%, или простаивает. Критерий второго порядка - это возможности апгрейда на следующем поколении видюх, и так далее. В целом, когда ты проапгрейдишься до какого-нибудь 4080 и тебе перестанет хватать амд 2018 года, купишь амд 2020 года, который к тому моменту будет стоить 40 баксов, и опять будет хватать.

>Солидным боярам сервер выдает работодатель, и этот сервер на порядок мощнее десктопа
Солидные бояре сами говорят работодателю, что им купить. Просто большинство пользуется хайпом и шальными деньгами и просто берет что-то типа DGX, а потом шарит его между отделом из 4 человек (если повезет - то двух). То есть реально, у каждого в распоряжении по два V100, а контора заплатила за это счастье по миллиону рублей на рабочее место.

>Собирая одну машину за те же деньги ты получаешь более мощный процессор, больше памяти и дискового пространства, и две видеокарты вместо одной.
Ну то есть, как я и писал, что твоя логика в том, что ты хочешь физически шерить разного рода работу (в частности - игори и ML) на одном железе. Сегодня нейроночку потренировал, завтра в игру поиграл. Сегодня игорьку установил, завтра удалил и скачал датасет. Потом удалил датасет, установил игру. Поставил обучаться - вместо игры пошел влипать в телефон. На корпусе 3к сэкономил, на БП. И так далее. Говно, в общем.

>В общем, собирать сервер имеет смысл только когда он как минимум в несколько раз дороже десктопа.
О, а это ты охуенный вопрос поднял.
Самое дорогое в DL, помимо видюх, - это, внезапно, PCIEx16 слоты. Мать с двумя слотами стоит 7к, мать с 4 слотами стоит 20к. Мать с 8 слотами это вообще отдельная история.
На втором месте - БП. И тут аналогичная ситуация, 2 БП по 800 Вт стоят дешевле, чем один по 1600, если не пользоваться майнерскими решениями. И это намного проще разрулить с точки зрения электрики и розеток.
На третьем месте - корпус и охлаждение. И тут опять же 2 корпуса по 3к выйдут дешевле, холоднее и тише, чем один большой. Особенно это актуально для 30хх печек.
С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Короче реальная экономия идет только на SSD и оперативке, которую можно шарить между экспериментами, но оно тонет в пунктах, которые я перечислил выше.
Такая вот аберрация на рыночке - как только ты выходишь за рамки геймерского рыночка с его 2xSLI, ты попадаешь на серверное железо, которое, с одной стороны, нахуй не нужно с его надежностью и накруткой за малые тиражи, если у тебя не облачный датацентр, а с другой - в разы дороже и устаревает быстрее.
Так что в итоге получается, что собирать сервер в несколько раз дороже имеет смысл только для больших multi-gpu моделей в кластере. А если цель получить наиболее эффективную йобу для гридсерча в данном бюджете, то ПК среднего сегмента уделывают остальные решения в разы.
Аноним 18/09/20 Птн 07:10:24 1809732372
>>1809729
>Как вариант use_multiprocessing=True в fit_generator
Спасибо, я про это не знал. Хотя, у меня не всегда получалось использовать multiprocessing, поскольку копирование данных между процессами убивало всю производительность.
>Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
16 это вообще смешно. Я имел в виду разницу между 32-64 на десктопе и 128+ на сервере.
>О, а это ты охуенный вопрос поднял.
Но ведь мы обсуждаем не сервера с 4-8 видеокартами, а ПК для простых смертных, так что матери с 8 слотами идут мимо. БП на 800 ватт хватит для двух видеокарт (нахрена больше?), и стоит он недорого. Охлаждение и корпус стоят копейки. В случае одного ПК придется лишь чуть больше потратить на корпус и охлаждение, а в случае двух - заново покупать процессор/мать/бп/память/диски. Ну а если для других задач ПК тебе не нужен, то нет вопросов - собирай один в качестве сервера, накатывай на него линукс, а код пиши на ноутбуке.
>С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Мне кажется у нас разные определения недорогих процессоров. Для меня недорогой это 12-ядерный 3900X или 16-ядерный 3950X. Именно такой я бы поставил в ПК для дата саенса, если собирать его прямо сейчас. Не только для нейронок, а для дата саенса в целом.
Аноним 18/09/20 Птн 07:40:15 1809741373
>>1809716
На самом деле нет. Тут демонстрируется какие же машинлернщики хуевые программисты.
GIL "отпускается" при вызове numpy.
Аноним 18/09/20 Птн 08:31:10 1809756374
>>1809732
>Хотя, у меня не всегда получалось использовать multiprocessing, поскольку копирование данных между процессами убивало всю производительность.
Вместо самих данных можно либо передавать указатель на меммап, либо в дочернем процессе создать глобальную переменную с указателем на меммап. Это вообще лол - в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами. Но вообще это несложно. В случае с ручным педролингом, это делается как-то так

yoba = None #инстанс йобы будет в каждом процессе отдельно
def init(куча параметров):
. global yoba
. yoba = np.memmap("yoba.bin", dtype=np.float32, mode='w+', shape=(...))

def worker(параметры для воркера, например, индекс в батче):
. global yoba
. yoba[eto_ti] = 12345

pool = Pool(processes=6, initializer=init, initargs=[тут имена файлов с меммапами])
yoba_read = np.memmap("yoba.bin", dtype=np.float32, mode='r', shape=(...))

И далее где-то в цикле:
done = pool.starmap_async(worker, параметры)
model.train_on_batch(yoba_copy)
if done.get():
. yoba_copy = yoba_read.copy()

Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.

>БП на 800 ватт хватит для двух видеокарт (нахрена больше?)
БП вообще дело такое, прогресс в электротехнике околонулевой, поэтому покупать его можно лет на 5-10. А твоего 800 на пару 3080 уже не хватит. Что придумает хуанг через 2 года - неизвестно. Да и в случае с парой 250 ваттных видюх тоже лотерея, в пике они потреблять могут дохуя, а если 2 пичка произойдут синхронно, БП может вылететь. И такая хуйня происходить раз в сутки, например.

>В случае одного ПК придется лишь чуть больше потратить на корпус и охлаждение, а в случае двух - заново покупать процессор/мать/бп/память/диски.
Да когда у тебя один ПК - понятно, что это дешевле всего. Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.

>Мне кажется у нас разные определения недорогих процессоров. Для меня недорогой это 12-ядерный 3900X или 16-ядерный 3950X.
Два критерия - максимальный перформанс на доллар и способность загрузить топовый ГПУ. У меня сейчас 4 2070S обслуживает двухлетний тредриппер за 15к, при чем считая довольно сложную аугментацию с гигантскими батчсайзами. На компе с двумя 1080Ti вообще 1600. А если я захочу потратить 40К, я лучше куплю себе еще один числодробилку, нахуя мне йоба-CPU, который будет простаивать 99% времени. Прогресс в железе какой-то ебанутый стал, или я старый, потому что по перформансу я уже не помню, когда мне хотелось, чтобы CPU был побыстрей. Разве что при компиляции какого-нибудь говна. Что там на CPU делают вообще в датасаенце?
Аноним 18/09/20 Птн 08:39:00 1809759375
>>1809756
>в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами.
извинись.
Что у тебя на самом деле узкое место? GIL - это лок интерпретатора. Почему обмолот чисел ты считаешь узким местом, если там как раз GIL отпускается и можно задействовать второй процессор ?
Аноним 18/09/20 Птн 08:59:11 1809765376
>>1809759
>извинись
За что? Вместо написания чистенького кода вида parallel_map_async(container, function) как на каком-нибудь, прости господи, С++, мне приходится рассуждать о каких-то кишках интерпретатора высокоуровнего языка и думать, сделать ли мне import threading или import multiprocessing, где там случится GIL, а где не случится. Я не сомневаюсь, что ты спец по кишкам питона, но это как раз мой поинт и есть, что нужно быть низкоуровневым спецом просто чтобы параллельно данные в батч запихнуть.
>Что у тебя на самом деле узкое место?
Лично у меня узкое место в том, что нужно, чтобы функции train_on_batch и prepare_batch выполнялись одновременно, потому что одна грузит GPU и ждет результат, а вторая эти данные готовит на GPU. Как устроен внутри train_on_batch я не ебу, это библиотечная функция
numpy узким местом бывает редко, потому что он умеет параллелить себя на уровне векторизированных операций. То есть когда у тебя только хорошо написанный numpy-код, использовать что мультитрединг, что мультипроцессинг бессмысленно. Нужно написать код на нампае так, чтобы он сам все распараллелил в сингл-треде. Помимо этого тогда еще будут заюзаны всякие AVX и прочие йобы
Аноним 18/09/20 Птн 09:00:58 1809766377
>>1809756
>Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.
Интересный подход, но есть одна проблема - ограниченный ресурс SSD. При таком раскладе он сдохнет за пару месяцев, учитывая размер данных. Хотя, в принципе, можно сделать рам диск и использовать его в качестве кеша, куда будут складываться аугментированные данные. Надо будет попробовать.

Насчет потоков я тупанул - нампай действительно не блокирует GIL. Но с другими библиотеками все равно могут быть проблемы.
>А твоего 800 на пару 3080 уже не хватит
Да хватит его. На пиковое энергопотребление можно поставить лимит, а так оно будет 250-300 ватт на каждую видеокарту, и то не факт что так много.
> Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.
С этой точки зрения согласен. Только тут у половины треда нет даже одного нормального ПК с видеокартой.
>Что там на CPU делают вообще в датасаенце?
Ну, кминс там всякий, аугментация, разжатие картинок на лету, computer vision алгоритмы, некоторые из которых не получится гонять на видеокарте. В принципе не критично, но все же желательно иметь процессор получше.
Аноним 18/09/20 Птн 10:03:54 1809785378
>>1809766
>Интересный подход, но есть одна проблема - ограниченный ресурс SSD. При таком раскладе он сдохнет за пару месяцев, учитывая размер данных.
По расчетам wd green, у которого нет даже DRAM для кэша, должен быть сдохнуть за пару дней со своим TBW в 40 терабайт, а работает 2 года. Мне кажется есть какая-то защита от дурака то ли в оси, то ли в самом контроллере ссд.
Вообще сами меммапы это непринципиально, можно https://stackoverflow.com/questions/7894791/use-numpy-array-in-shared-memory-for-multiprocessing использовать. Надо будет переписать. Главное это то, что не используется стандартный питоновский путь через сериализацию параметров функций. Спасибо, что обратил внимание на это, я об этом парился, но забыл, хотя в принципе переписать нормально ничего не стоит
>Да хватит его. На пиковое энергопотребление можно поставить лимит
Экономить на БП 4к чтобы по итогу глушить видюху? Ну такое.
А так это не поможет, потому что даже пиковые значения в nvidia-smi на самом деле усреднение. Есть еще более пиковые пики за более короткие промежутки. И от пары таких пиков синхронно дешевому и нагревшемуся БП может поплохеть. При этом комп даже не зависнет, просто отвалится один из GPU.
Аноним 18/09/20 Птн 10:10:34 1809789379
>>1809766
Вооо https://pypi.org/project/SharedArray/
То, что нужно
>С этой точки зрения согласен. Только тут у половины треда нет даже одного нормального ПК с видеокартой.
Думаю еще больше людей заходит в тред, смотрит его содержимое и уходит.
Аноним 18/09/20 Птн 10:28:41 1809793380
>>1809785
>По расчетам wd green, у которого нет даже DRAM для кэша, должен быть сдохнуть за пару дней со своим TBW в 40 терабайт, а работает 2 года
У жесткого диска неограниченное количество перезаписи. У меня же на SSD за год набегает около петабайта чтения. От такого количества перезаписи он точно помрет.
>можно https://stackoverflow.com/questions/7894791/use-numpy-array-in-shared-memory-for-multiprocessing использовать
Пытался использовать такие массивы, и они пиздец насколько меленные.
>Экономить на БП 4к чтобы по итогу глушить видюху? Ну такое.
Я просто долбоеб, когда покупал не думал, что буду докупать вторую видеокарту. Сам БП то топовый.
Аноним 18/09/20 Птн 10:36:44 1809795381
>>1809793
>Пытался использовать такие массивы, и они пиздец насколько меленные.
Ну может быть, хотя это странно, но я уже не буду тестить. Второе что я принес использует позикс шаред память и не должно отличаться от меммапов как перформансу, так и по интерфейсу (обращение через строку)
Аноним 18/09/20 Птн 11:49:27 1809852382
>>1809765
>мне приходится рассуждать о каких-то кишках интерпретатора высокоуровнего языка и думать, сделать ли мне import threading или import multiprocessing, где там случится GIL, а где не случится. Я не сомневаюсь, что ты спец по кишкам питона, но это как раз мой поинт и есть, что нужно быть низкоуровневым спецом

Нет, это знания практически на уровне FAQ. Не кишки питона.
Мне кажется ты просто не стал пробовать и измерять реальную производительность, а полез использовать модуль multiprocessing и получил падение производительности - горе от ума,
Не выебывался бы и нормально все было бы, датасаентист хуев.
Аноним 18/09/20 Птн 12:31:25 1809876383
>>1809852
>Не выебывался бы
Так это ты развыебывался на пустом месте. Я с тобой вежливо общался и даже не послал нахуй с этой шизой по поводу использования тредов, но, как видно, шизики не ценят, когда с ними как с людьми разговаривают.
Аноним 18/09/20 Птн 12:31:50 1809878384
Screenshot214.jpg 296Кб, 2127x1286
2127x1286
Всем stack more layers за мой счет!
Аноним 18/09/20 Птн 16:18:03 1810009385
>>1809756
>Что там на CPU делают вообще в датасаенце?
Бустинг?
Настройки X
Ответить в тред X
15000
Макс объем: 40Mб, макс кол-во файлов: 4
Кликни/брось файл/ctrl-v
Стикеры X
Избранное / Топ тредов