Программирование

Ответить в тред Ответить в тред
Check this out!
НЕЙРОНОЧКИ И МАШОБ ТРЕД №35 /ai/ Аноним 24/01/21 Вск 16:36:19 19200261
image.png 775Кб, 1386x881
1386x881
image.png 137Кб, 200x284
200x284
image.png 359Кб, 623x1280
623x1280
Очередной тред про хипстерские технологии, которые не работают

Я ничего не понимаю, что делать?
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu/ (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.

Почему такой фокус на нейронки?
Потому что остальные чистят вилкой данные в банках с помощью LGBTboost и им некогда предлагать обновления в шапку

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
https://d2l.ai/index.html

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где посмотреть must read статьи?
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1902462.html
https://2ch.hk/pr/res/1881607.html
https://2ch.hk/pr/res/1868191.html
https://2ch.hk/pr/res/1847673.html
https://2ch.hk/pr/res/1832580.html
https://2ch.hk/pr/res/1817320.html
https://2ch.hk/pr/res/1785952.html
https://2ch.hk/pr/res/1758961.html
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html
Аноним 24/01/21 Вск 17:00:34 19200462
Это правда, что тянучки массово вкатываются в дата саенс?
Аноним 24/01/21 Вск 17:02:39 19200483
Насчёт используемой в машобчике математики, в первом appendix'е https://d2l.ai/index.html есть все нужное.
Аноним 24/01/21 Вск 17:40:05 19200774
>>1920048
Этой математики достаточно, если в кликере работать планируешь.
Тервер заканчивается на матожидании и дисперсии, линал - на умножении матриц.
Аноним 24/01/21 Вск 17:48:25 19200895
>>1920077
Этой математики достаточно, чтобы понять что к чему в алгоритмах машобчика и использовать их хотя бы не методом тыка. Т.е. 100% пользователей, особенно всяким вкатышам, этого за глаза.
Аноним 24/01/21 Вск 18:00:41 19201096
>>1920089
Этой математики достаточно, но освоить ее по одной книжке нереально. Надо поебать мозги задачками
Аноним 24/01/21 Вск 18:12:43 19201307
>>1920077
>>1920089
А, там ещё Appendix с математикой есть. Тогда ещё более-менее. Математики из preliminaries точно не хватит.
Аноним 25/01/21 Пнд 10:00:26 19208108
>>1920089
Вкатышам - только за щеку
Аноним 25/01/21 Пнд 10:39:45 19208429
1
Аноним 25/01/21 Пнд 10:44:10 192085310
>>1920046
Да. Хорошие девочки-отличницы учили статистику и матан. Хули им делать еще в декрете?
Аноним 25/01/21 Пнд 14:22:56 192109811
аноны, а насколько работают сетки с облаками точек/кддеревьями и прочим 3д отребьем в контексте pose estimation? Все чаще нахожу инфу, что пока решения очень сырые
Аноним 25/01/21 Пнд 14:28:03 192111212
>>1921098
>Все чаще нахожу инфу, что пока решения очень сырые
Дедоотрицания. Всё работает. За сетками будущее.
Аноним 25/01/21 Пнд 14:33:00 192112213
>>1921112
а какая из них считается норм для такой задачи?
Аноним 25/01/21 Пнд 14:42:06 192113514
бля
короче у меня задача типа определить есть ли объект на картинке или нет, а также его положение
нужна ли мне в таком случае нейронка? или дедовские методы ок справятся? по сути ведь тут нет никакой многоклассовости и пр
Аноним 25/01/21 Пнд 15:06:26 192116615
53007original.jpg 29Кб, 600x300
600x300
Кто-нибудь работал с предсказаниями (например, будущих продаж по текущим продажам)?
Надо ли шкалировать и признаки, и метки? Или только признаки? А если после шкалирования только признаков они с метками различаются на порядки?
Аноним 25/01/21 Пнд 16:59:08 192132916
аноны
увидел, короче, такую тему как озон мастерс - аля ШАД короче
и возник вопрос
действительно ли такие места дают сильный буст? Действительно ли дело обстоит так, что, если ты не из МФТИ/ШАД/Вышка/ВМК, то тебе нечего делать в областях, связанных в даса сайенсом (нлп, цв, мл и пр)? Я просто работаю в своем маня стартапе цвшником, и думаю, что из-за отсутствия чистого дата саенс образования на рынке труда буду сосать хуй
Аноним 25/01/21 Пнд 17:33:34 192138117
>>1921135
Нужны серьезные обоснования чтобы object detection в 2021 решать дедовскими методами. В 99% тебе нужна нейронка, а там смотри на yolo/ssd/faster rcnn/efficientdet.
>>1921166
Возьми градиентный бустинг и всё должно заработать из коробки, без шкалирования. Если у предсказываемых значений очень всратые распределения, то можешь попробовать предсказывать их логарифм, но обычно это не нужно.
Аноним 25/01/21 Пнд 18:12:24 192144518
Когда уже мы получим озвученную сеточкой легендарную пасту "Трьтего дня...." ?
Аноним 25/01/21 Пнд 18:48:04 192148519
>>1921329
да нет, в целом то
тем более цв - это не совсем классический дс - тут нужно и прогать хорошо, и знать именно алгоритмы. А быть генинем матана не обязательно (хотя хорошую базу иметь надо)
Аноним 25/01/21 Пнд 18:54:51 192149120
>>1921381
> Нужны серьезные обоснования чтобы object detection в 2021 решать дедовскими методами.

И чо терь, чтобы найти белое гавно на черном фоне, нейронку обучать?
Аноним 25/01/21 Пнд 19:28:22 192153921
Кстати, на тему тупых дедов, не принимающих Прогресс.
Большая половина статей по рекомендациям с использованием диплёрнинга не воспроизводятся, а те что воспроизводятся побились обычными эвристиками и дедовскими методами https://arxiv.org/pdf/1907.06902.pdf
Аноним 25/01/21 Пнд 22:52:07 192176222
ytest.png 13Кб, 445x285
445x285
xgbpred.png 18Кб, 433x286
433x286
>>1921381
>Возьми градиентный бустинг и всё должно заработать из коробки, без шкалирования.
Получилась какая-то херня.
Аноним 26/01/21 Втр 01:47:35 192184023
Сяп, хз где писать, напишу здесь. Есть кафка с дохуя транзакций по игрекуча разных ивентов от разных игроков. Нужно сообразить модель для аномали детекшн и приблизительно на чём её можно построить тех. решение для её реализации. Я не ленивая свинья и в гугле не забанили, но попрошу помощи и здесь, есть ли у кого может примеры реализации.
инб4: ленивый дебил вкатышь
Аноним 26/01/21 Втр 05:41:44 192188424
>>1921539
Весь современный машоб это либо прямо достижение дедов из 50-60х, либо их развитие. Бустинг это теория статистического обучения, сверточные сети, и весь диплернинх таким образом, это структура по типу зрительной коры кошки, Нобелевская премия Хьюбела и Визеля, мультихед аттеншен это кернел регрессия Надарайи - Уотсона на максималках, трансформеры это дальнейшее развитие сетей Хопфилда итд. Градиентный спуск туда же. Все это - середина прошлого века.
Аноним 26/01/21 Втр 08:01:07 192190825
>>1921884
то есть есть и реально крутая хуйня, а не эти сверточные распознавалки?, ну я догадывался конечно, хуево это как то, тем более у корпораций такие ебанутые мощности вычислительные.
Аноним 26/01/21 Втр 08:10:56 192191126
>>1921884
Умножение и сложение - древние египтяне. Весь машоб - достижения 5000летней давности
Аноним 26/01/21 Втр 08:43:51 192192627
>>1921911
> Умножение и сложение - древние египтяне. Весь машоб - достижения 5000летней давности
Так глубоко копать смысла нет. Я и не об этом. История машобчика идёт по спирали, одни и те же идеи воплощаются на разных уровнях развития железа и софта. Поэтому, кукареканья "Х - устаревшее дедовское говно" есть бред. Просто пока применения не нашлось / ньюфаги не знают, олдфаги забыли / т.д и всё. Никуда от теорем Жопеншмульцера не уйти. Сойбои - дебилы, в отличие от дедов, поэтому ничего нового создать не способны. Я уже говорил, в 60е этой темой занимались академики, сейчас - всякий сброд с петушиными бородами. Итог немного предсказуем.
Аноним 26/01/21 Втр 09:44:15 192194428
>>1921926
>История машобчика идёт по спирали, одни и те же идеи воплощаются...
Только если натягивать сову на глобус.
>Итог немного предсказуем.
Итог - ты копротивляешься и орёшь "ваш прогресс не прогресс, ганы изобрели в 1963"
Аноним 26/01/21 Втр 12:42:21 192208729
15155196.jpg 233Кб, 1200x781
1200x781
>>1921944
>ваш прогресс не прогресс, ганы изобрели в 1963
Тот анон прав, наш прогресс это какие то всратые котики и дипфейки, где что нибуть практическое и полезное хотя бы уровня MYCIN?
Аноним 26/01/21 Втр 13:29:38 192213930
>>1922087
>практическое и полезное
>хотя бы уровня mycin
Если оно настолько практическое и полезное, то почему про него забыли буквально через пару лет. Литералли ничем не отличается от какого-нибудь IBM watson.
От DLSS больше практичности и пользы будет.
Аноним 26/01/21 Втр 14:14:18 192218331
>>1922139
>то почему про него забыли
Потому, что медикипедики прихуели и начали торпедировать проджек, ты почитал бы как у докторов пердаки подорвало от того что их могут пидорнуть на мороз
Аноним 26/01/21 Втр 14:25:54 192221132
>>1922183
Хуйня это всё. Можешь ты представить, чтобы медики или вообще кто угодно мог хотя бы требовать прикрыть гпт3, 4? Это бред ебучий.
Аноним 26/01/21 Втр 14:57:20 192226533
>>1922211
> гпт3, 4?
Так это говно никому конкуренцию не составляет, помнишь как чувак на коленке написал приложуху которая составляет типовые судебные иски и как разорвало пердаки у пендоюристов?
Аноним 26/01/21 Втр 18:42:21 192246634
анончики, подскажите плез
короче 4 года работал байтоебом в цв (писал на микроконтроллерах зрение промышленного софта - в основном в задачах object detection дедовскими методами)
Сейчас хочу перекатиться в современный цв с сетками и блекджеками
Прошел курс от самсунга по зрению (и по обработке текстов), так что приблизительно понимаю о чем речь, но нужна хорошая практика
Отсюда вопрос: посоветуйте плз, какой проект по зрению можно запилить, чтобы лучше прочуствовать нейроночки (а то на котиках да мнисте итак все понятно), да и чтобы работодателю было бы интересно со мной поговорить
Алсо, если сможете такой же совет дать по nlp, то буду благодарен) тк, несмотря на бекграунд, тема тоже интересная
спасибо)
Аноним 26/01/21 Втр 18:47:57 192247135
привет, аноны
я тот чел, который уже писал про задачу распознавания в облаке точек кубиков
короче тема такая: я реализовал определение ориентации облака точек (напомню, что у меня камера стоит сверху и снимает кубики\прямоугольники) через РСА
но чет задумался: а собственные вектора ковариационной матрицы прям честно дают мне локальные х у и з кластера? По идее ведь ничего общего с внешней системой координат х у и з эти оси не имеют, тк они всего лишь вектора, на которые дисперсия максимальна
Значит по идее, я ведь не могу их считать полноценными осями ориентации объекта? А то что заработало, выходит, не более чем удачный набор данных
Я прав?
Аноним 26/01/21 Втр 21:21:06 192260136
Антоны, какие нейронки сейчас можно использовать для парсера языка? Нужно обрабатывать предложение и разбирать его на части речи, частицы и все прочее.
Аноним 26/01/21 Втр 23:16:31 192271937
>>1922601
>Нужно обрабатывать предложение и разбирать его на части речи, частицы и все прочее.
Соснешь, тебе нужен морфологический анализатор хуяндекса https://yandex.ru/dev/mystem/
Ну или васянский PyMorphy
Аноним 26/01/21 Втр 23:16:36 192272038
image.png 23Кб, 764x188
764x188
Аноним 26/01/21 Втр 23:18:44 192272139
>>1922720
>берт
Лол, это же говно даже для английского
Аноним 26/01/21 Втр 23:23:56 192272340
>>1922721
Мне всё за тебя искать?
Аноним 26/01/21 Втр 23:26:32 192272441
>>1922723
>искать
Это говно даром не нужно
Аноним 27/01/21 Срд 00:06:07 192276842
>>1922466
очевидный kaggle, сейчас там есть несколько сорев по CV
Аноним 27/01/21 Срд 01:12:27 192280743
аноны, какие видите перспективы нлп в следующие лет 5-10?
Аноним 27/01/21 Срд 01:19:02 192280944
>>1922807
>нлп в следующие лет 5-10
Оч туманные, нейроговно с ним не справляется, а все типа
https://www.link.cs.cmu.edu/link/
не модно

Идет целенаправленной отвод прогрессивных разработок, который заменяется модными и хайповыми штуками. Иллюзия.
Аноним 27/01/21 Срд 01:57:31 192282245
>>1922471
> то что заработало, выходит, не более чем удачный набор данных
Ну кубик как раз и есть удачный набор данных.
Если бы у тебя были шестиугольники, то PCA бы уже не помог
Аноним 27/01/21 Срд 01:59:12 192282546
>>1922466
>Отсюда вопрос: посоветуйте плз, какой проект по зрению можно запилить, чтобы лучше прочуствовать нейроночки
super resolution с помощью собственного датасета
>Алсо, если сможете такой же совет дать по nlp, то буду благодарен
зафайнтюнь что-нибудь
Аноним 27/01/21 Срд 02:03:08 192282647
>>1921926
>>1922087
>Тот анон прав
Нечеткий, ну мы же знаем, что ты тут семенишь
Аноним 27/01/21 Срд 09:26:44 192297148
>>1922720
Я знаю про берт, думал, может что новее выпустили уже
Аноним 27/01/21 Срд 11:21:00 192303149
>>1922809
рили? я думал, что как раз-таки нейроночки новую жизнь всему этому дали
Аноним 27/01/21 Срд 12:35:48 192307650
Анончики, есть тут кто-нибудь, кто внедрял аналитику и мл в бизнес, сидя на другой должности?

У меня ситуация следующая. Работаю маркетолухом, нет, не дрочилой яндекс-метрики в хипстерском стартапе. В нашей нише вообще контекстной рекламы и таргета нет. Тут дедовский маркетинг с наружной рекламой, мерчом и акциями 2 говна по цене 3.

Люблю копаться в циферках, постоянно ковыряю эксель. Умею в панды, склерн, все вот эти катбусты, более менее в статистику, когда-то мог поворочать датасетами и модельками на R, но уже все забыл. В нейросети пока не могу (да и не хочу особо). Хочу намекнуть кабанчику, что можно взять большие данные и на их основе делать выводы. Но пока руководитель отдела не дает этим заниматься и постоянно грузит какой-то хуйней, начиная от "посмотри акции конкурентов" и заканчивая "надо коробки в архив отнести".

С чего у вас в компании начиналось внедрение аналитики? В какую сторону смотреть в первую очередь и какие мл-инструменты в первую очередь реализуют в бизнесе. Из подручных средств есть разраб, занимающийся сайтами, но много чего помимо веба умеющий. Ну и говнобаза на 1С.
Аноним 27/01/21 Срд 12:53:38 192309551
>>1923076
тебе такое в ods надо
Аноним 27/01/21 Срд 13:28:53 192314252
>>1920026 (OP)
Сап
Подскажите есть ли универсальные гайды по работе с дейтой любой?
Допустим у нас есть пара таблиц числовых данных (не важно что это за данные). Что можно с ними сделать использую питон, пандус и прочие библиотеки. Мне на ум приходит только корреляция каждого из столбов друг с другом.
Аноним 27/01/21 Срд 13:43:33 192317053
>>1923142

А цель какая? Ты хочешь модель построить?



Аноним 27/01/21 Срд 13:48:44 192318054
>>1923170
Цель - из набора цифр получить данные.
Вопрос именно про работу с дейтой, не про нейронки и модели.
Аноним 27/01/21 Срд 13:55:32 192318655
>>1923180
Пришли хоть скрин, а то "как из данных получить данные"
Аноним 27/01/21 Срд 14:01:13 192319756
>>1923180
Тебе надо понять, какая колонка чему соответствует?
Аноним 27/01/21 Срд 14:04:37 192320357
>>1922971
Так открой хаггинфейс и посмотри, что ещё есть
Аноним 27/01/21 Срд 14:10:59 192320958
>>1923142
Тебе нужен data mining. Гугли, конкретных алгоритмов полно, как и готовых инструментов.
Аноним 27/01/21 Срд 14:13:21 192321159
>>1923031
Это местный шизик, не обращай внимание
Аноним 27/01/21 Срд 15:11:45 192325460
>>1923142
Можешь кластеризацию ебануть
Аноним 27/01/21 Срд 15:41:03 192329461
>>1923186
>>1923197
>>1923209
Представь таблицу с данными. В ней 4 столбца (или колонки) - a,b,c,d. В каждом из них floats, то бишь числа. И ты хочешь из этого непонять чего найти что-то интересное. Например вдруг окажется что a(d) на промежутке от [n,k]. Я о таких вещах.
>>1923254
Ебанул тебе регрессий по башке.
Аноним 27/01/21 Срд 17:24:02 192349262
>>1923294
> Например вдруг окажется что a(d) на промежутке от [n,k]. Я о таких вещах.
И как ты это себе представляешь для произвольного датасета? Чтобы выявить что y = f(x), нужно ко всем парам элементов датасета применить все возможные f с оценкой каждого результата. Не считая того, что возможны варианты с композициями функций, тогда придется считать что-то типа y = fn(fn-1(...(f(x)...) + как-то сортировать результаты, короче, ты какую-то неведомую хуйню хочешь с запредельной вычислительной сложностью.
Аноним 27/01/21 Срд 17:26:39 192350063
>>1923294
Присылай датасет, будем ковырять всем форумом
Аноним 27/01/21 Срд 19:37:26 192363664
>>1920026 (OP)
Кокие там в ИИ достижения в 2021?
Аноним 27/01/21 Срд 19:41:57 192364665
>>1923076
Ну это сильно зависит от твоего босса. Работал в финансах и околофинансах. На одной из моих позиций босс запрещала использовать VBA, потому что мол "ты съебешь, а поддерживать это никто не сможет, много работы - передай на подчиненных" не говоря уже про BI-системы, более серьезную автоматизацию и моделирование. В таком случае я просто не афишировал, а просто делал для себя - если видел, что могу сэкономить время свое / коллег, например, или извлечь еще какую-то ценность. А в другом месте боссу самому были интересны такие приколы и он меня дергал, мол "а можешь вот наших клиентов на кластеры разбить, есть же алгоритмы специальные".
Т.е. в определенных случаях, даже если ты сможешь продемонстрировать ценность чего-то (моделирования \ автоматизиции \ интерактивных отчетов), человек на это не пойдет из-за
1. собственного консерватизма
2. нежелания самому потом хотя бы поверхностно разбираться в том, что ты там наворотил (потому что руководитель должен)
3. опасений, что ты съебешь и придется прикрыть эту активность из-за того, что в команде не найдется тех, кто будет в этом шарить и придется упразднить какую-то связанную с этим активность / отчет, к которым вышестоящее начальство успеет привыкнуть. Соответственно твоему руководителю придется держать ответ за это или искать человека со скиллами, которых у самого твоего руководителя нету - соотвественно при найме ему будет трудно их оценить у претендента на должность
Аноним 27/01/21 Срд 20:52:11 192370266
Насколько хорошо трансформер будет игнорировать опечатки в словах если не брать в расчёт эмбеддинги?
Аноним 27/01/21 Срд 21:22:05 192374367
>>1923636
DALL-E
Нашли ошибку в реализации алгоритма 2013 года.
Новая сота на imagenet с использованием мета-псевдолейблинга на неразмеченных данных, лучше предыдущей sota и по качеству, и по времени сходимости.
Это только за январь.
Аноним 27/01/21 Срд 21:58:57 192378168
>>1921445
Для голоса самое важное это желание голосоделов. Несколько часов гоблопидора на руках, теперь надо обучить
Аноним 27/01/21 Срд 22:46:07 192385269
Чего делать с бустингами когда любая фича может быть наном, при этом в тренировочных данных естественно не все такие случаи отражены? Если типа "аугментировать", размножая строки и рандомно заменяя фичи на наны получается слабая фигня.
Аноним 27/01/21 Срд 23:01:46 192387470
>>1923636
4 недели ещё не прошло, ты о чём?
Аноним 28/01/21 Чтв 01:09:00 192395871
>>1923852
Заполнять наны очевидно, и в train и в test.
Иногда ты можешь грубо прикинуть какое именно значение в нанах - если хорошо знаешь данные с которыми работаешь (например, помнишь, что до года n столбец m не заполнялся - и тупо заполняешь годом n-1).
Иногда ты можешь понять из датасета или особенностей сферы (в каких-то случаях, например, nan корректно заменить на 0).
Можешь попробовать заполнять построив по модельке для каждого столбца с наном, даже тупо регрессией.
Или поставить какое-нибудь чиловое значение (если это числовой столбец), которое будет явно экстремальным для данного столбца - GLM это бы поднасрало, а для всяких деревьев решений и бустингов будет приемлимо.
Аноним 28/01/21 Чтв 03:12:46 192400872
image.png 77Кб, 650x254
650x254
Аноним 28/01/21 Чтв 09:12:33 192406473
Screenshot327.jpg 81Кб, 628x752
628x752
Ну спасибо, Абу.
Аноним 28/01/21 Чтв 09:17:18 192406574
>>1923209
ну и пиздец. и ведь постоянно кто-то пишет советы уровня нейросети.
Аноним 28/01/21 Чтв 09:25:30 192406875
>>1923076
Раз времени мало, может ты и есть идеальный клиент для Orange и Knime ?


в Orange есть простой виджет outliers - загрузил клиентов - вот тебе и первая выгода (c)
Любой классификатор позволяет вычислить расхождение с предсказанием - это быстрая выборка нестандартных клиентов/контрагентов - вот и вторая выгода.
Тексты сайтов-доноров рекламы спарсил, загнал в bag of words, прикрепил эффективность по логистической регрессии, посмотрел важные слова - вот и третья выгода (но откровенно говоря, выглядит очень уж наивной моделью)


Тут местные илитарии не любят Orange, потому что он обесценивает их макакичную работу по копированию питон-мануалов из Гугла. Но ты то должен понимать суть.
Аноним 28/01/21 Чтв 09:51:02 192407676
>>1924068
>Тут местные илитарии не любят Orange, потому что он обесценивает их макакичную работу по копированию питон-мануалов из Гугла
Шиз, опять ты выходишь на связь? Orange, как и любое GUI-говно, создает больше проблем, чем решает.
Аноним 28/01/21 Чтв 12:20:20 192419177
>>1924064
чо делать если пайтон знаешь норм а инглиш ниже среднего блять...
Аноним 28/01/21 Чтв 12:28:01 192419778
>>1924076
тебе при трудоустройстве создает больше проблем. И конфузирует новичков-вкатывальщиков.

А людям Orange строить и жить помогает!
Аноним 28/01/21 Чтв 12:28:54 192420079
Аноним 28/01/21 Чтв 12:29:44 192420180
>>1924191
вообще-то дохрена книг переводится.
Но давай чтобы не провоцировать илитариев, предложу
читать Николенко. Ведь это единственный российский ученый написавший книгу , которая, очевидно, не могла быть испорчена переводом.
Аноним 28/01/21 Чтв 12:42:50 192421181
150048645518023[...].jpg 35Кб, 461x414
461x414
>>1924201
> вообще-то дохрена книг переводится.
Проблема в том, что они устаревают быстрее, чем переводятся. Предметная область такая, ничего не поделаешь. Единственный путь тут - постоянно обновляемые онлайн учебники типа https://d2l.ai/index.html В 2021 не знаешь англюсика = официально неграмотный, без вариантов.
Аноним 28/01/21 Чтв 12:45:39 192421482
>>1924211
>Единственный путь тут - постоянно обновляемые онлайн учебники
По ссылке "современные сверточные сети" заканчиваюся на densenet (16 год). Ничем не отличается от любого другого учебника того же времени.
Аноним 28/01/21 Чтв 13:11:08 192422783
>>1924214
А что в свертках с денснетов с тех пор вышло? Squeeze and excite?
Аноним 28/01/21 Чтв 14:48:24 192429384
books.jpg 117Кб, 820x675
820x675
>>1924211
>Проблема в том, что они устаревают быстрее, чем переводятся.
Ты кого тут ебать собрался?

И кого же наш гипотетический вкатывальщик, не понимающий азов статистики, собрался обгонять? Пятерочку и гарвардских профессоров?
Аноним 28/01/21 Чтв 14:51:51 192429985
>>1924293
это моя свалка, но вот Шпигелхалтер и Уэс Маккини 2020 реально полезные и охуенные.
Аноним 28/01/21 Чтв 17:54:25 192446686
Bitterlesson это круто! Это так же круто, как наконец купить сто сникерсов (I trust you).
Аноним 28/01/21 Чтв 18:43:02 192452487
Аноним 28/01/21 Чтв 19:58:05 192457088
Анчоусы, нужна помощь. Есть временной ряд из 4 переменных с шагом в 24 часа. Как по одной записи получать прогноз на следующие 12 дней по изменению этих 4 параметров? Это возможно или нужно для каждого по отдельности делать модельки?
28/01/21 Чтв 20:02:05 192457489
>>1924008
Вроде недавно общели FPGA трансфоремеры?
Аноним 28/01/21 Чтв 22:36:54 192471490
>>1924227
В том числе и SaE.
Ещё split-transform-merge (resnext), depthwise separable convolutions (мобайлнет), архитектурный поиск (efficientnet).
Аноним 28/01/21 Чтв 23:35:01 192476191
>>1924714
>split-transform-merge (resnext)
Хуитка
> depthwise separable convolutions
Топчик
>efficientnet
Хуита теоретическая

В целом по мне эти вещи не достойны учебника. Так, пару параграфов может.

Вообще по мне изучать лучше UNet и производные fully convolutional сети, а классификаторы уже унылы и в целом уже на этапе resnet довольно неплохие
Аноним 29/01/21 Птн 22:00:26 192559292
>>1903293 →
Анон, у тебя получилось что по эмбеддингам? Хочу попробовать с DETR OCR модель сделать.
Аноним 30/01/21 Суб 03:00:15 192573593
антоны, есть ли тут кто из cv? В этом году защищаю диплом по зрению и хочу пойти на работу в эту область (до этого работал в бэке), но часто слышу, что работа в цв это просто "ну вот у нас модель работает на 80 процентов точность, накидай еще данных шоб повысить" и так все время. Будешь делать что угодно, кроме самого цв, а моделька будет та, которую деды выбрали лет 10 назад и менять ее не нужно
Так еще у себя в видео Антоха Мальцев говорил (не знаю, катируется ли он на двачах или нет)
Это так или знакомым по ебалу за такую дезу дать?
Аноним 30/01/21 Суб 06:06:01 192576094
>>1925735
>работа в цв это просто "ну вот у нас модель работает на 80 процентов точность, накидай еще данных шоб повысить" и так все время. Будешь делать что угодно, кроме самого цв, а моделька будет та, которую деды выбрали лет 10 назад и менять ее не нужно
Не понимаю проблемы. Ты можешь параллельно подбирать другую модель даже если тебе не говорили это делать. Получишь точность лучше - придешь к своему тимлиду, покажешь модель, и скорее всего ее запустят в прод. Только вот я тебе гарантирую, что через год работы у тебя пропадет весь энтузиазм, и ты будешь работать по минимуму.
Аноним 30/01/21 Суб 12:50:16 192590295
>>1925760
Вот и вопрос
Стоит ли туда идти вообще? я ведь хочу не хуйней страдать а работать
Аноним 30/01/21 Суб 13:46:11 192596496
>>1925902
>не хуйней страдать а работать
Трясун начал что то подозревать
Аноним 30/01/21 Суб 14:27:49 192602397
Аноним 30/01/21 Суб 17:12:44 192624798
Есть полтора года до выпуска. Как лучше всего вкатиться?
Аноним 30/01/21 Суб 21:10:13 192651999
>>1926247
Что нравится, туда и вкатывайся. Всё равно будешь в итоге другим заниматься.
Аноним 30/01/21 Суб 22:14:52 1926581100
У меня есть домашняя машина, к ней по ssh подключаюсь с ноута иногда и запускаю Жупитер Блокнот. Ну и по прокинутому порту уже захожу в браузере на ноутбуке. Там и работаю, но когда нужно поставить что-то на обучение, то после закрытия соединения эта хреновина потом фиг даст посмотреть прогресс. Открываю его заново, захожу на сайт, но информация в окошках вывода старая, не обновляется и вообще Жупитер не подает признаков, собственно, обучения модели. Что делать? Можно, конечно, просто писать питоновские скрипты с модельками, как белый человек, и запускать их фоном, тогда их выполнение точно не останавливается, но как тогда узнать прогресс обучения?
Аноним 30/01/21 Суб 22:19:26 1926584101
16101340052293.jpg 71Кб, 473x521
473x521
Аноним 31/01/21 Вск 10:39:53 1926781102
>>1926584
Что за говно происходит? "Будущие значения по прошлым через градиентный бустинг"?
В чем твоя идея? Что на что похоже?
Какие были выбраны фичи и какой y?

Пиздец, элитарные трясуны в худшем виде. Термины увидел и сразу их в код написал и получил мусор?
Аноним 31/01/21 Вск 11:00:31 1926786103
>>1926581
Попробуй вкладку браузера не закрывать. Там какая-то хитрая штука с этим.
Аноним 31/01/21 Вск 12:22:04 1926829104
>>1926786
Да, это работает. Но как тогда разработку ведут в крупных компаниях? Читал еще, что удаленный интерпреттор подключают по тому же ssh к pyCharm, но он за деньги, а пиратить не хочется.
В общем, пока что для экспериментов тунель ssh + Жупитер , а для долговременных вычислений: засовывание модели в .py . Но геморно это все как-то, должно быть готовое решение.
Аноним 31/01/21 Вск 12:22:54 1926831105
Аноним 31/01/21 Вск 12:36:13 1926843106
>>1926581
Vnc/rdp/nomachine-nx/teamviewer/etc
Аноним 31/01/21 Вск 12:40:00 1926846107
>>1926829
> Но как тогда разработку ведут в крупных компаниях?
комп включил оставленным и пошел. назавта пришел. как, как, блять...
tensorboard какой-нибудь еще есть.

Да по сути это и не разработка, а черновой поиск решений. Разработку кодомакаки ведут.

есть запусти man screen, если дружишь с консолью и ipython
Аноним 31/01/21 Вск 15:13:48 1926988108
16051211872643.jpg 64Кб, 433x601
433x601
Аноним 31/01/21 Вск 15:51:33 1927035109
Аноны, загорелся датасаенсом, реально переключиться с веба, если в матане вообще околонулевой? Имею ввиду задрочить математику до необходимого уровня самому или это реально только при вузике сделать?
Аноним 31/01/21 Вск 16:13:03 1927078110
photo2020-12-03[...].jpg 53Кб, 811x608
811x608
>>1926988
нет, конечно. О чем мне общаться с фейкопрограммистом?

Иди, блядь, снимай ролики о том как ты вкатываешься и имитируйте там вместе датасаспенс в камертах.
Люди делом заняты.

Тебе просто написал кто-то довольно общее (и верное) замечание, о том, что градиентный бустинг не требует шкалирования. Никто не обещал что что-то получится.
Аноним 31/01/21 Вск 16:34:01 1927091111
>>1927078
Извини, пропустил на треде табличку "Только для опытных датасаентистов, чье ЧСВ не пролазит в тред".
>Люди делом заняты.
Как скажешь.
Не забудь вовремя поливать дерево, на котором специалисты растут.
Всего хорошего.
Аноним 31/01/21 Вск 16:40:03 1927093112
>>1927091
>Не забудь вовремя поливать дерево, на котором специалисты растут.
а я и поливаю:
выкладывай всю историю своих страданий публично чтобы тебе могли помочь публично и чтобы опытные датасаентисты повысили свое ЧСВ.
нахрена им твоя фейкопочта?
Аноним 31/01/21 Вск 16:49:28 1927105113
>>1927093
>выкладывай всю историю
Подразумевая, что тут же появятся толпы желающих помочь.
>нахрена им твоя фейкопочта?
Потому что итт заняты по большей частью мерянием пиписьками старые технологии/новые технологии, предсказанием где будет машобчик через 5 лет и вопросами типа "сап, решил вкатитья в машоб".
Не особо хочется разбавлять эту атмосферу своими проблемами и вопросами.
Аноним 31/01/21 Вск 16:51:48 1927109114
Ну и какого хуя антоху подрезали, он был о делу вообщето. Моча соевая пригоревшая.
Аноним 31/01/21 Вск 16:53:57 1927112115
>>1927105
а было бы неплохо.
заебали своим SOTA от Жопеншмульцера.
Конкретная задача (предположительно) решаемая градиентными деревьями показывает из чего на самом деле состоит машоб.
Аноним 31/01/21 Вск 17:45:27 1927169116
orig.png 4Кб, 674x54
674x54
trasformed.png 3Кб, 1003x54
1003x54
rf.png 24Кб, 543x319
543x319
ytest.png 6Кб, 421x298
421x298
>>1927112
У меня есть набор временных рядов (пик1).
Признаки я почистил, посмотрел корреляцию, выделил значимые, проверил на стационарность тестом Дики-Фуллера, убрал у некоторых нестационарность, посмотрел автокорреляцию, добавил новых признаков в виде лагов (пик 2). Где значения 900+ - это целевой результат.
Поделил данные через TimeSeriesSplit, засунул в линейную регрессию, случайный лес, xgboost, а у меня везде примерно получается пик3. А должен быть пик4.
Что может быть не так?
Аноним 31/01/21 Вск 18:14:39 1927200117
>>1924068
Погуглил оранж. Это вообще законно?
Аноним 31/01/21 Вск 18:24:37 1927211118
image.png 253Кб, 543x543
543x543
>>1924068
>не любят Orange, потому что он обесценивает их макакичную работу

РИСОВАТЬ РАНДОМФОРЕСТЫ В ТЕТРАДКЕ ВАЖНО

ЭТО ДРУГОЕ
Аноним 31/01/21 Вск 18:28:16 1927213119
>>1924068
Суть я более-менее понимаю, не могу именно вытянуть полезное для бизнеса. Посчитать и модель построить я могу, не знаю вот только нахуя
Аноним 31/01/21 Вск 18:34:13 1927219120
>>1927213
А в Единственном русскоязычном курсе по Оранж об этом рассказывают. Рассказываю нахуя. Начинают с CRISP-DM. Дают всякие исторические примеры и тд. Представляешь?


А у Жопенцмуллеров сразу питон и керас.
Аноним 31/01/21 Вск 18:37:30 1927222121
Посочувствуйте курс или книжку по статистике (не Жопеншмульцера)
Аноним 31/01/21 Вск 18:38:30 1927223122
>>1927219
Спасибо, анон. Теперь хоть знаю, в какую сторону гуглить. А то вокруг одни душные деды с их матаном
Аноним 31/01/21 Вск 18:38:47 1927224123
Аноним 31/01/21 Вск 20:16:36 1927305124
>>1927224
Это тот которого обоссали настолько, что он вынужден был переснимать курс в прошлом году? Ну такой себе совет
Аноним 31/01/21 Вск 20:18:02 1927307125
>>1927305
За что был обоссан, кроме ЦПТ?
Аноним 31/01/21 Вск 20:25:11 1927311126
>>1927169
> У меня есть набор временных рядов (пик1).
Ну так и сделай pip install fbprophet.

Вообще плохо понимаю как ты мыслишь и с чего тут xgboost должен был дать что-то полезное кроме шума.

У prophet нет признаков. Он на основе сезонности себя рисует ряд.
Аноним 31/01/21 Вск 20:28:05 1927315127
>>1927213
> Суть я более-менее понимаю, не могу именно вытянуть полезное для бизнеса. Посчитать и модель построить я могу, не знаю вот только нахуя

А ты не пиздишь? Не понятно как такие люди возникают. Ты математик в вакууме?
Аноним 31/01/21 Вск 20:43:40 1927326128
>>1927311
>Вообще плохо понимаю как ты мыслишь и с чего тут xgboost должен был дать что-то полезное кроме шума.
Какава примерама такава решенияма.
Вот тут, например, регрессии используются для решения схожих задач:
https://towardsdatascience.com/5-machine-learning-techniques-for-sales-forecasting-598e4984b109
И вот тут, как не посмотришь, регрессии с randomforest'ами, xgboost'aми и прочими LGBM'ами:
https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting/code
https://www.kaggle.com/c/competitive-data-science-predict-future-sales/notebooks

>prophet
Т.е. baseline не нужен? Делать так?
От стационарности тоже отказаться?
Аноним 31/01/21 Вск 20:57:46 1927335129
>>1927315
Научили так. Хуевертить фичами и моделями умею, сделать полезно нет
Аноним 31/01/21 Вск 21:11:30 1927339130
>>1927326
>Вот тут, например, регрессии используются для решения схожих задач:
https://towardsdatascience.com/5-machine-learning-techniques-for-sales-forecasting-598e4984b109

И закончили они на дедовской ARIMA, которая и выигрывает.
И ты ееможешь в prophet получить.

по поводу остального не знаю и не готов за тебя вычитывать насколько хорошо повторил Кагл.
Аноним 31/01/21 Вск 22:07:49 1927372131
>>1927035
Там математики на полтора месяца тебе.
Аноним 31/01/21 Вск 22:10:33 1927377132
>>1927372
>>1927035
Потому что то, что машиннообучаторы называют математикой, к математике имеет мало отношения. Это инженерно-алгоритмически-вычислительная хуита, а не математика.
Аноним 31/01/21 Вск 22:17:05 1927382133
>>1927035
>>1927372
Хотя я хуй его знает, конечно, какие у тебя там способности.
Аноним 31/01/21 Вск 23:37:13 1927455134
>>1927078
Ты уже можешь больше 80% треда
Аноним 01/02/21 Пнд 06:27:50 1927549135

>>1927377
> машиннообучаторы называют математикой, к математике имеет мало отношения.
Ты модульный петух чтоле? Математика это, успокойся да выпей ещё этих таблеток.
Аноним 01/02/21 Пнд 06:42:13 1927550136
>>1927549
Импортировать катбуст для решения титаника на кагле это не математика
Аноним 01/02/21 Пнд 07:48:58 1927559137
>>1927305
Для вката достаточно, остальное сам нагуглит. Отличать нормальное распределение от слона в удаве можно научиться и у Карпова. Тут не надо иметь глубинные знания о решениях уравнений по теореме Пьера д'Ачелло-Сосницкого
Аноним 01/02/21 Пнд 07:51:12 1927560138
>>1927035
Задрачивай статистику. Можешь еще пару видосов про линал посмотреть, чтобы знать, что такое вектор.


на самом деле, значительная часть терминов во всей этой хуйне, который мы занимаемся - это матеша за 10-11 класс, но длинными умными словами
Аноним 01/02/21 Пнд 08:13:21 1927561139
16086849848570.png 325Кб, 900x900
900x900
>>1927222
> Посочувствуйте курс или книжку по статистике (не Жопеншмульцера)
Какая тебе статистика, зумер, ты шапку осилить не можешь. https://d2l.ai/index.html первый appendix. Там все, нужное для машоба, не только статистика.
>>1927224
>>1927559
Ноунейм параша без задач.
Аноним 01/02/21 Пнд 13:48:23 1927811140
>>1927549
Да там и "прикладной" математики не особо.
Аноним 01/02/21 Пнд 17:36:06 1928131141
поцоны
иду через неделю на собес по зрению
что могут спросить? На какие моменты обратить внимание?
Аноним 01/02/21 Пнд 18:23:08 1928168142
>>1928131
в последней строчке написано ИМШЫНБМК
Аноним 01/02/21 Пнд 19:19:31 1928244143
>>1928168
ну от анонов этого треда я ничего и не ожидал особо
рил самый душный тред
Аноним 01/02/21 Пнд 19:33:13 1928264144
>>1928244
так вы бесите своим наивным подходом к довольно сложной области.
Аноним 01/02/21 Пнд 19:46:48 1928277145
>>1928264
мань, по порядку
1) поинтересовать какие вопросы могут быть на собесе - это не "наивный" подход. Почему-то в ods нормально отвечают на такие вопросы, хотя они тоже варятся в этой (о боже) сложнейшей области за пределами человеческого понимания
ты там не МФТИ заканчивал? У них все, как и ты, ассоциальные
Можно просто написать пару примеров что у тебя лично спрашивали или что спрашивали у друзей и не выебваться (или помолчать)
2) > довольно сложной области
тебе либо 15, либо ты просто зарвавшийся какой-то
в программировании все области сложные. Я абсолютно уверен, что написание многопоточных прилог на с++ не сильно проще клепания моделей в жупитере
Аноним 01/02/21 Пнд 19:48:57 1928278146
Аноним 01/02/21 Пнд 20:04:38 1928292147
>>1927169
Анончик, очень сложно подсказать тебе, если ты боишься конкретно сказать, что у тебя за данные и что за задача. Вот например нихуя непонятно, что ты хотел сказать под "А должен быть пик4." - пик 4 это твой таргет?

Судя по твоим постам, ты пытаешься предсказывать некие временные ряды с некоторым количеством внешних переменных. Хорошо, что ты сделал тесты на стационарность и смотрел автокорреляцию. Для бейслайна я бы предложил тебе SARIMAX из statsmodels, закинешь туда нужный порядок, возможную сезонность, ну и внешние данные.
Аноним 01/02/21 Пнд 20:48:05 1928341148
>>1928277
Хуя рванулась манюня "не автор вопроса" которой не подскачили тут же кабанчиком варианты накидывать забесплатно.
Аноним 01/02/21 Пнд 21:02:33 1928355149
>>1928341
ой бля иди нахуй вообще
Аноним 01/02/21 Пнд 21:35:56 1928388150
15910219081250.png 217Кб, 640x640
640x640
>>1928277
>Я абсолютно уверен, что написание многопоточных прилог на с++

Вот тебе совет для собеса : не пытайся делать вид , что написание типовых прог на хуевом языке - вершина Айти и что ты якобы познал все.
Аноним 01/02/21 Пнд 23:01:08 1928440151
>>1928292
Данные могу скинуть
на почту
сейчас опять кто-нибудь сагрится
Аноним 01/02/21 Пнд 23:25:20 1928454152
Аноним 02/02/21 Втр 00:22:56 1928478153
>>1928440
че тут агриться - не ты первый с гениальными идеями поработать Форекс.
Аноним 02/02/21 Втр 00:32:37 1928488154
>>1928478
Иногда данные из задачи - это просто данные из задачи.
Аноним 02/02/21 Втр 10:35:33 1928607155
Xi Цзиньпинь мужчина горький урок половой член
Аноним 02/02/21 Втр 11:18:57 1928648156
Почему баб так много в датасаенсе? Неужели он такой простой?
Аноним 02/02/21 Втр 12:31:13 1928722157
a2.mkv 1651Кб, 1280x720, 00:00:11
1280x720
>>1928648
проще пареной репы
Аноним 02/02/21 Втр 12:32:14 1928724158
a2.webm 412Кб, 1280x720, 00:00:11
1280x720
ari.webm 2985Кб, 1280x720, 00:00:49
1280x720
Аноним 02/02/21 Втр 13:05:55 1928753159
>>1928131
>мелкобуква
>иду через неделю на собес
Не трать время зря, иди сразу в пятерочку
Аноним 02/02/21 Втр 13:19:18 1928757160
>>1928722
>>1928724
мистер аношин из амазона опять раскручивает свою местечковую тусовку с бесполезными персонажами?
Аноним 02/02/21 Втр 13:26:03 1928762161
>>1928757
- он уже в Microsoft перехантился.
- просто хотел показать анонам грани пиздеца
Аноним 02/02/21 Втр 13:33:05 1928765162
>>1928762
бля, там под видом невротъебенных возможностей просто надувают число подписоты
за исключением нескольких грамотных людей, большая часть этих типа спецов, которые ведут вебинары, - просто напонтованные пустышки. как собственно и сам этот чел, за счёт супер навыков самопрезентации и нетворкинга добравшийся до вот уже микрософта.
Аноним 02/02/21 Втр 13:36:00 1928769163
>>1927091
>поливать дерево, на котором специалисты растут
>сап двач, а как какать

Такое дерево в индустрии не нужно
Аноним 02/02/21 Втр 14:38:50 1928832164
>>1928769
А на чем тогда "специалистов" вешать? Как без дерева то?
Аноним 02/02/21 Втр 14:57:11 1928858165
1.png 61Кб, 1064x524
1064x524
Ябать, эти ваши трансформеры сила... Стандартный пайплайн для вопрос-ответ задачи, из нейроночек выбрал дистилберт, файнтюненный на SQUAD, в контекст просто скопипастил верхнюю часть (до оглавления) статьи с педевикии про комплексные числа. Результат пикрелейтед. Шок, реально. Отвечает осмысленнее любого зумера.
Аноним 02/02/21 Втр 15:12:30 1928867166
Аноны, как вы представляете свой kaggle / github в резюме. Просто даете ссылки или расписываете в самом резюме про кейсы \ проекты с которыми работали / соревнования, в которых принимали участие?
Алсо, если расписываете, упоминаете ли пэт-проекты не связанные непосредственно с анализом данных / ML?
Аноним 02/02/21 Втр 15:36:15 1928889167
>>1928858
Попроси два комплексных числа умножить
Аноним 02/02/21 Втр 19:12:59 1929041168
Анончики, у меня назрел вопрос. Вот эта вся хипстерская хуйня, которой вы тут занимаетесь, машинлернинги, нейросети и прочее троганье себя за место на каггле – какое оно может возыметь прикладной смысл для B2B? Ну, скажем, есть у вас ООО ХуйСтройМонтаж, которое собирает поддоны из деревяшек, чтобы продавать их транспортным компаниям. Или, например фирма, торгующая стройматериалами, скажем, цементом. Как все выше обсуждаемое может помочь ему, простому быдлобизнесу, стоящему на кабанчиках, где твой основной продукт – это цена на твое барахло, ведь у твоих конкурентов оно точно такое же.

Неужели все это модное говно работает только на интернет-магазинах с фалосами или заводах с ебанутейшим оборудованием, в которое можно запихать компьютер вижн?
Аноним 02/02/21 Втр 20:17:37 1929093169
crisp-dm.jpg 43Кб, 800x600
800x600
>>1929041
проблема в том, что кабанчики даже не начали накапливать данные.
Даже не пытались анализировать данные с помощью людей, чтобы потом на основе их знаний, сделать следующий шаг.

Но это постепенно меняется.


Ну рассказывай, Михал Палыч, че там с рогами?
Аноним 02/02/21 Втр 20:28:56 1929108170
>>1929041
ах да, вторая ступень - данные накопили, но они все еще поддаются анализу офисным быдлом. Кое-как в экселе повертели и готово решение.
С этой точки зрения, становится понятно как именно Пятерочка стала школой МЛ - их данные просто ни в один эксель не помещались. Пришлось что-то писать и упорядочивать.
Аноним 02/02/21 Втр 20:40:22 1929122171
>>1929041
Может помочь "простому быдлобизнесу" или нет зависит от его простоты, очевидно. Совсем простому наверное нет, другое дело что сам простой быдлобизнес экономике не очень-то и нужен.
Аноним 03/02/21 Срд 03:57:40 1929402172
>>1929041
> Как все выше обсуждаемое может помочь ему, простому быдлобизнесу, стоящему на кабанчиках, где твой основной продукт – это цена на твое барахло, ведь у твоих конкурентов оно точно такое же.
Никак. Суть того наебизнеса, о котором ты пишешь - связи и знакомства в теме такого наебизнеса. Грубо говоря, Вася с улицы купит бульдозер и останется при своих интересах. А Петр Иванович, проработавший в этой теме 20 лет, и знающий всех в городе, с таким же бульдозером легко будет получать тендеры и контракты как подрядчик. Машобчик в таких схемах не решает ничего.
Аноним 03/02/21 Срд 08:21:15 1929437173
>>1929402
вот пока ты так думаешь, так и будешь кошкодевочек раздевать и в кагл дрочить.
Аноним 03/02/21 Срд 10:23:37 1929474174
>>1928648
Ну да. На начальных этапах уж точно. Выучил стандартные решения стандартных задач и вперёд. Даже нормально кодить уметь не надо. Для второго-третьего курса говновуза самое то.
Аноним 03/02/21 Срд 10:58:55 1929496175
>>1929474
>и вперёд
на ютубчик, учить других
Аноним 03/02/21 Срд 11:48:56 1929525176
>>1929496
Авотхуй. Лично знаю несколько примеров, которые, нихуя по сути не понимая ни в программировании, ни в дотасаентистской «математике», устраивались на работу в дота саенс. Это тебе не пхд в области интеллектуального анализа данных в нормальном вузе, а работка в типичном бизнесе.
Аноним 03/02/21 Срд 11:55:53 1929528177
Аноним 03/02/21 Срд 13:49:08 1929580178
>>1929525
Эти примеры по пуси-пассу прошли?
Аноним 03/02/21 Срд 14:20:11 1929611179
>>1928648
Датасаентисту, который связан с бизнесом нужно быть больше бизнес-аналитиком. Модели все написаны, успевай только импортировать модули, а вот присобачить эти модули к бизнесу, чтобы они профит приносили - это самое сложное и необходимое бизнесу. Чтобы понимать бизнес, нужно понимать менеджеров и потребителей, т. е. необходимы вкачанные софтскиллы, которые у самок обычно лучше развиты.
Аноним 03/02/21 Срд 14:23:19 1929615180
>>1929580
бывает, что навыки софт-скиллз, умение достигать целей и глубокое погружение в бизнес-часть ценятся больше, чем пресловутое умение кодить

ДА
Аноним 03/02/21 Срд 14:41:41 1929636181
>>1929611
>Чтобы понимать бизнес, нужно понимать менеджеров и потребителей, т. е. необходимы вкачанные софтскиллы, которые у самок обычно лучше развиты.

Так это просто не дата-саентист, а даун-аутист.

Как можно изучить нейронки, не изучив сути ?
Для кого во всех этих датасетах пишут подробные описания данных?
Аноним 03/02/21 Срд 15:01:20 1929651182
>>1929636
В том-то и суть. Нужно самому для себя сделать исчерпывающее описание для датасета, который сам же и собираешь. Чтобы потом уже фит-предикт сделать.
Аноним 03/02/21 Срд 15:03:51 1929654183
WrO7MY4.jpg 356Кб, 1280x720
1280x720
>>1929651
тогда что это за тред профнепригодных ?
Аноним 03/02/21 Срд 17:47:53 1929809184
>>1929580
Извинитеможнопорузге.
Аноним 03/02/21 Срд 17:50:03 1929812185
Аноним 03/02/21 Срд 18:55:00 1929865186
>>1929812
Аааа ну возможно. Я таких знаю штук 6 минимум, 5 из них тянки.
Аноним 03/02/21 Срд 19:29:01 1929898187
Untitled.png 146Кб, 1863x120
1863x120
инфоцыгане заспамили
Аноним 03/02/21 Срд 19:39:12 1929907188
>>1929898
Что за курсы? ШАД на минималках?
Аноним 03/02/21 Срд 19:49:10 1929919189
>>1929812
лучший переводчик этого треда!
Аноним 03/02/21 Срд 19:52:33 1929923190
Аноним 03/02/21 Срд 21:59:05 1929993191
Аноним 03/02/21 Срд 22:04:51 1929996192
>>1929923
ии ага, назвали бы реалистичней системы таргетной рекламы, как всучить вам товар порелевантнее
Аноним 03/02/21 Срд 22:52:48 1930033193
Аноны, как существенно увеличить зп или просто доход, если не хочу и не могу уезжать из ДС?
Аноним 03/02/21 Срд 23:05:21 1930043194
>>1930033
удаленка на барина из калифорнии
Аноним 03/02/21 Срд 23:22:06 1930062195
>>1930043
Сколько стоит ожидать среднему джуну?
Аноним 04/02/21 Чтв 00:03:11 1930086196
Аноним 04/02/21 Чтв 00:28:49 1930096197
>>1930086
Да я уже посмотрел сам и нашел все. Около 50 баксов в час.
Аноним 04/02/21 Чтв 00:34:13 1930097198
>>1930096
джун на удаленке нахуй не упал никому
Аноним 04/02/21 Чтв 00:37:38 1930098199
>>1930097
Ну это ты так думаешь. Много кому нужны простые быстрые модельки на один раз, а я еще и код нормальный писать умею. У меня уже был похожий опыт, но здесь, не догадался перенести его на все.
Аноним 04/02/21 Чтв 00:51:05 1930102200
>>1930098
>Ну это ты так думаешь
бгг думает что чет могёт
Аноним 04/02/21 Чтв 11:01:54 1930232201
Аноним 04/02/21 Чтв 11:50:34 1930262202
>>1930232
где текстовый конспект высера? тезисы? с чем именно не согласен ?
вообще, ты как к вечно занятой илите айти обращаешься?
Аноним 04/02/21 Чтв 12:06:19 1930267203
>>1930262
А что, слабо написать нейронку которая тебе краткий конспект видео составит раз ты такой ленивый?
Аноним 04/02/21 Чтв 12:45:48 1930284204
>>1930262
> ты как к вечно занятой илите айти обращаешься?
Ахахаха посрал тебе за воротник, илитка ты наша.
Аноним 04/02/21 Чтв 13:59:03 1930366205
>>1928131
Как вкатился? Программист, математик? Какой опыт?
Аноним 04/02/21 Чтв 15:56:25 1930481206
342423.jpg 158Кб, 1919x941
1919x941
>>1930267
>писать код бесплатно
Аноним 04/02/21 Чтв 17:33:40 1930601207
>>1920026 (OP)
Есть тут люди, мутившие небольшие стартапы в мл и дс?
Аноним 04/02/21 Чтв 19:24:08 1930690208
>>1930601
Антоха Мальцев чем-то таким занимается
Аноним 04/02/21 Чтв 19:35:20 1930708209
>>1929093
У меня затык на первой стадии. Я не могу сам себе задач нарезать.
Аноним 05/02/21 Птн 00:17:17 1930883210
привет пацаны
работаю в чистом ML пару лет, но хочу перейти в  NLP или CV - ну нравятся мне эти области
если отбросить "ну куда больше нравится туда и иди" (потому что привлекает оба варианта, а поработать год там - год там не очень хотелось бы), то куда бы вы посоветовали пойти?
С точки зрения перспектив / количества вакансии / амбициозности задач какое из направлений лучше?
Также вопрос: в случае чего насколько сложно совершить перекать из одного в другое?
Поделки делал и там и там, так что о чем области примерно понимаю, но если есть серьезные дяди тут, то интересно послушать ваг опыт
Аноним 05/02/21 Птн 01:21:17 1930918211
>>1930883
Что такое "чистое мл" ?
Рейтинги кредитные из экселя в бустинг загружать ты имеешь ввиду?
Аноним 05/02/21 Птн 07:43:31 1931008212
>>1930918
Нажимает кнопку "Регрессия" в экселе, наверное
Аноним 05/02/21 Птн 08:33:07 1931018213
Untitled.png 72Кб, 1399x966
1399x966
Аноним 05/02/21 Птн 10:03:46 1931043214
>>1931018
Это много или мало?
Аноним 05/02/21 Птн 10:09:06 1931047215
>>1930883
>>1930918
А почему кстати CV часто стоит как бы особняком от ML в общем?
В вакансиях, например.
Или это у меня когнитивное искажение?
Аноним 05/02/21 Птн 10:16:38 1931050216
Аноним 05/02/21 Птн 10:31:21 1931059217
>>1931047
Наверное потому что крутится вокруг эвристики if (тут пятно) then деталь_упала()
для чего нужно просто писать на c++.
Аноним 05/02/21 Птн 10:32:53 1931062218
>>1931050
Хадуп и все виды беспорядочно накапливаемых данных, которые мы пока не знаем как обработать, а тимплид требует 300 в мес
Аноним 05/02/21 Птн 10:49:07 1931082219
>>1931059
Т.е. фактически там никакого машоба и нет, что ли?
Точнее, оно там есть лишь в виде готовых библиотек обученных моделей распознавания образов на картиночках, а ты фактически работаешь как обычный программист?
Аноним 05/02/21 Птн 11:15:17 1931099220
>>1930918
угу, типа того.
ток сюда студента и взяли - я на 3 курсе
Аноним 05/02/21 Птн 11:17:19 1931101221
>>1931082
ну фифти фифти
есть иногда очень замудренные задачи, для которых либо сетки в целом не нужны, либо их переучивать надо
Аноним 05/02/21 Птн 12:09:39 1931151222
>>1931101
Спасибо, понятно.
А есть еще подобные ниши в машобе?
Аноним 05/02/21 Птн 12:13:43 1931153223
>>1920026 (OP)
Уважаемые, используется ли еще сейчас классический машоб, или все везде давно на разных продвинутых нейронках?
Аноним 05/02/21 Птн 12:50:31 1931195224
>>1931153
Нейронки в CV в основном. И для них с++ очень желательно знать. В других местах помимо навыка перебора гиперпараметров нужно быть бизнес-аналитиком, или дата-инженером-девопсом для регулярно падающего хадупа.
https://www.youtube.com/watch?v=Cs3ae65tmKA
Аноним 05/02/21 Птн 12:52:44 1931198225
>>1931195
>И для них с++ очень желательно знать
С++ машобщику вообще не нужен.
Аноним 05/02/21 Птн 13:41:21 1931229226
Есть возможность по дешёвке взять 2х2080тишек и поставить в слай для нейроночек. Насколько 3к серия лучше прежней и не проебусь ли я?
Аноним 05/02/21 Птн 13:44:33 1931232227
>>1931153
Работаю в одной из консервативных забюрократизированных сфер, где словосочетание "data science" редко используется неиронично, используем в основном дедовский generalized linear model с табличными данными из-за его максимальной интерпретируемости в сравнении с другими моделями. В редких NLP задачах DL тоже не используем, только более явные и понятные методы типа cosine similarity. CV проекты отсутствуют в принципе.
Вообще если, например, пойдешь рисковиком в банк и другие подобные места - в основном будешь работать именно с самыми консервативными из дедовских методов, хотя сейчас у многих банков появляются позиции DS для, в том числе, CV проектов, + есть микрокредиты, где обычно более лояльно относятся к более прогрессивным технологиям, так что и в консервативных сферах типа финансовой помимо дедовских методов надодится место и всяким новомодным вещам. Вообще, гораздо больше мест, где используются дедовские методы, просто обычно они не называются модными словосочетаниями типа data scientist.
Аноним 05/02/21 Птн 13:44:40 1931233228
>>1931198
С++ не нужен бизнес-аналитикам, которым софт-скиллы важнее понимания машоба, а для нормального МЛ разработчика это вообще основной язык.
Аноним 05/02/21 Птн 13:53:03 1931247229
>>1931233
ну ты людей то не пугай
все от поля деятельности зависит
вон, тот же Антоха Мальцев говорил, что они почти не пишут на крестах. Хотя его команда пилила 3д сканирование с помощью ЮАРОВ (робот такой промышленный)
Также в ОДС часто спрашивали насколько нужен с++ для зрения, и ответ тоже не то что бы был однозначным - большенство как раз-таки сошлись на мнении, что он нахуй не нужон
алсо друган устроится цвшников на питоне
короче я вижу так: где нужная какая-то прям дико оптимальная хутиа - там кресты (правда вопрос, занимаются ли цвшники оптимизацией на крестах - все таки тоже огромная область). В остальных случаях - может вытянуть питон (может си шарп)
в любом случае нормальный программист хотя бы 1 си подобный язык должен примерно знать
и ты, прежде чем бросать такие фразы, хоть пруфани, а
Аноним 05/02/21 Птн 13:58:24 1931252230
Аноним 05/02/21 Птн 14:00:22 1931256231
>>1931247
>цвшников на питоне
Больше видявакарт!!! Хотя что еще ожидать от трясунов.
Аноним 05/02/21 Птн 14:00:58 1931258232
>>1931252
А если их будет две то я опережу 2 поколения?
Аноним 05/02/21 Птн 14:09:47 1931267233
>>1931256
еще раз
я не говорю о том, что все так делают
если есть такие конторы, и у них все ок ( а у некоторых и правда все ок) просто закупая видюхи и напиливая продукт дальше - то это НОРМАЛЬНО, как бы твой манямирок не сопротивлялся, дедуль
как будто идея закупать доп видюхи для цв (как и сервера для классического проганья) это что то новое и вообще зумеры заебали лезут к нам ууу ряяя какой я злой раньше было лучше
лично я , конечно же, за подход - цвшники делают алгоритмы (оптимальные с точки зрения алгоритма) - прогеры их оптимизируют (с токи зрения кода\архитектуры и пр)
но опять же ничего не имею против первых
Аноним 05/02/21 Птн 14:10:08 1931268234
>>1931195
блин, клевый видос
прям лукас
Аноним 05/02/21 Птн 14:11:05 1931269235
>>1931195
>>1931268
вообще очень приятно слушать не диких задротов (чувак явно и себе время уделяет, помимо работы)
сразу слышишь более адекватные мысли
Аноним 05/02/21 Птн 14:17:10 1931274236
Вышмата не знаю, статистики не знаю. Кодирую на крестах. Хочу стать топовым млщиком, с чего начать?
Аноним 05/02/21 Птн 14:19:51 1931279237
>>1931274
подумать, точно ли ты хочешь перекат в мл
также подумать, чего ты ждешь от работы
глянь видос выше, там неплохо это рассказывают
если ты прям кодируешь, а не лабы делаешь, то твои скилы уж точно в мире данных пригодятся
а если кратко: учи вышмат питон и эскюэль - на степике все есть
Аноним 05/02/21 Птн 14:25:30 1931288238
>подумать, точно ли ты хочешь перекат в мл
Ну конечно. Перспективная сфера же.
>питон
Читал что на нём ничего сложнее бота для шахмат не написать.
Аноним 05/02/21 Птн 14:25:48 1931289239
Аноним 05/02/21 Птн 14:32:21 1931300240
>>1931288
> Читал что на нём ничего сложнее бота для шахмат не написать
нет
Аноним 05/02/21 Птн 14:37:00 1931312241
>>1931258
Нет, 2 видюхи примерно на 60%, а не на 100% быстрее чем одна, из-за оверхеда на пересылку данных по шине.
Но памяти побольше будет
Аноним 05/02/21 Птн 14:38:44 1931313242
>>1931267
>то это НОРМАЛЬНО
Нет, маня, это не нормально
Аноним 05/02/21 Птн 14:44:32 1931317243
>>1931313
лол
нет, маня, это нормально
у нетфликса модельки в проде в юпитере вертятся
Аноним 05/02/21 Птн 15:04:35 1931332244
>>1931317
Потому что в нетфликсе работают сжв-петухи.
Аноним 05/02/21 Птн 15:06:36 1931335245
>>1931332
ну я вот его смотрю и мне збс
не чувствую НЕОПТИМАЛЬНОСТИ их кода
ве быстро и круто
и ты, дед, сиди и дальше байты еби
Аноним 05/02/21 Птн 15:06:55 1931336246
>>1931332
но про сжв петухов я с тобой согласен
Аноним 05/02/21 Птн 15:07:40 1931337247
>>1931233
>для нормального МЛ разработчика это вообще основной язык
Тензорфлоу написан на крестах и оптимизирован до максимума, так что лучше ты все равно не напишешь. Всякие библиотеки для CV и работы с данными тоже сделаны на крестах, и могут быть использованы в многопоточном режиме. Подсчет метрик, построение графиков и прочее производительности не требует. Ну и зачем машобщику кресты?
Аноним 05/02/21 Птн 15:08:45 1931340248
>>1931269
В чём они более адекватные?
Аноним 05/02/21 Птн 15:08:58 1931341249
>>1931337
плюсую молодому человек (или человекине)
Аноним 05/02/21 Птн 15:09:18 1931342250
>>1931340
да я выебнулся, забей)
Аноним 05/02/21 Птн 15:09:26 1931343251
>>1931337
> Ну и зачем машобщику кресты?
Зачем машобщику математика?
Аноним 05/02/21 Птн 15:12:03 1931350252
>>1931336
Спасибо.
>>1931335
А я его не смотрю, и мне тоже збс.
И я не дед.
Аноним 05/02/21 Птн 15:12:03 1931351253
>>1931343
>Зачем машобщику математика?
Чтобы уметь воспроизводить модели из SOTA пейперов и использовать их для решения задач бизнеса.
Аноним 05/02/21 Птн 15:16:48 1931355254
Аноним 05/02/21 Птн 15:25:33 1931367255
>>1931343
Это смотря что считать математикой.
Аноним 05/02/21 Птн 15:29:46 1931370256
>>1931232
>где словосочетание "data science" редко используется неиронично
А в научном сообществе вообще всегда это звучит иронично. Потому что дота саенс не наука.
Аноним 05/02/21 Птн 15:53:05 1931384257
>>1931351
>воспроизводить модели
Кокие модели? Ведь нужно трясти ящик и крутить пимпы
Аноним 05/02/21 Птн 15:53:49 1931385258
>>1931367
>считать математикой
Все что оторванно от реальности
Аноним 05/02/21 Птн 16:09:52 1931396259
>>1931385
Философия тоже оторвана от реальности.
Аноним 05/02/21 Птн 16:16:54 1931401260
Untitled.png 20Кб, 1810x234
1810x234
>>1931247
Для моделей в пандасе не нужен, а в OpenCV очень даже нужен. Питон, хоть и оперирует либами на С, но однопоточный GIL никто не отменял.
Аноним 05/02/21 Птн 16:16:59 1931402261
>>1931396
Чел, ты...математика и философия это неразрывные вещи.
Аноним 05/02/21 Птн 16:26:02 1931408262
>>1931402
Это как посмотреть.
Аноним 05/02/21 Птн 16:29:49 1931413263
>>1931401
чет пикрил не понял
Аноним 05/02/21 Птн 16:37:28 1931417264
>>1931402
Чистая математика находится на границе познаваемого, далее начинается философия, в которой уже нет никаких критериев истинности.
Ну а вообще да, они связаны, наверное.
Забавно, что согласно критерию Поппера математика наукой не является.
Аноним 05/02/21 Птн 16:37:59 1931419265
Зашел на апворк, почему ставка по 50 баксов у всяких пхд и прочих серьезных людей, а кто-то согласен и за 5 долларов в час работать? Речь про ДСов, там не только индусы.
Аноним 05/02/21 Птн 16:38:00 1931420266
>>1931396
>Философия
Она как раз и пытается обьяснить реальность, скорее математика = теология
Аноним 05/02/21 Птн 16:38:55 1931421267
>>1931417
>Забавно
Так а что тебя удивляет, математика не наука.
Аноним 05/02/21 Птн 16:39:31 1931424268
>>1931419
>а кто-то согласен и за 5 долларов в час работат
Там и за 3 есть, демпингующие макаки
Аноним 05/02/21 Птн 16:43:47 1931431269
>>1931424
А они реально что-то умеют? Или нужно искать барина на постоянной основе.
Посмотрел заказы. То, что я с двумя такими же джунами делал 3 месяца хотят купить за 45к рублей. Это буржуйская народная забава такая, покупать и продавать говно?
Аноним 05/02/21 Птн 16:46:05 1931433270
>>1931431
>А они реально что-то умеют
Нет конечно, просто те кто умеют они просят 5 и сосут писю
Аноним 05/02/21 Птн 16:46:31 1931434271
Аноним 05/02/21 Птн 16:50:44 1931438272
>>1931413
Топ тегов из вакансий хх по запросам из первой строчки.
Аноним 05/02/21 Птн 16:51:45 1931440273
Аноним 05/02/21 Птн 16:54:14 1931445274
Аноним 05/02/21 Птн 16:54:39 1931446275
9u3vne29fe7z.jpg 67Кб, 800x445
800x445
Аноним 05/02/21 Птн 16:55:30 1931447276
>>1931445
Как же он заебал. В последних видосах уже прямо говорит, что не знает о чем снимать и просто про все говорит.
Аноним 05/02/21 Птн 17:07:33 1931458277
>>1931420
Философия пытается, но у неё нихрена не получается.
Естественные науки философию не используют, только математику.
В общественных и гуманитарных, да, философия нужна, однако, вполне возможно, только до тех пор, пока использование математики в них затруднительно.
Для использования математики нужны базовые экспериментальные постулаты, которые можно было бы положить в основание теории в качестве аксиом, иначе польза от математики может быть только локальной. Например, как теория аукционов в экономике, при этом сама современная экономика имеет вид скорее кулинарной книги с кучей рецептов, чем цельной теории.
В общественных науках воспроизводимые эксперименты ставить не получается (по крайней мере, пока), поэтому и теорию не построить, именно поэтому приходится обращаться к домысливанию, т.е. к философии.
Лично я думаю, что прорыв в теоретических разработках общественных наук будет возможен только после глобальной цифровизации всего общества, и когда в этой огромной мешанине бигдаты будут найдены некоторые инварианты общественных отношений (если они вообще существуют), которые и будут положены в основание теории как аксиомы.
Чувствую, математика там будет совершенно упоротая.
Пиздец, вот же где машоб развернётся на всю катушку.
Аноним 05/02/21 Птн 17:18:14 1931469278
>>1931421
Ну тут опять смотря что считать наукой.
По Попперу научная теория должна быть принципиально опровержимой, а в математике теоремы это не предмет споров. Теорема это теорема, и всё тут.
Аноним 05/02/21 Птн 17:47:30 1931496279
>>1931458
>только математику.
Перестань, никто твою математику не использует, это она плетется и подбирает все что придумывают для решения прикладных задач
Аноним 05/02/21 Птн 17:49:02 1931498280
>>1931458
>глобальной цифровизации всего общества,
Говно без задач, даже твои кампутепы до 2021 не совершили никакого общечеловеческого прогресса и не совершат.
Аноним 05/02/21 Птн 18:05:44 1931516281
Аноним 05/02/21 Птн 18:07:54 1931520282
>>1931498
А он никому и нахой не нужон, прогресс ваш. Нужны только деньги.
Аноним 05/02/21 Птн 18:57:43 1931557283
>>1931498
маньк, ты ебнутый? компухтеры не совершили прогересса? тебе 10?
Аноним 05/02/21 Птн 19:06:50 1931566284
>>1931557
>компухтеры не совершили прогересса
Как там КПД ДВС двигателей выше 40% стал? Или может жечь жижу перестали?
Аноним 05/02/21 Птн 19:40:44 1931593285
>>1931458
Философия, что в гуманитарных, что в технических науках - первородная наука, из которого произрастает методология научных исследований + букет социальных наук типа социологии, психологии и т.д. Без философии в естественных науках не будешь понимать некоторые вещи в методологии научных исследований, а без адекватной методологии не сможешь эффективно провести исследование, правильно оформить все, опубликовать результаты, и не быть обоссаным редакцией и научным сообществом. Т.е. можно обойтись и без именно философии, но некоторые вещи будут хуже восприниматься.
Вне науки, в прикладных сферах, применения ей вообще нету, ну кроме удовольствия от знания разве что.
Аноним 05/02/21 Птн 19:44:17 1931598286
>>1931566
чеее
какой еще кпд двс? тебе нахуя двс в 2021?
Аноним 05/02/21 Птн 20:01:22 1931606287
Аноним 05/02/21 Птн 20:04:41 1931612288
>>1931606
а может ты дурак? какой нахуй двс
Мы о компах, мань
О К О М П А Х
Аноним 05/02/21 Птн 20:08:19 1931618289
Аноним 05/02/21 Птн 20:57:45 1931658290
>>1931593
Ну хрен знает. С одной стороны вроде и правильно, а с другой...
>Вне науки, в прикладных сферах, применения ей вообще нету, ну кроме удовольствия от знания разве что.
Это, очевидно, верно.
Аноним 05/02/21 Птн 21:05:26 1931680291
>>1931612
>Мы о компах, мань
>О К О М П А Х
Ну так и расскажи какой от них толк кроме развлечений?
Аноним 05/02/21 Птн 21:43:41 1931704292
>>1920026 (OP)
Аноны, поясните за топологический анализ данных. Эта тема уже вошла в индустрию, или еще только на уровне научных наработок?
Аноним 05/02/21 Птн 23:32:11 1931780293
>>1931458
Ты не ту философию учил. В вузах есть отдельный курс " Философия науки".
Аноним 06/02/21 Суб 02:26:39 1931888294
>>1931566
Видел этого шиза в пораше. Возможно это бот
Аноним 06/02/21 Суб 16:04:56 1932324295
чем отличается DBSCAN от Fuzzy-C-Means?
чем DBSCAN похож на K - Means?
Аноним 06/02/21 Суб 22:28:22 1932688296
>>1932324
Тем, что нахуй не нужны. Just stack more layers, bitch!
Аноним 06/02/21 Суб 22:36:51 1932689297
15960264102200.jpg 67Кб, 592x532
592x532
>>1932688
>Тем, что нахуй не нужны. Just stack more layers, bitch!
Аноним 07/02/21 Вск 00:24:45 1932754298
Бля, придумайте мне пожалуйста задачу, которую можно решить с помощью графа знаний, желательно внутри Российского рынка, но можно и внутри зарубежного, похуй в принципе.
А то диплом надо писать, а в голову нихуя не идёт вообще
Аноним 07/02/21 Вск 00:36:45 1932769299
>>1932754
>диплом надо писать
>придумайте мне пожалуйста задачу
блин, твой диплом это уровень детишек с лопатками в песочнице
Аноним 07/02/21 Вск 00:41:15 1932784300
>>1932769
Так и хули, писать то всё равно его надо, иначе из шараги пидорнут
Аноним 07/02/21 Вск 00:45:24 1932793301
>>1932784
>писать то всё равно его надо
Генератор времени лекция для сдутепедерастов, ну что бы время с разными группами не пересекалось, что бы преподы могли кофе попить и всем было удобно.
Аноним 07/02/21 Вск 00:48:40 1932796302
>>1932793
а графы знаний тут нахуя?
Аноним 07/02/21 Вск 00:50:51 1932798303
>>1932689
Здарова, Жопеншмульцер
Аноним 07/02/21 Вск 00:51:08 1932799304
>>1932796
Что бы пересечений не было
Аноним 07/02/21 Вск 00:51:49 1932800305
>>1932784
>иначе из шараги пидорнут
Ты это заслужил
сасай
Аноним 07/02/21 Вск 01:01:52 1932807306
Аноним 07/02/21 Вск 01:15:44 1932817307
>>1932800
не заслужил, я всё закрыл кроме ебучего диплома
>>1932799
всё равно это как то не очень для диплома магистра
Аноним 07/02/21 Вск 01:17:42 1932821308
>>1932807
Какие то пиздоглазые уебища
Аноним 07/02/21 Вск 01:27:27 1932829309
>>1920026 (OP)
>>1932798
>>1932807
А кто такие жопеншмульцер, битерлессон и вапникошиз, которых тут вечно форсят? И почему между ними вечный срач?
Аноним 07/02/21 Вск 11:46:53 1933009310
>>1932829
Жопеншмульцер - пародия на термины (конкретно - на фамилии учёных, в честь которых эти термины названы), которые современные машобообезьяны не знают.
Bitter lesson - статья какого-то жопеншмульцера о том, что нужно не пытаться добавить к модели знания о предметной области, а собрать побольше данных и настакать слоёв.
Вапник - древний дед, один из разработчиков теории Вапника-Червоненкиса, ещё из тех времён, когда в машобе доказывали теоремы, а не просто гоняли модели на датасетах и хвастались, что побили сота.
Аноним 07/02/21 Вск 12:07:26 1933026311
>>1933009
Спасибо!
Про теорию Вапника-Червоненкиса я знаю.
А вапникошиз, получается, это тип, который форсит эту теорию и вообще научный подход в машобе?
А остальные ему в ответ: «Пишол нахой, ябучий учонодед»?
Аноним 07/02/21 Вск 13:42:16 1933116312
>>1931593
Методологию исследования придумывают всё же никак не профессиональные философы, а всё те же учёные.
Аноним 07/02/21 Вск 15:34:33 1933263313
>>1933116
Поддерживаю. Философы, фактически, просто констатируют методологию, которая складывается в научном сообществе.
Аноним 07/02/21 Вск 15:41:07 1933280314
>>1933263
>Философы, фактически, просто констатируют методологию, которая складывается в научном сообществе
Ну так и математики то же самое делают. Математика сорт философии.
Аноним 07/02/21 Вск 16:21:03 1933341315
Аноним 07/02/21 Вск 17:01:38 1933388316
0GmYOooZb0BphrXA.mp4 4450Кб, 480x480, 00:00:52
480x480
Аноним 07/02/21 Вск 17:17:47 1933406317
А как с патентированием в мле? Можно затюненную модельку запатентовать и сидеть пердеть получая бабосики?
Аноним 07/02/21 Вск 17:36:53 1933425318
Аноним 07/02/21 Вск 18:23:34 1933482319
Аноним 07/02/21 Вск 18:25:49 1933485320
Аноним 07/02/21 Вск 18:43:46 1933500321
DmHOVfYXgAIaQeg.jpg 67Кб, 640x640
640x640
>>1927169
Всё ещё ревестирую знатоков временных рядов.
Аноним 07/02/21 Вск 19:00:42 1933515322
Аноним 07/02/21 Вск 19:10:26 1933528323
Аноним 07/02/21 Вск 20:16:11 1933608324
>>1933500
Попробуй не сами эти числа, а их логарифмы
Аноним 07/02/21 Вск 21:12:53 1933646325
>>1933608
Спасибо.
>а их логарифмы
Они не стационарны. Равно как и их квадраты/квадратные корни.
Проблемы засунуть оригинальные признаки в модель нет.
Проблема в том, что полученные стационарные признаки дают на выходе какую-то шнягую.
Вот и вопрос, что делать.
Аноним 07/02/21 Вск 21:16:54 1933651326
Аноним 07/02/21 Вск 22:26:57 1933680327
Аноним 08/02/21 Пнд 01:34:24 1933779328
изображение2021[...].png 30Кб, 1004x207
1004x207
Где искать работу джуну? Я от каждого угла слышу, что сейчас всем нужны дата сциентисты, ввел в поиске на хедхантере data и чёт ничего не вижу. Нужен либо опыт, либо предлагают нерилейтед говно. Вон, хуесосы из маил ру как обычно в своём стиле. При этом вакансий по джаве, плюсам, питонам десятки и сотни.
Где искать-то работу джуну?
последний курс, выбираю между беком и нейроночками
Аноним 08/02/21 Пнд 01:41:16 1933781329
>>1933779
Нужно по стажировкам метаться кабанчиком и молиться, чтобы после стажировки оставили.
Аноним 08/02/21 Пнд 01:46:11 1933783330
800px-Fafguide-[...].jpg 78Кб, 800x450
800x450
>>1920026 (OP)
Посоны подскажите с чего начать? Я в этом полный ноль.
Я хочу написать игрового бота для FAF используя нейросети, что бы бот самообучался и все лучше играл в игру как например AlphaStar играет в StarCraft 2.
Библиотеку хочу использовать TensorFlow.
Меня интересует какие данные нужны для такой нейросети, допустим я подключился к API игры и достал оттуда координаты юнита, действия которые этот юнит может делать, например переместится в заданную точку, как мне все это передать в нейросеть и как заставить нейросеть сделать так что бы юнит двинулся к материи и построил там экстрактор материи?
Насколько это сложно сделать?
И что в теории мне нужно сделать?
Аноним 08/02/21 Пнд 01:47:48 1933785331
>>1933781
По каким словам кроме data scientist искать вакансии вообще?
И есть ли какой-то профит в платных курсах типа skillbox, которые обещают трудоустройство лучшим ученикам? У меня все-таки есть преимущество перед васянами, которые увидели рекламу и пошли за изи мани, в виде диплома по компуктерным наукам и пары нейронок по курсовым работам. Или это развод всё?
Аноним 08/02/21 Пнд 02:28:45 1933792332
>>1933785
>Или это развод всё?
Нет, варик 100 проц, неси денюшки.
Аноним 08/02/21 Пнд 02:33:51 1933793333
>>1933779
>Где искать работу джуну?
В Пятерочке
>Я от каждого угла слышу
)))
Аноним 08/02/21 Пнд 05:06:58 1933819334
>>1933779
>Я от каждого угла слышу, что сейчас всем нужны дата сциентисты
Я не слышал, ты там поди в пузыре гугля перемогаешь?
Аноним 08/02/21 Пнд 05:50:33 1933832335
>>1933785
По технологиям ищи. Скиллбокс херня. Есть мнение, что яндекс практикум получше будет.
Аноним 08/02/21 Пнд 09:22:09 1933917336
>>1931401
>Питон, хоть и оперирует либами на С, но однопоточный GIL никто не отменял.
отменял.
причем, второе как следствие первого.
Аноним 08/02/21 Пнд 09:24:59 1933918337
>>1920026 (OP)
Аноны, как думаете, GPT-4 уничтожит программистов, если его на всём гитхабе обучат? И кто такой этот ваш transformer? Почему именно он показывает такие охренительные результаты?
Аноним 08/02/21 Пнд 09:26:27 1933921338
>>1933646
Преобразуй боксом-коксом. Избавься от сезонности/тренда. Возьми разницу единичного сдвига. Почисти данные от выбросов.
Проблема в том, что даже если получится стационарный ряд (по DF-тесту), то с настройкой какой-нибудь аримы ты будешь ебаться примерно столько же, если вообще она заведётся.
Тестил какой-нибудь стандартный регрессор (линейный или бустинг) на простых выделенных фичах? Если он работает не лучше чем "предсказывать предыдущее значение", то может задача просто не решается?
Аноним 08/02/21 Пнд 09:26:49 1933923339
>>1933646
>Проблема в том, что полученные стационарные признаки дают на выходе какую-то шнягую.

мусор на входе - мусор на выходе.

Что, если тебя просто в самих данных нет никаких оригинального "сигнала", а лишь шум сигнала, искаженный через кучу кучей фичей?

В стандартной схеме ты должен был бы "добавить фичей". Желательно чтобы модель понимала временной лаг.

Но мусор есть мусор.
Аноним 08/02/21 Пнд 09:45:41 1933935340
>>1933783
>Посоны подскажите с чего начать?
Пройди курс по DL и RL. С последним можешь быстро ознакомиться тут https://github.com/FortsAndMills/RL-Theory-book/
>Меня интересует какие данные нужны для такой нейросети
В 99.9% тебе будет нужна какая-то награда от среды, причем это должно быть что-то более плотное чем исход матча. В зависимости от алгоритма тебе будут нужны либо траектории эпизодов, либо четвёрки state-action-reward-state'.
>как мне все это передать в нейросеть
Так, как это всё делается в твоём любимом DL-фреймворке.
>как заставить нейросеть сделать так что бы юнит двинулся к материи и построил там экстрактор материи
Как действия векторизируешь, так и заставляй. Например, 0 - стоять афк, 1 - двинуться к материи и построить экстрактор, 2 - сдаться.
>Насколько это сложно сделать?
Советую не лезть сюда. Лучше уж на ифах, потенциальных полях и fsm'ах.

>>1933918
У кода на гитхабе нет контекста. Ты по импортам не поймешь, что от тебя требуют написать.
Аноним 08/02/21 Пнд 10:27:05 1933977341
>>1933923
>Избавься от сезонности/тренда.
Промежуток не указан. Т.е. можно взять период в тысячи измерений, и даже что-то осмысленное можно получить. Вопрос, почему именно эти тысячи, а не другие.
>Возьми разницу единичного сдвига.
С ней как раз херня получается, как на картинке 3.
>Почисти данные от выбросов.
Там выбросов не особо.
>Тестил какой-нибудь стандартный регрессор (линейный или бустинг) на простых выделенных фичах?
С просто фичами или фичами, преобразованными через квадраты/логарифмы, работает. Потому что они не стационарны. А вот со стационарными( это желательно по условию задачи) - есть вопросы.
>>1933646
>мусор на входе - мусор на выходе.
Там не мусор, просто временные ряды через равные промежутки времени. Но промежутки эти - не указаны. Может быть это секунды, может минуты, может часы, может дни. Не поймёшь.
>В стандартной схеме ты должен был бы "добавить фичей". >Желательно чтобы модель понимала временной лаг.
Давай уточним, что есть стандартная схема?
У нас есть фичи, мы их преобразуем в новые и новые же используем, не касаясь старых?

могу скинуть изыскания и данные
Аноним 08/02/21 Пнд 10:30:54 1933983342
>>1933977
>Но промежутки эти - не указаны. Может быть это секунды, может минуты, может часы, может дни. Не поймёшь.
Подбери на кросс-валидации.
Аноним 08/02/21 Пнд 10:41:07 1933994343
08/02/21 Пнд 11:29:16 1934031344
>>1920026 (OP)
Аноны, нужен хелп
Есть задача на диплом - реализовать размытие/замену фона на вебкамере, используя СНС, т.е. по факту это семантическая сегментация изображения. Есть три вопроса:
1. Какая архитектура больше всего подходит для этого (UNet, Enet, SegNet)?
2. Можно ли использовать COCO датасет с различными сущностями (машины, люди, животные, дорожные знаки) или лучше использовать LiP датасет, в котором онли люди?
3. Стоит ли сразу делать размытие/замену фона на вебкамере или лучше чуток попрактиковаться на изображениях/видео?
Заранее спасибо
Аноним 08/02/21 Пнд 12:11:56 1934071345
>>1933977
>Давай уточним, что есть стандартная схема?
предположение, что существует еще более точная фича-предиктор, которая отражается на те, которые сейчас есть и неудовлетворительны.

>Там не мусор, просто временные ряды через равные промежутки времени.
вот сразу бы так и начал. А то приплел каких-то графиков ебанутых.
это должно дедовскими SARIMA-и прилично решаться.

>могу скинуть изыскания и данные
Мамке своей скинь.
Аноним 08/02/21 Пнд 12:24:27 1934089346
>>1933983
>Подбери на кросс-валидации.
Ограничения количества подвыборок сверху есть?
>>1933994
> scipy.signal.periodogram.
Два пика/периода поголы не сделают.
Аноним 08/02/21 Пнд 12:40:11 1934105347
Аноним 08/02/21 Пнд 13:44:12 1934170348
>>1934089
>Два пика/периода поголы не сделают.
>временные ряды через равные промежутки времени. Но промежутки эти - не указаны.
Аноним 08/02/21 Пнд 13:44:26 1934171349
Аноним 08/02/21 Пнд 14:19:56 1934227350
>>1934105
Ахаха лол. Хз, я годные отзывы слышал. Хотя личных примеров не знаю.
Аноним 08/02/21 Пнд 14:49:28 1934276351
x1.png 24Кб, 724x309
724x309
>>1934170
У меня сомнения, что у подобной оригинальной фичи - два периода.
Аноним 08/02/21 Пнд 16:19:38 1934390352
>>1933921
Анон, ты ещё тут? Или ты >>1934071 ?
>это должно дедовскими SARIMA-и прилично решаться.
Пробовал, подобрать коээфициенты авто-аримой, потом засунуть в SARIMAХ - результат не идеальный.
>Мамке своей скинь.
Не она же решает задачу.
Алсо, наглядное представление быстрее поможет, чем перекидывание фразами и вопросами пол-треда.
Аноним 08/02/21 Пнд 17:00:54 1934456353
>>1934390
да почему ты не смиришься с тем, что данные лежат за пределами выборки? ты сам как человек можешь решить эту задачу?
Если не можешь, то и от машины не жди.

вот тут недавно нашел хорошую ссылочку куда следует всех форекских шизов в машобе:
https://ru.qaz.wiki/wiki/Efficient-market_hypothesis


>Гипотеза эффективного рынка ( EMH ) - это гипотеза финансовой экономики, которая утверждает, что цены на активы отражают всю доступную информацию. Прямое следствие состоит в том, что невозможно постоянно «обыгрывать рынок» с поправкой на риск, поскольку рыночные цены должны реагировать только на новую информацию. Гипотеза эффективного рынка - https://ru.qaz.wiki/wiki/Efficient-market_hypothesis
Аноним 08/02/21 Пнд 17:17:23 1934484354
p1.png 63Кб, 870x355
870x355
p4.png 78Кб, 852x345
852x345
>>1934456
>ты сам как человек можешь решить эту задачу?
Со стационарными признаками затрудняюсь. С оригинальными это точно решаемо.
Вот, например, признаки, полученные через diff() и через shift(10000), т.е. со смещением в 1 и 10тыс.
Вопрос, можно ли эти 10тыс. как-то обосновать? Или это всё экспериментально берётся?
Как по мне - какая-то хуйня со слишком большой ошибкой.
>форекских шизов в машобе
Тебе ж говорили, это просто обезличенные данные, а не рубли, не курс валюты, не цены на золото или нефть.
Аноним 08/02/21 Пнд 17:28:31 1934494355
>>1934484

> Тебе ж говорили, это просто обезличенные данные, а не рубли, не курс валюты, не цены на золото или нефть.

Это противоречит философии прогнозирования. Так что иди нахуй, шиз форексовский.
Аноним 08/02/21 Пнд 17:31:31 1934498356
Аноним 08/02/21 Пнд 17:41:22 1934512357
>>1934484
Можно построить физическую модель в виде системы дифференциальных уравнений и решить ее. Подставив потом начальные данные в нее можно будет прогнозировать их изменение.
Аноним 08/02/21 Пнд 18:02:53 1934538358
>>1934512
Машоб нормального человека.
Аноним 08/02/21 Пнд 18:25:46 1934574359
>>1934512
>системы дифференциальных уравнений
Что это
Аноним 08/02/21 Пнд 19:08:02 1934639360
>>1934031
Юзай только людей раз и сначала научись кадр правильно сегментировать, а потом уже видео покадрово разбирай. Так проще

Аноним 08/02/21 Пнд 19:15:24 1934650361
Есть годные материалы или книжки по pytorch?
Аноним 08/02/21 Пнд 19:25:43 1934663362
Аноним 08/02/21 Пнд 19:37:03 1934677363
unnamed.jpg 109Кб, 500x407
500x407
08/02/21 Пнд 19:49:22 1934683364
>>1934639
А архитектуру любую выбирать?
Аноним 08/02/21 Пнд 19:49:54 1934686365
>>1934683
Что мешает разные попробовать? Это же не так много времени занимает.
08/02/21 Пнд 20:04:30 1934709366
>>1934686
Ок. Так и сделаю. Спасибо
Аноним 08/02/21 Пнд 21:18:19 1934796367
>>1934512
Можно битерлессон почитать и не лезть своим матанопетушинным рылом в нейронный ряд
Аноним 08/02/21 Пнд 21:26:40 1934798368
AI.jpg 132Кб, 960x1280
960x1280
Добрый вечер котятки, мы пишем письмо Сенатору США Теду Крузу по поводу набутыливания Российского AI сектора и отрезания его от международной фин. системы

Котятки кто отвечает за эту Шайтан машину? Напишите в какой компании вы работаете и мы поможем отмазать её и вы может даже на мороз не попадете или под клеймо разведки США что с вами никто в европе здороваться не будет

Только не врите, хотя наверное полиси в новых санкции будет по всему сектору, но у вас есть шанс, особенно после jetbrains

Если вы из этой шараги которая помогает ментам - бегите прямо щас иначе блэклист карьеры пожизненно
Аноним 08/02/21 Пнд 21:37:37 1934802369
Аноним 08/02/21 Пнд 21:38:47 1934803370
>>1934798
То есть смысл санкций в том чтоб толковые специалисты не бежали с рашки помогая делать западную экономику ещё могущественнее а оставались и совершенствовали российские пыточные вундервафли? Я знаю что у либералов российских конечно со стратегическим мышлением не очень, но не перестаю каждый раз удивляться.
Аноним 08/02/21 Пнд 21:41:47 1934807371
Братишка.jpg 10Кб, 340x266
340x266
>>1934798
>Добрый вечер котятки, мы пишем письмо Сенатору США Теду Крузу
>мы
Кто мы-то блядь?
Аноним 08/02/21 Пнд 21:44:50 1934810372

>>1934803

>оставались и совершенствовали российские пыточные вундервафли?

Отрежут от западных API, облаков, лицензий и доллара и пойдут нахуй а не развивать.

>>1934807

Нас несколько включая юриста международника.
Аноним 08/02/21 Пнд 21:51:59 1934824373
>>1934810
> Нас несколько включая юриста международника.
Скорей бы уже статью о госизмене дополнили для вас.
Аноним 08/02/21 Пнд 21:54:16 1934829374
>>1934824


Ты думаешь режим стагнирующей 1.7% мирового ВВП тоталитарной дыры проживет ещё 10 лет?

ватный AIшник лол,

тебе пизда гнида
Аноним 08/02/21 Пнд 21:56:43 1934835375
>>1934810
>западных API, облаков, лицензий
Делать бабло или удовлетворять претензии полутора окатышей? Хммм, что же выбрать..
Аноним 08/02/21 Пнд 22:01:06 1934843376
>>1934835


Ну да давай поделай под пожизненным отрезанием от бакса.

Будет как с Роскосмосом который обложили санкциями ему пиздец
Аноним 08/02/21 Пнд 22:07:10 1934852377
>>1934810
>от западных API, облаков, лицензий
Там где ai рядом с государством там это и так запрещено
Аноним 08/02/21 Пнд 22:08:46 1934858378
>>1934843
>Будет как с Роскосмосом который обложили санкциями
А как же свободный срыночек и копетоглизм?
Аноним 08/02/21 Пнд 22:19:15 1934871379
>>1934852
>Там где ai рядом с государством там это и так запрещено


Так сектарально же, будет написано полиси об malicious activity и пошли нахуй все, Иранцев вообще от ГитХаба отрубили к хуям.

Буит весело))))
Аноним 08/02/21 Пнд 22:20:30 1934872380
>>1934858
>А как же свободный срыночек и копетоглизм?


Россия сегодня антилиберальное говно вроде Ирана, пока гитхаб, API и прочее, будет как в Иране или Крыму.
Аноним 08/02/21 Пнд 22:21:32 1934874381
>>1934871
>пошли нахуй все
Ну и пойдут нахуй все кроме государственной слежки и впк, то есть браво мистер биден.
Аноним 08/02/21 Пнд 22:24:08 1934877382
>>1934874
>Ну и пойдут нахуй все кроме государственной слежки и впк


Ну то есть кормовая база для слежки и впк, меньше денех и данных двойного назначения гражданского сектора у режима - быстрее конец

Война она всегда тотальная.
Аноним 08/02/21 Пнд 22:43:12 1934889383
>>1934871
Всё нормально у иранцев с гитхабом, че пиздишь тут.
Аноним 08/02/21 Пнд 22:44:21 1934890384
>>1934889


доооо))) так нормально, что на гражданах США живут как на прокладках, такой скулеж был в свиттере прошлой зимой
Аноним 08/02/21 Пнд 23:09:31 1934908385
>>1934843
> отрезанием от бакса
А, так вы из дурки, так бы сразу и говорили
Аноним 08/02/21 Пнд 23:44:07 1934946386
>>1934890
Так сейчас всё нормально, уже как больше месяца. Так что sosi
Аноним 09/02/21 Втр 01:25:49 1934988387
>>1934946
Нет, иранское айти в агонии, режим вот вот падёт.
Аноним 09/02/21 Втр 02:12:57 1935002388
>>1934872
Пишу из Крыма, купил впн муллвад, захожу на гитхаб и ему похуй вообще. Привет.
>>1934810
То есть ты пришел в тред машобщиков и говоришь - ребят, а давайте вас безработными сделаем, вот здорово будет! Ты тупой?
Аноним 09/02/21 Втр 05:33:37 1935032389
google-colabora[...].jpg 28Кб, 1024x683
1024x683
>>1935002
> Пишу из Крыма, купил впн муллвад, захожу на гитхаб и ему похуй вообще. Привет.
Куколаб можно полноценно использовать через ВПН?
Аноним 09/02/21 Втр 10:24:29 1935065390
Аноним 09/02/21 Втр 10:33:27 1935071391
>>1935002
>Пишу из Крыма, купил впн муллвад, захожу на гитхаб и ему похуй вообще. Привет.


Ну попробуй поработать на fortune 500 с маняпаспортом и из под впн)))

Детский Сад.
Аноним 09/02/21 Втр 11:11:09 1935081392
>>1935065
Простой, уже есть коммьюнити и инфраструктура.
Аноним 09/02/21 Втр 11:21:56 1935088393
>>1935065
коммунити.
мы же не придумываем новое, а копируем и синтезируем идеи.
Аноним 09/02/21 Втр 11:24:42 1935091394
>>1935088
Ну и нахуй вы тогда нужны если бот для дерьмоты 2 - верх ваших достижений?
Аноним 09/02/21 Втр 11:34:55 1935095395
>>1935091
Твое обывательское мнение в целом нас не ебет.
Мы зарабатываем не на Доте, а на предсказаниях и автоматизации более скучных вещей.
Аноним 09/02/21 Втр 11:38:34 1935099396
>>1935095
И много заработали своим ctrl-c ctrl-v?
Аноним 09/02/21 Втр 11:57:46 1935110397
Аноним 09/02/21 Втр 12:11:08 1935114398
>>1935110
Ты не понимаешь, у них калмьюнити и синтезация идей!1!
Аноним 09/02/21 Втр 12:35:55 1935126399
>>1935091
Что не так с ботом для дерьмодоты 2? Если смешно исковеркать название игры, то это перестаёт быть каким-то достижением?
Аноним 09/02/21 Втр 12:49:56 1935136400
>>1935126
Ну как тебе сказать. В мире 21 века где может случиться вирус тупо парализующий жизнь на год и в мире где порядка 20% населения не имеет доступа к питьевой воде и еде сидеть и потеть годами над проектом чтобы несколько кк прыщей посидело с открытым ртом или пилить автопилот для машины и выставлять это чем-то ТАКИМ ГРАНДИОЗНЫМ, ТАКИМ ПРОРЫВНЫМ! Как минимум заставляет задуматься над адекватностью таких людей и людей которые хавают подобное.
Аноним 09/02/21 Втр 12:56:46 1935139401
>>1935032
Даже без ВПН позволяет. Скажу больше - Гитлаб работает без ВПН. Охуеть, да? Это потому что дебилы-леваки типа персонажа выше >>1934798 не понимают что такое санкции и зачем их вообще применяют.

>>1935071
>fortune 500
Работают здесь на твои форчун 500 некоторые, у всех фирмы зареганы в Москве просто. Привет.
Аноним 09/02/21 Втр 12:59:20 1935146402
>>1935136
>они не делают то, что я считаю важным, поэтому они неадекватные
Окей. Тогда про уайлса или перельмана тебе лучше не знать.
>ТАКИМ ГРАНДИОЗНЫМ, ТАКИМ ПРОРЫВНЫМ!
А оно не прорывное?
Аноним 09/02/21 Втр 13:07:58 1935153403
>>1935146
>А оно не прорывное?
a) чем?
б) практическое применение?
Аноним 09/02/21 Втр 13:17:42 1935177404
>>1935146
>Тогда про уайлса или перельмана тебе лучше не знать.
Это точно.
Аноним 09/02/21 Втр 15:28:51 1935384405
>>1935110
У тебя баттхерт, кресты реально не нужны, когда у тебя дата саентисты, которые должны шарить в соответствующем матане и не более - нахуярили мвп на скриптоговне и ладно.
>ссылка
Нужно с нуля машобный алгоритм настрочить? Или какой-нибудь торч все-таки можно использовать? В чем смысл?
Аноним 09/02/21 Втр 18:32:38 1935615406
image.png 207Кб, 856x280
856x280
Анончик, мне поставили задачку (я маркетолух, сильно хуями не кидайтесь) прикинуть, стоит ли магазину открываться в той или иной мухосрани. Задача на линейную регрессию. Можно ли тренить на этих фичах?

x1 - население
x2-x5 - региональная популярность из яндекс-вордстата, по ключевым фразам
х6 - количество магазов в нашей нише
у, соответственно, средняя выручка за три месяца


Имеет ли смысл на этом тренить, или нарезать еще фичей?
Аноним 09/02/21 Втр 18:34:42 1935618407
Аноны, такая тема: есть данные температуры, давления, влажности с нескольких приборов за каждый день. Что можно вообще с этими данными сделать?

Температуру предсказывать? Ага, конечно.
На ум вообще ничего не лезет. Может ещё какие фичи добавить?
Аноним 09/02/21 Втр 21:02:23 1935882408
>>1935618
В чем твоя цель? Научиться что-то полезное делать на питоне?
Аноним 09/02/21 Втр 21:05:49 1935895409
>>1935882

Типо того. В университете есть база данных с этими показаниями, она в открытом доступе, а я как раз МЛ изучаю, хотя больше нейронки на PyTorch пишу.

Препод есть, который горит всей этой идеей (сборкой этих приборчиков, рисованием графиков, и так далее. Хочет такую большую систему создать), и я хочу, так сказать, подлизаться + получить практический опыт.
Аноним 09/02/21 Втр 21:40:06 1935940410
>>1935618
Кластеризацию какую-нибудь сделать если получится
Аноним 09/02/21 Втр 21:43:33 1935950411
>>1935940

Я тоже об этом подумывал, но что-то не понял: а что вообще сделать? Что кластеризовать?

Есть множество показаний с разных приборов и... что?
Аноним 09/02/21 Втр 22:05:22 1935967412
>>1935618
Линейную регрессию на температуру наложи. Потепление климата будет показывать.
Аноним 09/02/21 Втр 22:12:14 1935973413
>>1935895
так может ты у него и спросишь что ему нужно?
Совершенно дебильная идея делать что-то без цели. Она не несет азарта.

Плохо, конечно, когда азартная идея слишком сложна и не решается. Но ведь препод точно знает лучше чем ему загрузить студентов на долгие годы вперед.


Собери ЕЩЕ каких-нибудь данных типа обезличенной успеваемости из Мудла (у вас есть Мудл?) и проведи параллели.
В чистом виде от температуры мало полезного.
Аноним 09/02/21 Втр 22:15:26 1935976414
>>1935950
Ну вот в этом пространстве твоих измерений и кластеризуй, если так получится что там несколько явных скоплений а остальное шум можно попробовать проанализировать что это за состояния что такое разделение вызывают, чем отличаются итп. Если размерность большая, пробуй уменьшать всеми популярными и не очень методами. Исследуй, ёпта.
Аноним 09/02/21 Втр 22:55:16 1936004415
Привет посоны.
Есть ли какой-нибудь алгоритм на :ython: для кластеризации облаков точек, который плюс-минус будет приближен к риалтайму? Размер облака примерно 70к точек (понятно, что можно уменьшить размер). Данные не с лидара, а с ргбд камеры.
Пробовал dbscan из sklearn.cluster, но хотелось бы еще быстрее
Аноним 10/02/21 Срд 08:00:04 1936284416
Аноним 10/02/21 Срд 08:07:53 1936286417
Аноним 10/02/21 Срд 11:37:18 1936367418
>>1936286
если у него dbscan не вывозит, то что еще остается?
вроде это и так современный и быстрый считается.
Аноним 10/02/21 Срд 12:23:50 1936409419
1281842075890.jpg 6Кб, 200x160
200x160
Новый тензорфлоу 2 - это керас?
Аноним 10/02/21 Срд 14:08:22 1936636420
>>1936409
Керас это надстройка над слесарьпловом.
Аноним 10/02/21 Срд 14:10:52 1936643421
Аноним 10/02/21 Срд 14:24:31 1936676422
>>1936286
>habr.com
>С результатами, если честно, туго :). Дальше экспериментов дело не пошло, настало время защиты, и нормальных результатов нет.
Я понимаю, что швабропидоры говноеды по определению, но давать ссылку уважаемым двачерам не только на швабропапашу, но и на высер прыщавого студераста которы там посмотрел пару видяво на ютубчике это уж слишком
Аноним 10/02/21 Срд 16:51:06 1936815423
Почему петухон? Не, ну серьёзно. В системах быстрого реагирования типа скальпинга он же проебёт 319%. Как вкатываться если я сиплюсплюс-господин?
Аноним 10/02/21 Срд 17:47:52 1936879424
>>1936815
Спешите видеть, сиплюсплюс господин не может вкатиться в петухон!
Аноним 10/02/21 Срд 18:02:06 1936886425
>>1936815
> В системах быстрого реагирования типа скальпинга
Ты название треда читал? Какой скальпинг, але. Алсо, на пистоне слишком много написано, да чего там, 100% актуального машоба это пистон. Никто все это переписывать не будет.
Аноним 10/02/21 Срд 18:24:50 1936900426
>>1936886
>актуального машоба
Это тебе так в школе сказали?
Аноним 10/02/21 Срд 18:25:54 1936901427
>>1936815
У тебя уже не получится, потому что ты разраб и не можешь в понимание коммерции
Аноним 10/02/21 Срд 18:28:19 1936909428
>>1936879
Могу, но на кой даунгрейдиться?
>>1936886
>100% актуального машоба это пистон.
Мало ебёт. Я почти всё собираюсь с 0 писать.
>>1936901
Держи в курсе.
Аноним 10/02/21 Срд 18:29:11 1936912429
>>1936815
> Почему петухон?
Сто раз объясняли же уже: господам ресёрчерам и аналитикам слишком много и быстро нужно проверять свои идеи, дрочиться с быстродействием, "чистым кодом" и прочими идеями фикс программисточеляди процесс только замедлит.
>В системах быстрого реагирования типа скальпинга
У команд которые занимаются игрой на фондовых рынках отдельные люди занимаются созданием торговых алгоритмов и сигналов и делают они это на чём хотят, а другие оптимизируют эти придуманные алгоритмы под быстродействие и сеть (вот там и сишка, и даже глубже в полный рост).
Аноним 10/02/21 Срд 18:31:37 1936917430
>>1936909
>Держи в курсе.
Если ты хоть раз называл работодателя "человеком от бизнеса", то можешь и не пытаться продолжать
Аноним 10/02/21 Срд 18:31:39 1936918431
>>1936909
>Мало ебёт. Я почти всё собираюсь с 0 писать.
Ну вперёд, пополняй коллекцию шизов.
Аноним 10/02/21 Срд 18:35:11 1936922432
>>1936918
Ctrl-C, Ctrl-V обезьянка, успокойся, а?
Аноним 10/02/21 Срд 18:41:46 1936935433
>>1936815
>сиплюсплюс
>господин

господин можеть позволить себе закрыть ипотеку за 2 года?
Аноним 10/02/21 Срд 18:43:37 1936936434
>>1936900
>в школе сказали?
оно и видно
фанбоем крестов в 2k21 может быть разве что восторженный школьник, верующий в НАСТАЯЩЕЕ ПЫГРАМИРАВАНИЕ, не зная даже рынка труда
Аноним 10/02/21 Срд 18:51:57 1936945435
>>1936935
Могу позволить себе стабильно её оплачивать не имея постоянной работы прогером. Ещё вопросы?
Аноним 10/02/21 Срд 18:55:11 1936946436
>>1936815
"В системах быстрого реагирования типа скальпинга" важнее всего не твой ко-ко-код, а скорость канала связи
Аноним 10/02/21 Срд 18:55:57 1936947437
>>1936945
>сижу на шее у мамки
Типичный шизик-крестоёб
Аноним 10/02/21 Срд 18:57:06 1936948438
>>1936947
На моче гадал или что вы тут любите?
Аноним 10/02/21 Срд 19:04:32 1936952439
>>1936948
>не имея постоянной работы прогером
при этом шизик-крестоёб
Аноним 10/02/21 Срд 19:05:43 1936953440
Аноним 10/02/21 Срд 19:06:04 1936954441
>>1936909
>Я почти всё собираюсь с 0 писать.
Это нормально если ты учишься. Я когда был студентом тоже любил писать велосипеды, в том числе нейронки без использования библиотек. Но со временем понимаешь, что это никому нахуй не нужно, и лучше решать задачи бизнеса и получать за это деньги.
>>1936935
>господин можеть позволить себе закрыть ипотеку за 2 года?
Причем здесь питон и вообще машоб? Чтобы закрыть ипотеку за два года надо быть директором в крупной компании.
Аноним 10/02/21 Срд 19:32:05 1936967442
>>1936909
>Могу, но на кой даунгрейдиться?
А куда ты будешь даунгрейдиться? Ты же не в петухон-разработчики собрался, а в дота саентисты.
А дота саентисты промышленный код не пишут, они быстро собирают модели и проверяют гипотезы. Простой скриптовый петухон для этого как раз подходит.
>Мало ебёт. Я почти всё собираюсь с 0 писать.
На работе на дядю за монеты ты этого делать не будешь.
>>1936815
>В системах быстрого реагирования типа скальпинга
Не поверишь, дота саентисты и там петухон юзают.
Аноним 10/02/21 Срд 20:05:10 1936987443
Есть на словах Кластер. Управляющая нода и вычислительные. На деле работаем на одной. Как можно распараллелить какую-то абстрактную прогу на все ноды?
Аноним 10/02/21 Срд 20:29:13 1936997444
Посоветуйте как войти в ML на практике. Открываю курсы там матан и рисунки. Было бы неплохо сначала посмотреть как куда данные двигаются, гдянуть питон, а потом уже матан смотреть. Есть такое?
Аноним 10/02/21 Срд 20:30:44 1937000445
>>1936997
PS я уже программировал свою собственную многослойную нейронку обратного распространения без использования Tensorflow и пр
Аноним 10/02/21 Срд 20:33:10 1937002446
Наткнулся на темпотрон и не понял, на каких задачах его оптимально применять?
Аноним 10/02/21 Срд 21:22:53 1937050447
>>1936987
МЛ алгоритм или что?
Аноним 10/02/21 Срд 21:56:15 1937081448
>>1936987
как эти абстракции заебали. абстракции теряют важную информацию. оптимизация заключается в использовании важных не вполне видимых возможностей. Ты же не на матеше.

вывод : тебе никак не ускорить.
Аноним 10/02/21 Срд 22:09:31 1937095449
Гэ.webm 347Кб, 1920x1080, 00:00:08
1920x1080
Какая хохлушечка...
Аноним 10/02/21 Срд 22:18:36 1937107450
>>1937095
Ага, а в комментах толпы дрочеров практически ей в любви признаются.
Аноним 10/02/21 Срд 22:30:22 1937120451
>>1936997
Ну глянь питон, потом уже матан смотри. И не матан, а математика.
Для обычной работы в датасайенсе достаточно базовой технической математики. То есть формулы и несложные базовые концепции (особенно из статистики, чтобы тестировать гипотезы).
Питон тоже базовый, скриптописание, не промышленный код.
Аноним 11/02/21 Чтв 02:56:07 1937263452
>>1937095
Ай, пагадай на ручке
Аноним 11/02/21 Чтв 03:55:26 1937272453
>>1936997
Какой тебе мл, ты шапку осилить не можешь. d2l.ai, там все нужное.
Аноним 11/02/21 Чтв 07:00:30 1937287454
>>1937095
Кто сказал, что она хохлушечка?
Аноним 11/02/21 Чтв 08:31:26 1937311455
>>1937263
Ждём хиромантию на основе ML.
Аноним 11/02/21 Чтв 08:37:37 1937315456
>>1937095
Дрочил бы джва часа
Аноним 11/02/21 Чтв 08:39:03 1937316457
Аноним 11/02/21 Чтв 10:06:38 1937346458
>>1937095
Стейсуха в дотасаенс!
Аноним 11/02/21 Чтв 11:02:05 1937377459
>>1937272
Слушай, ну вот серьезно? Освоил программирование, написал свою нейронку без всего и не освою ML? Ну вот ты хоть себе не ври, а тем более не пытайся опускать других.

Это не отрицает того факта, что я благодарен тебе за то что тыкнул меня носом в ссылку. Мне по началу показалось, что в посте ссылки только на занудные абстракции с минимумом практики. Оказался неправ
Аноним 11/02/21 Чтв 14:05:54 1937527460
>>1936815
Сначала на питоне пишут. Если модель сидит на потоке данных, то переписывают на плюсы. Также как сначала делают восковую модель будущей статуэтки, а потом закапывают ее в песок и заливают бронзой. Можно сразу из бронзы делать, но эффективнее двухступенчатый метод.
Аноним 11/02/21 Чтв 17:21:04 1937754461
image 1033Кб, 890x892
890x892
Как думаете набор кода голосом будет актуален в будующем?
Физический ввод с клавы - это ведь весьма медленный процесс, если сравнивать его со скоростью мысли.

Есть одна идейка как научить ИИ воспринимать речь и переводить ее в код, не каждую букву или слово диктовать, а именно паттерны.

Функция с замыканием, возвращает переменную со значением..

Типо так нагаваривать.
Аноним 11/02/21 Чтв 17:26:18 1937767462