Программирование

Ответить в тред Ответить в тред
Check this out!
НЕЙРОНОЧКИ И МАШОБ ТРЕД №36 /ai/ Аноним 20/02/21 Суб 17:20:45 19475491
zzzzzz171702.png 91Кб, 980x472
980x472
183138.png 73Кб, 957x648
957x648
zzzzzzdQthBIGRu[...].jpg 71Кб, 700x534
700x534
zzzzzka4OtgWsCfo.jpg 189Кб, 911x960
911x960
Очередной тред про хипстерские технологии, которые не работают

Я ничего не понимаю, что делать?
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu/ (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.

Почему такой фокус на нейронки?
Потому что остальные чистят вилкой данные в банках с помощью LGBTboost и им некогда предлагать обновления в шапку

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
https://d2l.ai/index.html

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где посмотреть must read статьи?
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1920026.html
https://2ch.hk/pr/res/1902462.html
https://2ch.hk/pr/res/1881607.html
https://2ch.hk/pr/res/1868191.html
https://2ch.hk/pr/res/1847673.html
https://2ch.hk/pr/res/1832580.html
https://2ch.hk/pr/res/1817320.html
https://2ch.hk/pr/res/1785952.html
https://2ch.hk/pr/res/1758961.html
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html
Аноним 20/02/21 Суб 17:49:46 19475972
Здравствуйте, данные научники, возникла идея написать классификатор, суть в том, чтобы телеграмм бот выдавал картинки, человек их оценивал и ему назначаются цифры(представьте координаты в 3-хмерном пространстве), т.е если человеку понравились определенные картитнки, то бот отнесет его к определенной категории людей, в общем то можно просто поставить весы у каждой картинки по каждому измерению, типа если тебе понравилась эта картинка, то ты такой-то и далее тебе будут более релевантные картинки присылаться, в общем-то алгоритм не требует нейронок, но я подумал, что нейронки и классификаторы(это одно и то же?) подойдут тоже для этой задумки, хотел поспрашивать что почитать, какая реализация подходит под эти параметры(сам о нейронках только в общих чертах знаю). Я не планирую писать свою сложную рекомендательную систему, но мне кажется что решение уже есть и оно будет эффективней того что я могу напрогать своими ручками, прошу в ответы, кто знает в каком направлении мне двигаться
Аноним 20/02/21 Суб 17:57:41 19476063
>>1947597
коллаборативная фильтрация на основе k-means
Аноним 20/02/21 Суб 18:05:39 19476184
Аноним 20/02/21 Суб 18:12:26 19476245
>>1947597
но тогда тебе придется прислать каждому новому юзеру 20 картинок, чтобы понять что ему нравится, что довольно тупо по нынешним временам.
Начать сразу с одной картинки будет нельзя.

Аноним 20/02/21 Суб 18:23:49 19476376
>>1947597
>в общем-то алгоритм не требует нейронок,
и почему ты вообще за это зацепился?
Ведь на картинках что-то изображено и это что-то очень важно.

если тебе не хочется обучать нейронку, набери свой датасет из картинок и воображаемых юзеров. Потом поставь Orange и посмотри как он сделает циферки из картинок (всеми обоссываемой) нейросетью ImageNet, но по сути он же распознает картинки.

Далее придумаешь что-то получше и можно будет писать в коде.
Аноним 20/02/21 Суб 18:45:39 19476697
>>1947597
> Я не планирую писать свою сложную рекомендательную систему
А это именно она, гугли классические алгоритмы для рекомендах
Аноним 20/02/21 Суб 19:53:10 19477388
>>1947637
Я предполагаю что картинки будут создавать люди, например я, основываясь на своих предпочтениях и поэтому люди могут так же давать характеристику картинки, поэтому и думаю что не обязательно нейронки юзать, но в остальном спасибо, почитаю, посмотрю
Аноним 20/02/21 Суб 20:09:31 19477569
Аноним 20/02/21 Суб 20:27:46 194777610
16015598020110.webm 5487Кб, 400x224, 00:02:46
400x224
освятил
Аноним 20/02/21 Суб 20:43:39 194779911
>>1947549 (OP)
Тут есть исследователи, или только дотасаентисты?
Аноним 21/02/21 Вск 01:13:33 194804412
>>1947799
>Тут есть исследователи
На месте.
Аноним 21/02/21 Вск 10:49:45 194815713
>>1948044
Охренеть. Чем занимаешься?
Аноним 21/02/21 Вск 13:18:06 194828114
Аноним 21/02/21 Вск 13:42:38 194832615
>>1948281
>This is an overview of the program - Syllogistical homoseksuaali
ИИ уровня двач.
Аноним 21/02/21 Вск 13:47:37 194833616
>>1948281
Ну так классическая хуйня из 60-х, мол, достаточно просто загрузить в систему аксиом и компуктер сам всё выведет. Навыдумали всяких хорновских дизъюнктов, доказали в них полноту метода резолюций, а потом откуда-то полезли функции аккермана и экспоненты экспонент. На этом всё загнулось без какого-либо практического результата. Естественно, там под ИИ подразумевался автоматический логический вывод и прувер разных теорем.
https://en.wikipedia.org/wiki/Logic_Theorist

Аноним 21/02/21 Вск 14:07:36 194835217
>>1948336
Ну, metamath + GPT3 вроде работает, не все плохо с подобными темами.
Аноним 21/02/21 Вск 14:34:33 194837518
image.png 483Кб, 1133x581
1133x581
image.png 613Кб, 854x480
854x480
image.png 714Кб, 1112x607
1112x607
>>1948281
Есть и более совершенные программы для подобных целей, где более полный силлогистический базис https://www.youtube.com/watch?v=PtqBE4BTqwQ и без ошибочного того же логического квадрата или представления о дихотомии. Оказывается, что как типов суждений, так и типов силлогизмов будет много больше (помимо классического конъюнктивного), чем ранее считалось, вместо одного вывода силлогизма может быть, как минимум, два, всё это согласуется с алгеброй логики и другие преимущества тоже есть.
Аноним 21/02/21 Вск 14:44:02 194838419
unnamed (19).jpg 79Кб, 512x384
512x384
img-coFVAh.jpg 51Кб, 640x440
640x440
>>1948375
> эти картинки
Напомнило. Смысла примерно столько же
Аноним 21/02/21 Вск 15:51:48 194844820
Аноним 21/02/21 Вск 16:44:33 194851321
064.gif 170Кб, 326x281
326x281
>>1948384
>Смысла примерно столько же
В башке у зумера?
Аноним 21/02/21 Вск 17:18:20 194854622
8577237887dcae8[...].jpg 298Кб, 683x1024
683x1024
>>1948513
У тебя, если ты считаешь эту хуйню чем-то умным. Родина дала MLTT, HoTT, CubicalTT, нет, хотим какую-то шизу без задач от адептов ШУЕ ППШ...
Аноним 21/02/21 Вск 18:29:36 194861323
Intellekt-2-Ari[...].jpg 128Кб, 1024x1024
1024x1024
>>1948546
Это же основа логики. И не древние русы, а древние греки.
Аноним 21/02/21 Вск 18:36:03 194861724
Аноним 21/02/21 Вск 18:37:29 194861825
>>1948617

шизофренический уклад един путь пустого шприца
Аноним 21/02/21 Вск 19:19:35 194863226
Можно сейчас реалистично аугментировать снимки с дрона на разную погоду (хотя бы сменить солнечную на пасмурную) или это всё так себе?
Аноним 21/02/21 Вск 19:25:38 194863327
>>1948546
Чел, не корми шизика.
>>1948448
Я, конечно, быдло и не шарю, но какие сейчас могут быть юз-кейсы у long term video prediction?
Аноним 21/02/21 Вск 21:04:22 194867728
Figure 1 21.05.[...].mp4 7762Кб, 640x548, 00:00:31
640x548
Фактически это далеко не единственная область применения подобных типов слоёв (Conv3D, ConvLSTM) - не каждая последовательность матриц — это видео)))
Как пример, писал с применением подобной вещи - аппроксиматором для решетчатых уравнения Больцмана (обтекание жидкостью препятствия и возникновение не стационарности течения)(не особо успешно, пример прикрепил).
А если «повыдумывать» - то можно в stack собрать какие-либо темпоральные данные (курсы валют) и покатать данными слоями в составе например энкодеров или ещё чего, с учётом разномасштабных окон и возможно будет практическая значимость (если конечно потом получится RL агента научить этими прогнозами пользоваться).
Аноним 21/02/21 Вск 21:06:29 194867929
>>1948677
Данные - это просто данные)))
Аноним 21/02/21 Вск 22:12:26 194871630
>>1948633
>но какие сейчас могут быть юз-кейсы
Предсказание траекторий для self-driving
Аноним 21/02/21 Вск 22:35:34 194873031
>>1948157
>Охренеть. Чем занимаешься?
Аспирант в американской шараге. Занимаюсь по сути тем же, чем занимаются машобщики в индустрии - трясу нейронку пока не вытрясу нормальный результат. Затем публикую пейперы, которые цитируют 1.5 инвалида и забывают. Область не скажу, но если в общих чертах, то классификация изображений.
Аноним 21/02/21 Вск 23:58:33 194875132
>>1948730
>Аспирант в американской шараге.
Пили стори, как перекатился?
Аноним 22/02/21 Пнд 00:35:19 194876833
>>1948751
>Пили стори, как перекатился?
Есть два варианта. Первый - продаешь бабкину квартиру в ДС и поступаешь на платный бакалавриат, во время которого заводишь знакомства с преподами и изучаешь разные аспекты жизни. После этого абсолютно без проблем перекатываешься на ПхД.

Второй вариант - заканчиваешь где угодно бакалавриат и поступаешь сразу на ПхД. Это сложнее, но вполне возможно. Забудь про колледжи, которые от 50 места в рейтинге и выше. Все требования найдешь на сайте вуза. Обычно это всякие бумаги об образовании, TOEFL, GRE и эссе, почему ты хочешь у них учиться. Самое главное - это найти препода, которого ты хочешь себе в качестве научрука, лично с ним связаться и обкашлять вопросики. При его поддержке шансы возрастут на порядок.

Но вообще, идти на ПхД я не рекомендую. Будешь получать на уровне кассира волмарта, а после защиты диссертации в лучшем случае перекатишься в индустрию зачастую кодомакакой, а реалистично - пойдешь постдоком за нищенские 50-60к.
Аноним 22/02/21 Пнд 12:05:16 194902434
>>1948768
>за нищенские 50-60к.
Это что за капуста, белоруские зайчи в год?
Аноним 22/02/21 Пнд 13:09:44 194906635
>>1948768
Лучше после бакалавриата сразу в индустрию?
Аноним 22/02/21 Пнд 14:12:38 194911236
Можно ли вкатиться без вышки?
Аноним 22/02/21 Пнд 15:32:54 194915637
>>1949112
Нет. Не забывай, что для вката вышка должна быть свежей и топового вуза
Аноним 22/02/21 Пнд 16:11:43 194919238
Аноним 22/02/21 Пнд 18:04:49 194927539
>>1949066
>Лучше после бакалавриата сразу в индустрию?
Если изначально не хочешь работать в индустрии и плевать на деньги, то можешь пойти на ПхД, но в противном случае нужно как можно быстрее устраиваться в индустрию, в идеале после бакалавриата.
Аноним 22/02/21 Пнд 18:35:39 194930640
>>1949192
Ебать, когда он школу то закончит?
Аноним 22/02/21 Пнд 20:36:39 194938841
Какую модель мне использовать, чтобы сделать переводчик письменного текста?
Надо, чтобы я взял условно 2 книги — на первом и втором языке, обучил ими модель (без синтаксического разбора, пусть модель хандлит опечатки и прочее) и получил переводчик.
Надоело гугл-транслейтер использовать.
Аноним 23/02/21 Втр 00:13:46 194948742
26561.jpg 9Кб, 300x312
300x312
>>1949388
>Какую модель мне использовать
Трясун 3000
Аноним 23/02/21 Втр 02:18:56 194955043
>>1949388
Кодирующе-декодирующий трансформер Жопеншмульцера.
Аноним 23/02/21 Втр 14:26:59 194980444
Наверное тут таких не любят, но я попробую. У меня конкретная задача, которую я хочу закрыть и забыть. Почитал десяток статей и так и не понял что мне нужно. Есть изображения, приблизительно 5000х3000, на них хочу детектить объекты, их много, они перекрываются местами, но класс один. Нашёл прогу для разметки - LabelImg. На выходе будут PASCAL VOC/YOLO XML файлы как я понял. Дальше у меня 2 вопроса, какую модель выбрать, изходя из того, что мне , в разумных пределах, не нужна скорость, зато хочу размечать поменьше данных. И надо ли резать мои большие картинки на более мелкие и как?
Аноним 23/02/21 Втр 16:35:03 194994345
>>1949804
Хочешь мангу нейронкой переводить?
Аноним 23/02/21 Втр 17:35:06 194999246
Есть ли жизнь в мл без нейросетей?
Аноним 23/02/21 Втр 17:43:44 195000047
>>1949156
>>1949112
Да, американского. На джуна еще требуют кандидатскую по матеше и опыт работы в Пентагоне
Аноним 23/02/21 Втр 17:44:19 195000148
>>1949992
Есть, но она не модная и против нее копетоглисты
Аноним 23/02/21 Втр 18:13:49 195004349
>>1950000
Вот ты сраказмируешь, но к этому всё и идёт.
Аноним 23/02/21 Втр 18:23:41 195005450
>>1950001
Ну так покажи класс , шизик. Обьеби sota своими ебучими экспертными системами.
Аноним 23/02/21 Втр 18:35:10 195007151
>>1950054
объеби sota в какой области?
sota везде разное.
Аноним 23/02/21 Втр 19:35:33 195012852
>>1950000
Квадрипл хуйни не скажет
Аноним 23/02/21 Втр 19:36:03 195013153
>>1950001
Что такое копетоглист?
Аноним 23/02/21 Втр 20:18:02 195016354
>>1950054
>Обьеби sota своими ебучими экспертными системами
До хуя исследований в области ЭС финансируется? ЭС боятся, поскольку они работают и могут выбросить на мороз многих говноедов.
Аноним 24/02/21 Срд 01:57:58 195035855
>>1950071
Хоть в какой-нибудь.
>>1950163
Покажи рабочий пример для начала.
Аноним 24/02/21 Срд 05:08:42 195038856
>>1949804
>И надо ли резать мои большие картинки на более мелкие и как?
если нарежешь картинок через разметку, то потом просто пройдись по ним трансформом и усе
Аноним 24/02/21 Срд 05:39:02 195039257
Видали, там GAN запилили на трансформерах. Может быть оно будет генерировать нормальные картинки, а не кринжатуру всякую, как обычные ганы.
Аноним 24/02/21 Срд 07:56:23 195039858
>>1949992
Рекомендательные системы, табличные данные, интерпретируемые модели и быстро работающие модели с терпимым качеством.
В остальных областях без нейронок скорее всего поешь говна.
Аноним 24/02/21 Срд 08:00:35 195040059
>ЭС боятся, поскольку они работают
Не работают
Аноним 24/02/21 Срд 08:36:46 195040560
>>1950400
Работают, но не лучше любого другого метода тех лет.
Аноним 24/02/21 Срд 10:05:16 195043461
>>1950398
>В остальных областях
Как жить без генератора всратых котиков?
Аноним 24/02/21 Срд 14:39:45 195056162
>>1950434
Покажи в классификации изображений "классический" метод, сравнимый с нейронками. Желательно чтобы ещё скор на imagenet был.
Или в nlp (в задачах чуть сложнее определения спама).
Аноним 24/02/21 Срд 17:54:56 195072663
Аноним 24/02/21 Срд 17:57:08 195073164
пацаны
работаю прогрером, хочу перекатиться в cv
но не хочу весь день сидеть в жупитере
расскажите плез, цвшники все время тусуют в построении моделей или тоже прогают?
Аноним 24/02/21 Срд 18:09:00 195074465
>>1950731
CVшники больше прогают, чем модели строят. Там все модели давно построены.
Аноним 24/02/21 Срд 18:10:35 195074766
>>1950744
тогда, по идее, лучше топить в алгоритмы, чем в оптимизацию и теорвер?
Аноним 24/02/21 Срд 18:21:29 195076167
>>1950747
Возможно, но я не особо в теме CV.
Аноним 24/02/21 Срд 18:31:55 195077268
>>1950761
бля, братан, а херли тогда советуешь
Аноним 24/02/21 Срд 18:45:39 195078269
Допустим, мне нужно выделить кластеры среди клиентов компании по специфике их потребительского поведения. Метрик по клиентам до сотни и многие из них категориальные.

Мой план:
1. Снизить размерность автокодировщиком до 2\3 переменных
2. Использовать какие-нибудь простые алгоритмы кластеризации и заодно обратить внимание на точки вне кластеров хотелось бы заодно решить вопрос anomaly detection в данных

Чего я не могу понять, так это на что ориентироваться при выборе продолжительности обучения автодировщика для данной цели - в интернетах на всяких towardsdatascience слишком абстрактные статьи, и такие же абстрактные примеры с произвольной архитектурой и количеством эпох (часто, насколько вижу, берется достаточно большое количество эпох).
Имеет ли смысл подходить к этому как обычно делается при обучении с учителем и ориентироваться на потери на тестовых данных или тут это не то?
Аноним 24/02/21 Срд 19:10:04 195081470
>>1950772
>CVшники больше прогают, чем модели строят.
Но это реально так.
Аноним 24/02/21 Срд 22:40:28 195096071
>>1950561
>Или в nlp
Кекус, нейроговно в банальный морфоонализ не может
>классификации изображений
В OpenCV куча реализованных алгоритмов
Аноним 24/02/21 Срд 23:28:00 195098572
>>1950782
>Имеет ли смысл подходить
Имеет смысл сначала "снижать размерность" классикой типа pca и sne.
Аноним 25/02/21 Чтв 01:35:50 195104173
>>1950985
Насколько могу судить РСА менее эффективен в сравнении с автокодировщиком при наличии нелинейных связей в данных, с t-SNE малознаком
Аноним 25/02/21 Чтв 05:30:25 195107074
>>1950960
>Кекус, нейроговно в банальный морфоонализ не может
Как и классические методы.
>В OpenCV куча реализованных алгоритмов
Ты с кем споришь? Кто-то говорил, что дедовских алгоритмов не существует? Найди теперь скор на imagenet с использованием HoG'ов, кнн-ов и svm-ов.
Аноним 25/02/21 Чтв 05:32:15 195107175
https://github.com/openai/DALL-E
Ебало шизика, рассказывающего про рисунки индусов, представили?
Интересно, какие сейчас манёвры будут.
Аноним 25/02/21 Чтв 05:39:10 195107276
>>1951071
Это порезанная версия что ли? Чего так мало весит?
Аноним 25/02/21 Чтв 11:05:30 195116377
>>1951071
Так это ж не вся модель. Алсо, индусы как всегда, индусский код как стиль жизни:
Before running the example notebook, you will need to install the package using

pip install git+https://github.com/openai/DALL-E.git
Прописать в самом блокноте никак нельзя, разумеется.
This can be changed to a GPU, e.g. 'cuda:0'.
dev = torch.device('cpu')
Самим написать cuda:0 вместо cpu никак нельзя, зато целый комментарий - запросто.
>>1951072
> Это порезанная версия что ли? Чего так мало весит?
Оно же загружает сами декодер и энкодер по ссылке с опенаи, код не смотрел штоле:
enc = load_model("https://cdn.openai.com/dall-e/encoder.pkl", dev)
dec = load_model("https://cdn.openai.com/dall-e/decoder.pkl", dev)
Аноним 25/02/21 Чтв 12:56:56 195124078
Сап еврибади. Я - придурок 2 курс, вкатываюсь в deep learning. Вопросы следующие:
Если с вышкой понятно что учить, то как быть с теорвером и матстатом? Область обширная, а что нужно на практике (читай, собеседовании) непонятно. Что читать?
Отсюда второй вопрос. Где получать реальный опыт на реальных задачах? Каггл, фриланс, пэт проекты? Что ещё?
Третий вопрос. Чего хотят от trainee/джуна? Набирают ли конторы мясо вроде меня с целью обучения (Украина), и есть ли в этом смысл вообще?
Тупо пиздячить теорию не вариант, да и непонятно куда двигаться.
Всем мир, атдуши.
Аноним 25/02/21 Чтв 13:37:13 195125979
Аноним 25/02/21 Чтв 13:46:02 195127180
064.gif 170Кб, 326x281
326x281
>>1951071
> Ебало шизика которые не умеет читать
Твоё типа? Вот
Аноним 25/02/21 Чтв 13:49:21 195127581
1.png 114Кб, 701x773
701x773
11.png 67Кб, 256x256
256x256
111.png 47Кб, 256x256
256x256
>>1951071
И что оно делает? Запустил в куколабе, как выяснилось, индусский код не работает, но рабочий вариант в первом issue. Грузит откуда-то пенгвина, пик 1, как-то его обрабатывает(?), пик 2. И это все?
Аноним 25/02/21 Чтв 13:52:52 195128282
1111.png 68Кб, 725x563
725x563
Попробовал менять параметры, оно его по оси крутит и отзеркаливает(?). Хуя они молодцы, я так в пейнте могу...
Аноним 25/02/21 Чтв 14:21:59 195132383
Короче, как я пынямаю, это какая-то вспомогательная часть от DALL-E, которая что-то делает с картинками. И даже это нечто нормально выложить не смогли - недописанный, нерабочий код, никаких пояснений. И эти макаки в опенаи работают, за среднемесячную зарплату равную десятилетнему доходу среднего рабсиянина, пиздец. Какой же испанский кринж...
Аноним 25/02/21 Чтв 14:56:31 195134384
>>1951323
Это пока все на что способно нейроговно
Аноним 25/02/21 Чтв 14:57:45 195134485
>>1951343
Маня, плес... Покажи, на что твои ЭС способны, потом кукарекай
Аноним 25/02/21 Чтв 15:13:02 195135786
аноны, иду через неделю на собес по cv в сберыч
что советуете поддтянуть по линейной алгебре? svq, qr?
Аноним 25/02/21 Чтв 15:34:06 195137987
Аноним 25/02/21 Чтв 18:37:45 195160588
Можно ли с помощью обучения с подкреплением решать комбинаторные задачи? Так же как метаэвристики, например.
Аноним 25/02/21 Чтв 19:04:14 195163389
>>1951344
Финансы, медицина, наука. А вот на что способно нейроговно, кроме переворачивания пингвинов?
Аноним 25/02/21 Чтв 19:09:52 195163690
>>1951633
ты уж меня извини, но нейроговно могет в комп зрение
другим я не занимаюсь, так что не знаю
мимо
Аноним 25/02/21 Чтв 19:18:52 195164391
>>1951636
Что занимает большую часть времени в твоей работе?
Аноним 25/02/21 Чтв 19:20:17 195164592
>>1951636
>могет в комп зрение
Не могет
Аноним 25/02/21 Чтв 19:56:31 195167693
>>1951643
Чтение двачей и загрузка картинок в Orange
Аноним 25/02/21 Чтв 20:08:47 195168494
>>1951633
>Финансы, медицина, наука.
Хоть один рабочий пример покажи.
Аноним 25/02/21 Чтв 20:22:07 195169095
Аноним 25/02/21 Чтв 21:26:14 195173796
015.png 132Кб, 600x452
600x452
>>1951344
> не нейроговно значит ЭС!!
Аноним 25/02/21 Чтв 21:26:19 195173897
Аноним 25/02/21 Чтв 21:26:55 195173998
Аноним 25/02/21 Чтв 23:11:37 195179799
аноны, не пиздите палками плез
работал 3 года в конторе питонистом бэкенда + для них же делал небольшой mvp по распознаванию облаков точек
матан на том или ином уровне паршивости знаю
сейчас наша контора к хуям развалилась из-за ебанутого СЕО и ищу работу - есть на пару месяцев запал и деньги, чтобы сменить профессию
хочу вкатиться в комп зрение
Вопрос:
1) есть ли смысл тратить время на fast.ai и подобные курсы или же лучше взять один пет проект и на его базе учить что-то?
2) на собесах насколько сильно дрочат по матану? Я в работе юзал только линейную алгебру - теорвр и прочее забыл довольно давно
Двач не раз выручал меня, надеюсь, что вы, ребята, еще разок подскажите) а то я немного в прострации - думаю стоит ли или нет, ато жалко будет время потраченного
Аноним 25/02/21 Чтв 23:31:21 1951805100
>>1951797
>хочу вкатиться в комп зрение
>пару месяцев
Можешь даже не начинать.

Аноним 25/02/21 Чтв 23:43:08 1951808101
>>1951797
не слушай ебаклака >>1951805- это типикал токсик
имхо - лучше проект. Конечно надо разобраться в общем как работают нейросетки в задачах и сегментации и классификации
но все это можно покрыть чтением + работой на парой проектов
и да, очередной раз убеждаюсь, что двач и близко сравниться с одс не может
такое ощущение, что тут одни обиженки сидят
Аноним 25/02/21 Чтв 23:43:58 1951810102
>>1951808
> НАД парой проектов
> сравнится
поправил себя
Аноним 25/02/21 Чтв 23:44:18 1951811103
>>1951810
бля я еблан, там не нужен мягкий знак
Аноним 25/02/21 Чтв 23:48:33 1951812104
15960264102200.jpg 67Кб, 592x532
592x532
Аноним 25/02/21 Чтв 23:49:04 1951813105
>>1951812
лол) дедуль, тригерят забугорные слова?)
Аноним 25/02/21 Чтв 23:59:32 1951824106
>>1951738
А где их скачать-то? А то пишет, что когда-то разрабатывалось да и всё. Оно что, на магнитных лентах у дедов? Из современных слышал только об акинаторе как экспертной системе.
Аноним 26/02/21 Птн 00:10:26 1951839107
>>1951824
>А где их скачать-то?
Ты у мамки глупенький? Читай историю про MYCIN, там так пердаки у докторов разорвало, что они всячески торпедировали проект. Никто не позволит развивать работоспособные вещи, вся суть копетоглизма.
Аноним 26/02/21 Птн 00:11:35 1951841108
>>1951839
> Никто не позволит развивать работоспособные вещи
> вся суть копетоглизма
правильно ли я понимаю, что вся суть копетализма - делать неработающие вещи?
Аноним 26/02/21 Птн 00:17:27 1951844109
>>1951841
>что вся суть копетализма - делать неработающие вещи
Вся суть копетоглизма - давить все, что может лишить прибыли.
Аноним 26/02/21 Птн 00:21:28 1951847110
>>1951844
бля чел
работающие вещи генерируют прибыль, а не работающие - наоборот
так что вот это говно либо не работало, либо никому нужно не было
Аноним 26/02/21 Птн 00:25:37 1951852111
Аноним 26/02/21 Птн 00:26:34 1951854112
>>1951852
да они все тут только о копетализме рассуждают
и что лучше: нейронки или мл
хочешь норм советов - иди в одс
Аноним 26/02/21 Птн 00:53:00 1951867113
>>1951847
>работающие вещи генерируют прибыль
Ну смотри, помнишь был в пендосии чел который написал штуку, которая составляла типовые судебные обращения? Так вот, у гильдии юристов бомбанули пердаки, поскольку они могли оказаться без денег и они начали таскать чела по судам. Все. Так же было и с докторами и с любым кого ты попытаешься оторвать от корыта с хрючивом.
Аноним 26/02/21 Птн 00:58:09 1951869114
>>1951867
давай ссылку
твоя сторона уж слишком радикально звучит
там сто проц не так, что плохие юристы и добрый прогер
Аноним 26/02/21 Птн 01:10:38 1951877115
Аноним 26/02/21 Птн 01:41:20 1951886116
>>1951847
>работающие вещи генерируют прибыль
Тем кто ими владеет, а не тем кто оказывается на помойке в результате их работы.
Аноним 26/02/21 Птн 02:00:36 1951898117
Аноним 26/02/21 Птн 05:13:37 1951922118
>>1951877
Ты статью читал, шизло? Автор гребёт бабло лопатой. Праклятый срапетаглизм, ух, как угнетают честного программиста!
> In 2019, Browder obtained $4.6 million in funding from Silicon Valley investors such as Andreessen Horowitz and Founders Fund, who were early funders of Facebook.[33]
Алсо, проект его живёт и процветает
> It is currently available in the United Kingdom and United States (all 50 states).[2]
Аноним 26/02/21 Птн 05:55:32 1951924119
Кто-нибудь ЛАМУ сберовскую пробовал в деле? Я на игрушечной дате опробовал только, как то так
Аноним 26/02/21 Птн 08:17:56 1951943120
Привет, пацаны. Есть идея для одного аналитического проекта, предлагаю обоссать всей бордой. У нас фирма делает жижу для парилок и табаки для кальяна. В принципе, суть проста – есть безвкусная основа, есть аромы в разных пропорциях. Появилась идея натренить модельку на веса каждого из ароматизаторов (их может быть до 100 шт, поэтому придется разбивать на группы), после чего нагенерить дохуя рандомных сочетаний компонентов и создать «ПЕРВУЮ В ИСТОРИИ ПОДЛИВУ СОЗДАННУЮ ИИ». Насколько эта херь жизнеспособна?
Сам околовкатун уже почти год, могу в фитпредикт большей части моделек с пониманием принципа их работы, панды, нампи, немного R и прочую вот эту всю хуйню уровня джуна. Но не могу в нейросети – CV и NLP мне не интересны, остальное выебоны
Аноним 26/02/21 Птн 09:15:13 1951956121
>>1951839
>всратый акинатор
>работоспособные вещи
Аноним 26/02/21 Птн 14:27:26 1952275122
>>1951943
>Насколько эта херь жизнеспособна?
Очень даже может и взлететь, главное красиво подать.
Аноним 26/02/21 Птн 14:56:34 1952314123
>>1952275
Подадим красиво, тут скорее вопрос в технической стороне вопроса
Аноним 26/02/21 Птн 15:35:28 1952363124
>>1951943
Что ты хочешь генерировать? Какие входные данные, какие целевые? Зачем - просто ради рекламы?
Аноним 26/02/21 Птн 16:19:46 1952411125
>>1952314
Рендомом проийдись, да и все
Аноним 26/02/21 Птн 18:14:47 1952529126
>>1951943
Ну пиздец. И чем ты там все это время занимался?
Целевую функцию придется выдумать.
Далее нейросеть найдет неочевидные ароматы, которые почемуто еще никто не смешал.
У вас отзывы есть?
Хотя бы в текстовом виде.
Обьем продаж? Популярность смесей на других сайтах? Общемировой каталог смесей?
Аноним 27/02/21 Суб 01:57:25 1952837127
Почему помимо свёрток в свёрточных сетях нужны пулинги?
Аноним 27/02/21 Суб 14:53:45 1953093128
>>1952529
Есть данные по продажам, всего около 140 объектов

>И чем ты там все это время занимался?
Маркетологом работал
Аноним 27/02/21 Суб 19:26:47 1953311129
>>1953093
Ну и напиши фитпредикт теперь.
Написал? Что получилось?

От зумеров местных не дождешься понимания бизнеса.


Аноним 27/02/21 Суб 23:59:32 1953491130
>>1952837
Объем модели уменьшается при сравнимых результатах
Аноним 28/02/21 Вск 12:51:07 1953718131
Сап. Какой минимум может понадобиться для того чтоб пройти на стажировку в компьютер вижн / мл? Насколько глубоко надо знать методы мл, opencv?
Аноним 28/02/21 Вск 13:21:19 1953749132
>>1953718
>мл, opencv
>компьютер вижн / мл
Чет кекнул, ты ящик трясти собрался, там на изичах вкат
Аноним 28/02/21 Вск 14:28:40 1953789133
Такая ситуация: на своем датасете обучил модель для классификации объектов (pytorch). Точность пока что меня устраивает ~80%. Но когда я загружаю модель для распознавания со своей камеры model.load_state_dict(), то выскакивает ошибка (даю лист, а нужно тензор, хотя в print() видно, что это тензор).
Решил загрузить модель fasterrcnn_resnet50_fpn, ошибок уже нет, но она выдает предикты очень странными (показывает, что вейп - кружка, я - кресло, иногда я - это я) и соответственно боксы вокруг объектов для отображения вообще показывают случайные вещи.
Вопросы: 1. Могу ли я все таки свою модель для классификации использовать уже для распознавания (что почитать, желательно с примерами)?
2. В моем классификаторе 4 слоя, в fasterrcnn_resnet50_fpn их очень много (сбился со счета когда считал). Полагаю, что из-за того, что много параметров в модели, у меня один кадр обрабатывается секунд пять (пока использовал только cpu, cuda не хочет видеть почему-то, но разберусь с этим потом). Можно ли обучить свою модель для детекции объектов, но чтобы она не была такая "тяжелая", какое минимальное количество параметров надо для детекции около 5 классов?
3. Лучше использовать готовую обученную модель или все таки пытаться сделать свою для детекции? Для начала мне нужно определять людей на изображении и еще 4-5 объектов (типа машина и т.д.).

В дальнейшем найденные объекты будут уже классифицироваться.
Аноним 28/02/21 Вск 16:24:15 1953859134
Аноны, я слыхал, сейчас подвижки случились в генерации речи, это правда? Где почитать?
Аноним 28/02/21 Вск 21:55:00 1954100135
Нужны ли эти перехайпаные стенфорды или можно сразу вкатываться по контенту из секции "Что почитать?".
Аноним 28/02/21 Вск 23:40:44 1954184136
orange3logo.png 169Кб, 543x543
543x543
>>1953789
>В моем классификаторе 4 слоя, в fasterrcnn_resnet50_fpn их очень много (сбился со счета когда считал)
>задает вопросы почему хреновое качество.
Аноним 01/03/21 Пнд 00:12:54 1954213137
>>1954184
читай внимательней.
Для простого рабочего классификатора 4-х слоев достаточно.
fasterrcnn_resnet50_fpn - обученная модель для задачи распознавания.
Вопрос состоит вообще в другом. Да и количество слоев - не показатель хорошего результата.
Аноним 01/03/21 Пнд 09:38:26 1954367138
>>1953718
>>1954100
Сначала поищите вакансии в своем городе. Есть ли они вообще. Если есть, то читайте что требуется в них. И уже на основе этого стоит что-то учить.
Аноним 01/03/21 Пнд 09:40:58 1954370139
Аноним 01/03/21 Пнд 10:25:40 1954390140
>>1954367
Да мне похуй на вакансии. Мне в целом тема интересна. Я хочу её для трейдинга заюзать + свои стартапы проекты.
Аноним 01/03/21 Пнд 10:33:39 1954398141
>>1954390
>Я хочу её для трейдинга заюзать
В одиночку ничего не сделаешь.
Аноним 01/03/21 Пнд 10:35:11 1954399142
>>1954398
А, ну раз ты так сказал...
Аноним 01/03/21 Пнд 10:39:22 1954403143
>>1954399
>пук среньк
Мамкин автотрейдер.
Аноним 01/03/21 Пнд 13:17:49 1954531144
image.png 1625Кб, 1235x695
1235x695
>>1954390
>ML
>для трейдинга заюзать
>свои проекты
Аноним 01/03/21 Пнд 13:30:51 1954568145
>>1954531
А тут вообще есть люди умеющие свои мысли выражать или тупо натрененные на оффтоп нейронки?
Аноним 01/03/21 Пнд 14:03:03 1954629146
stonks-template.png 525Кб, 825x619
825x619
Аноним 01/03/21 Пнд 14:05:16 1954631147
>>1954568
>ML
>для трейдинга заюзать
>мысли
Аноним 01/03/21 Пнд 15:53:40 1954710148
Screenshot2021-[...].jpg 2387Кб, 1080x2340
1080x2340
Screenshot2021-[...].jpg 2600Кб, 1080x2340
1080x2340
>>1954568
А тут есть ДЛЯ КОГО их выражать?
Читай пикрелейтедб. Аттракцион невиданной щедрости только сегодня
Аноним 01/03/21 Пнд 16:13:06 1954736149
Спалю годноту быдлу, на либгене выложили книжку "getting started with google bert", на гитхабе есть код к ней. Возможно, первая полноценная книга на тему трансформеров с матчастью и примерами использования. D2l все же не только и не столько про трансформеры.
Аноним 01/03/21 Пнд 16:19:38 1954744150
>>1954736
>с матчастью
Вот это реально годнота.
Аноним 01/03/21 Пнд 16:41:49 1954775151
>>1954213
А в чем? Ну загрузи ты эту YOLO.
Аноним 01/03/21 Пнд 17:50:33 1954846152
16114818689840.jpg 480Кб, 2560x1920
2560x1920
двощ помоги решить задачу

есть 2 шкафа, с вероятностью 1/2 в первом шкафу есть пальто и с вероятность 1/2 во втором шкафу тоже есть пальто. (это не одно и тоже пальто, просто факт наличия какого-то пальто)
Вот подхожу я к шкафам и гардеробщик говорит, что в первом шкафу пальто нет, какова вероятность, что во втором шкафу его тоже нет?
с одной стороны логика подсказывает, что события независимы и вероятность для второго шкафа по-прежнему равна 1/2, но я наверняка знаю, что этот ответ неверный. Очевидного способа прикрутить сюда Байеса я не вижу, но как-то скорректировать ожидание вероятности после эксперимента надо.
Аноним 01/03/21 Пнд 17:58:40 1954851153
>>1954846
>но я наверняка знаю, что этот ответ неверный.
затравили на собеседовании? Так это за гнилые зубы, а не из-за задачи
Аноним 01/03/21 Пнд 18:45:03 1954881154
>>1954184
нихуя мой апельсин у анонов в оборот вошел
Аноним 01/03/21 Пнд 19:40:27 1954925155
>>1954744
Да какая там матчасть: матричных умножений нахуярили параллельных, обозвали "кёрнелом" это всё для отдельных вапникошизов, вот и вся матчасть.
Аноним 01/03/21 Пнд 19:52:41 1954933156
>>1954736
А про биониклов там нету? Может хотя бы в к рации что за трансформеры и нахуй они нужны?
вкатыш 2 недели
Аноним 01/03/21 Пнд 20:30:02 1954968157
>>1954925
>матричных умножений нахуярили параллельных, обозвали "кёрнелом"
Какая же продвинутая матчасть в трансформерах, пиздец просто!
Аноним 01/03/21 Пнд 20:43:40 1954974158
>>1954968
Единственный значимый критерий оценки матчасти - качество работы. В остальном чем проще тем лучше. А по качеству трансформеры уделывают всё остальное из того что сейчас существует, это медицинский факт. Аттеншен точнее пулинга в свертках. И нет, твои петушиные ЭС не лучше трансформеров.
Аноним 01/03/21 Пнд 20:58:59 1954981159
>>1954974
>Единственный значимый критерий оценки матчасти - качество работы.
Для датамакак - да, для тех кто хочет разобраться как это работает - нет.
Аноним 01/03/21 Пнд 21:07:07 1954988160
>>1954981
> как это работает
Хорошо работает.
Аноним 01/03/21 Пнд 21:07:10 1954989161
>>1954981
>разобраться как это работает
Но зачем? Пока разберешься - оно уже устареет.
Аноним 01/03/21 Пнд 21:28:02 1955013162
>>1954974
>И нет, твои петушиные ЭС не лучше трансформеров.
Это не я.
Аноним 02/03/21 Втр 11:24:40 1955272163
Так и не понял, что нужно делать с текстом, чтобы подать его на вход трансформеров для файнтюнинга, например. Здесь https://huggingface.co/transformers/preprocessing.html написана бесполезная хуйня, не имеющая ничего общего к входному формату моделей. В разных примерах разные индусы пишут разные хелперные функции, которые как-то преобразовывают неведомые скачанные датасеты в неведомых форматах в формат, пригодный для подачи на вход. Что и зачем делается, нигде не поясняется, равно и как сделать так же со своим текстом. Готовых хелперных функций для этого нет. Зачем все настолько через жопу, и где можно подробно про это почитать?
Аноним 02/03/21 Втр 11:38:53 1955280164
Аноним 02/03/21 Втр 11:51:21 1955289165
>>1954974
>нет, твои петушиные ЭС не лучше трансформеров.
Лучше
Аноним 02/03/21 Втр 13:22:04 1955373166
Пацаны, расскажите как можно работать с координатами? Мне блять выдали задачу регрессии с координатами по х, у и таргетом блять. Все. Умнее итерполяции ниче не придумал. Выручайте я абизьяна
Аноним 02/03/21 Втр 14:10:37 1955410167
Аноны, я не вкатыш, просто питон разработчик, возникла идея создать вроде простую нс, суть сводится к отгадыванию вектора видимо, проще представить цвета, твой любимый цвет загадал, нейронка опрашивает тебя нравится ли тебе такой цвет, а такой? По итогу видимо на вход есть, например, 10 ответов да/нет, на выходе 3 - rgb, так же не совсем понимаю как потом под человека ее донастраивать, корректировать от последующих вопрос типа это твой цвет? Подскажите, есть ли готовые решения, найти не смог, какую нс можно использовать, наиболее релевантную, прав ли я на счет входов и выходов, правильно понимаю, что для тренировки нс можно написать алгоритм, который сам генерит ответы на первые 10 вопросов, например есть цвет красный, вопрос красный да/нет, то он просто берет и численно высчитывает ответ, отправляет в нейронку и если по итогу нс говорит цвет красный, то это ей засчитывается, так будет работать? Дайте критику моего понимания, хочу просто сделать прототип не сильно углубляясь в математику, вроде не сложно, скажите чего я не понимаю(о нс только по паре статей знаю с хабра), подавать вместо да/нат на вход можно векторы цветов, это лучше?
Аноним 02/03/21 Втр 15:15:50 1955473168
Аноним 02/03/21 Втр 15:38:45 1955491169
Аноним 02/03/21 Втр 16:15:11 1955508170
>>1955473
ну ето я уже пробовал че ты уж меня прям за дебила держишь. я думал мб че-нибудь хитровыебанное какие-то преобразования матрицы хуе мое
Аноним 02/03/21 Втр 16:56:35 1955537171
>>1955508 а за кого тебя еще держать? дали простую задачу, но ты ее пытаешься усложнить.
Аноним 02/03/21 Втр 16:57:38 1955539172
>>1955508
какие вообще там данные? "пятна" ?
Аноним 02/03/21 Втр 17:53:24 1955595173
image.png 86Кб, 365x247
365x247
Аноним 02/03/21 Втр 19:36:48 1955686174
>>1955595
Тогда тоже knn regressor.

Но если это тестовое задание, тебе бы следовало бы проявить себя аналитиком и запросить у них что же это за данные. Понять их природу. Понять допустимо ли использовать knn regressor.

Ты не на мотематике.
Упрощения тут не работают и правильного ответа может не быть.


Можешь, конечно, дипзумеров с матрицами подождать . Может они меня удивят.
Аноним 02/03/21 Втр 19:39:17 1955687175
>>1955686
Вообще это студенческая олимпиада по машобу))
Аноним 02/03/21 Втр 20:02:20 1955702176
Поясните, как реализовать окно в трансформере.
Вот есть батч из n строк длиной l. Получаем мы из него матрицу коэффициентов внимания размерами n x l x l.
Если l большое, то это дохуя по памяти, на карточку не влезет. Хочу ограничить внимание окном размером w. Как это сделать, чтобы сэкономить память? В конкретных фреймворках желательно. В керасе уже есть слой attention, но он именно что делает матрицу n x l x l.
Аноним 02/03/21 Втр 23:05:50 1955856177
>>1955687
И KDE (это не про аниме)
Аноним 03/03/21 Срд 02:58:36 1955927178
>>1955491
В общем да, действительно классификатор нужен, на хабре человечик написал что эта нс нужна скорее для знакомства и что ее не применяют на практике, есть что-то более правильное но в том же русле?
Аноним 03/03/21 Срд 05:30:28 1955946179
>>1955927
>на хабре
>ололо я моргнул светодиодом
Большей помойки чем швабр не нашел?
Аноним 03/03/21 Срд 06:57:33 1955953180
Читаю getting started with google bert, и сразу какая-то хуйня написана, стр 11-12. Вектор эмбеддинга слова размерностью 512 умножается на вектор матрицы весов Wk, Wq и Wv, каждый размерностью 64. И как это возможно вообще? Бред же.
Аноним 03/03/21 Срд 10:14:22 1955978181
Повторю пост из прошлого треда(не знал что перекат был)
Аноны, подскажите пожалуйста, без лишней желчи.
Сейчас стоит выбор во что вкатываться: .Net(C#) или же ML.
Нравится имеено писать код, но и матешу не хотелось бы забрасывать.
Следовательно вопрос: пишет ли код ML engineer или занимается тупым перебором табличек и подгадыванием коэфициентов?
Во что перспективнее вкатываться?
Аноним 03/03/21 Срд 10:55:54 1956039182
>>1955927
1.Это не НС, а Настоящий Датасаенс.
2. Давай ссылку на свой сраный Хабр. Наверное побольше подробностей и смысла там описал.
Все еще не ясна твоя идея
Аноним 03/03/21 Срд 11:20:38 1956075183
>>1956039
> Настоящий Датасаенс
Кекнул и орнул
Аноним 03/03/21 Срд 12:05:47 1956125184
Может тут есть анон который с биомед. cv сектором работает? Пожалуйста отзовись, расскажи о специфике, тяжело ли искать работу и.... авось о проектах, была не была
Аноним 03/03/21 Срд 15:47:51 1956412185
>>1956125
Смотря ещё какая сфера биомеда. Но в большинстве случаев тебе всё равно профильное ВО потребуется если ты конечно не тупо код дрочить хочешь (хотя и там скорее всего как минимум птушка понадобится).
Аноним 03/03/21 Срд 18:18:01 1956637186
привет, у меня довольно странный вопрос, нубский довольно, но: в чем разница между нейронкой с одним выходом с сигмойдой И нейронкой с софтмаксом но двумя выходами?
По сути результат у них один - они возвращают вероятности для двух классов, но что творится с кросс-энтроп. лоссом?
1) В первом случае у нас к примеру выход 0.6, лэйбл 1, лосс -log(0.6)
2) В втором случае у нас выход [0.6, 0.4], лэйбл [1, 0], лосс -(log(0.6) + log(0.6))
У них разные значения лосса, а значит в плане обучения и расп. градиента они разные?
Аноним 03/03/21 Срд 19:02:19 1956705187
>>1955946
Так я сам не моргну и мне это не нужно
Аноним 03/03/21 Срд 19:11:01 1956716188
>>1956039
Говорю же я даже определений не знаю, меня прототип просто любой интересует скорее, https://m.habr.com/ru/post/149693/ если реально нужно, а смысл этого алгоритма такой: на входе последовательность 0 и 1, на выходе 3 цифры - вектор(для примера с любимым цветом будет 3 байта), задача отнести к определенному классу человека по его ответам да/нет(1/0), хз стало ли понятней, хотя бы я могу теперь сформулировать задачу
Аноним 03/03/21 Срд 19:34:38 1956729189
>>1956716
это не смысл а твой пересказ смысла как будто ты формулируешь теорему на матеше.
но, блядь, датасаенс это поиск смысла в данных! и они все нужны.
Аноним 03/03/21 Срд 20:13:03 1956756190
Аноним 03/03/21 Срд 21:46:23 1956815191
Аноним 03/03/21 Срд 22:14:56 1956833192
>>1954846
Блядб ересь какая-то.
Я понимаю там прикол Монти-Холла, но здесь то реально вроде ничего не меняется от того, что гардеробщик что-то там спизданул.
Условие точно верное?
Аноним 03/03/21 Срд 22:19:43 1956835193
>>1956833
Я уже сомневаюсь, если честно, но вроде верные
Если даже я немного напутал, то я все равно не вижу в каком случае эту задачу можно было бы решить
Аноним 03/03/21 Срд 22:24:35 1956839194
Я пошёл дрочить хуй
Аноним 03/03/21 Срд 22:53:11 1956854195
>>1956835
>>1954846
Гардеробщик мог бы сказать что как минимум в одном из шкафов пальто нет, тогда ответ 1/3.
Аноним 03/03/21 Срд 23:00:11 1956867196
>>1956854
думаю ты прав, похоже я действительно проебался и на самом деле гардеробщик сказал, что в одном из шкафов пальто нет ( а не "в первом шкафу пальто нет")
Аноним 03/03/21 Срд 23:39:56 1956894197
15938147947220.jpg 59Кб, 500x500
500x500
>>1947549 (OP)
Есть тут специалисты по GAN'ам?
Нужно ли в Conditional GAN'е смешивать реальные и генерированные метки класса по аналогии с метками реальное изображение/сгенерированное?
Аноним 04/03/21 Чтв 00:50:36 1956920198
0,5/0,5*0,5
Аноним 04/03/21 Чтв 07:24:15 1956986199
161479857224267[...].webm 257Кб, 480x480, 00:00:12
480x480
Аноним 04/03/21 Чтв 08:25:58 1956998200
>>1956637
Разницы нет. Второй лосс у тебя неправильный, нужно -(log(0.6) x 1 + log(0.4) x 0) = -log(0.6), точно такой же.
Аноним 04/03/21 Чтв 09:24:36 1957011201
Аноним 04/03/21 Чтв 14:33:22 1957203202
>>1956729
Данные это классы цветов, 10 оттенков красного и т.д, каждого цвета, какие еще нужны сведенья, чтобы понять, я не совсем понимаю, говорю же дурачек я
Аноним 04/03/21 Чтв 14:35:37 1957204203
>>1956756
Я пытался читать про som, раз вновь советуют видимо подойдет, но для меня сложноватое было описание, словно som берет данные для класса и подгоняет точки под них, а у меня классы уже сформулированны, а точка одна только, ладно, буду читать еще
Аноним 04/03/21 Чтв 17:32:56 1957398204
Сап аноны, платиновый вопрос: чо поичтать по нейронным сетям/глубокому обучению? На русском.

Сначала хотел Гудфелоу почитать, но чот на амазоне в отзывах его книгу хуесосят.
Что есть рили нормальное?
На амазоне в топе Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems
Рили годно или тож не оч?
Аноним 04/03/21 Чтв 18:05:11 1957429205
Аноним 05/03/21 Птн 00:00:28 1957795206
бульон.jpg 29Кб, 695x294
695x294
>>1957203
да ты заманал. опять циферки .

в чем бизнес-то?
в чем польза?
Аноним 05/03/21 Птн 00:27:29 1957805207
>>1957398
>На русском
Это очень хуевая идея. Для машоба, как и программирования в целом, нужно обязательно знать английский. Без него ты даже в документации к библиотеке не разберешься.
Аноним 05/03/21 Птн 02:31:55 1957851208
Аноним 05/03/21 Птн 02:55:17 1957859209
>>1957851
>джун 60-150
>миддл 150-300
>сеньор 300-600
Не напиздел только про нижний порог джуна.
Аноним 05/03/21 Птн 03:51:38 1957861210
Аноним 05/03/21 Птн 04:05:04 1957862211
>>1957861
Джун 60-100, миддл 100-150, сеньор 150-250. Это для ДС.
Аноним 05/03/21 Птн 05:29:28 1957874212
16131874072170.jpg 484Кб, 1497x1119
1497x1119
Почему сойбои называют zero-shot learning'ом обычный предикт? Ну то есть, берём дедовский перцептрон, обучаем его на датасете из двух классов. Затем подаём на вход свой пример, которого не было в датасете, перцептрон его относит к одному из классов. Получаем что? Zero-shot learning.
Аноним 05/03/21 Птн 06:48:56 1957880213
>>1957874
Просто звучит как что-то новое. Стильно модно молодёжно. Выёбисто. По-умному. По-сойбойски.
Аноним 05/03/21 Птн 12:55:39 1958034214
Поясните что спрашивают у джунов на ML engineer? Ну допустим прогеров спрашивают по особенностям языка/фреймворка и это аналгично теории/концептам машоб для дата сайентистов. Но что аналгично задачкам по кодингу (для которых ты не должен знать все библиотеки/функции)?
Аноним 05/03/21 Птн 13:18:27 1958050215
Аноним 05/03/21 Птн 13:45:22 1958072216
>>1958050
Ну каггл, все в курсе про него. Намек на то что я должен выигрывать соревнования? Я еще слышал джун должен иметь PhD из Стэнфорда. Да и то это только на 20тыс руб в месяц потянет для начала.
Аноним 05/03/21 Птн 13:52:34 1958076217
>>1958072
>PhD из Стэнфорда
Профессор философии из ПТУ
Аноним 05/03/21 Птн 15:11:26 1958186218
>>1958072
>Я еще слышал джун должен иметь PhD из Стэнфорда.
Да уж пиздец. На двачах тебя еще и не так затроллят.
Аноним 05/03/21 Птн 15:39:35 1958241219
>>1958076
Ну как бы бывают очень сильные лабы в Американских/Германских мухосрансках. Так что нечего смеяться.
Аноним 05/03/21 Птн 15:41:33 1958245220
>>1958186
Стэнфорд оверрейтед, какой-нибудь ИТМО уложит на лопатки по уровню студентов.
Аноним 05/03/21 Птн 15:53:54 1958279221
>>1957874
>подаём на вход свой пример, которого не было в датасете
Обычно имеется ввиду что и похожих не было.
Например ты обучаешь мультиклассовый классификатор животных, но почему-то в трейне у тебя только кошки и собаки. Потом ты подаёшь на вход ящерку и с удивлением обнаруживаешь что тоже работает хотя на ящерок ты не учил. Это zero shot. Если прям совсем без ящерок не работает но достаточно добавить пару и заработает то это few-shot.
Аноним 05/03/21 Птн 16:38:41 1958348222
79cf57b367abbf3[...].gif 1389Кб, 600x386
600x386
>>1958279
Если для nlp, то судя по примеру с transformers, zero-shot классификация это правильный выбор тега для поданной на вход фразы. Типа фраза "за кого вы голосовали?" относится к политике. Что больше напоминает именно predict, чем какой-то прямо суперхайтек. Просто у таких нейроночек датасеты, на которых обучен претрейн на многие порядки больше и разнообразнее, чем в дедовском машобе, поэтому и предикт работает поинтереснее. Одно дело ирисы Фишера, а другое какой-нибудь 40-гиговый корпус commoncrawl.
Аноним 05/03/21 Птн 19:37:03 1958526223
>>1958245
> Стэнфорд оверрейтед, какой-нибудь ИТМО уложит на лопатки по уровню студентов.
Толсто
Аноним 05/03/21 Птн 21:47:15 1958638224
16145529600191.jpg 235Кб, 918x1224
918x1224
>>1947549 (OP)
Ну что пупсики, на дворе март 2021 года, где мой сильный ии, где чатботы могущие в осмысленный диалог?
Аноним 05/03/21 Птн 21:49:01 1958640225
>>1958638
>на дворе март 2021 года
Самое время откатываться на дедовские методы - видеокарт для диплернинга все равно нет.
Аноним 05/03/21 Птн 21:52:53 1958643226
>>1958640
>видеокарт для диплернинга
Майнеры задавили своими тухесами ии? Профессора философии перестали высирать свои говнопеперы?
Аноним 06/03/21 Суб 07:54:37 1958832227
>>1958279
Оно в принципе работать не может, если в обучающей выборке вообще ничего похожего не было. Zero-shot - это когда обучил классификатор на кошках и собаках, а потом подсунул собаку другой породы, которой в выборке не было, и её правильно классифицирует, а не когда классификатору кошек и собак подсунули ящерицу.
Аноним 06/03/21 Суб 08:41:45 1958837228
08.png 94Кб, 988x561
988x561
coqa.png 71Кб, 1050x640
1050x640
piqa.png 67Кб, 1050x640
1050x640
>>1958832
Как я понимаю, суть явления в том, что при таких объемах обучающего датасета и параметров самой нейроночки, она "знает" настолько дохуя, что достаточно показать несколько примеров того, что конкретно от нее требуется, а дальше она сможет в подобное же по аналогии. Уже сейчас есть модель с 1.6 триллионов параметров, следующие будут с десятками и сотнями триллионов и обученные на терабайтных и петабайтных корпусах. Понятно, что у них с этим делом все будет ещё лучше.
Аноним 06/03/21 Суб 15:08:26 1959017229
>>1958832
>Оно в принципе работать не может
И тем не менее работает
Аноним 06/03/21 Суб 16:01:16 1959046230
Аноним 06/03/21 Суб 17:41:39 1959177231
Аноним 06/03/21 Суб 18:00:29 1959197232
>>1959046
Ух бля сколько пиздолизов в комментах.

>Тебе нужно отрекламится у топ блогеров IT и добавить рубрику IT новости. Канал к концу года на соточку можно будет вытащить. У тебя все задатки есть хорошая съемка видео внешность грамотная речь и интеллект самое главное
>внешность

>Я, кажется, только теперь понял, зачем все преподаватели обязательно должны быть страшными, немытыми, небритыми обезьянами в грязных свитерах с недельным перегаром, и, желательно, мужского пола)
>В противном случае, материал будет усваиваться крайне плохо, внимание концентрации будет идти не туда)

>@miracl6 Тоже в голову, но..как бы в другую. Которая не совсем умеет думать) Хотя.. в моей , судя по всему, начал даже мозг появляться после твоих видео- она даже комменты научилась писать, но до датасаенса ей долековато еще).

>Я уже четвертый раз пытаюсь пересматривать и не вкуриваю о чем идет речь. У меня в голове лишь "ай, какая хорошая девочка, ай какая умница, буси-буси-буси" )

>Красивая девочка ❤️

>Когда я вижу Настю, то у меня отключается мозг и я начинаю неудержимо писать всякую фигню. Мозга и так нет, так он еще и отключается) . А если в реале увижу -то вообще и спинной мозг отлючится. Как лечить этот недуг? Кто знает?

> @miracl6 А что еще? Ну скажи, я не обижаюсь. Анонимный ютубный комментатор не склонен обижаться априори. Может...сптоксикозник? Ну нет, этот недуг характерен для подростков, а я взрослый дядя).. Что еще?

>Глядя на заставку, мне кажется , что более светлый цвет волос придает Анастасии немного мягкости и она ощущается уже не такой злостной, агрессивной и строгой тетей. Посмотрим , как будет в эфире.

>Я всегда восхищался Настиной милотой. Она мне нравится любая - даже ненакрашенная.) А делать комплименты - это залог мужчин без заниженной самооценки. Кстати, ты тоже красива и умница. Я уже писал. Единственно у меня занижена самооценка в вопросе уровня моего датасаенса.

>Но это все мелочи. Я уверен, что если бы ты совсем не красилась - мое бы впечатление не поменялось.
>Мне нравится сама твоя монера говорить, голос, твои горящие глаки. Даже твоя серьезность.Ты такая серьезница. Этот огонек, что от тебя исходит зажигает меня - и мне это нравится. Это пробуждает во мне маньячинку, а свою маниакальность я умею сублимировать в нужное русло.
Аноним 06/03/21 Суб 19:17:24 1959262233
>>1959197
Пиздец, у вас там в нейроговне уже цыганки заруливают, тьфу
Аноним 06/03/21 Суб 21:30:48 1959359234
>>1959046
>меня зовут Анастасия, сейчас занимаю позицию Senior Data Scientist.
Аноним 06/03/21 Суб 21:35:29 1959361235
>>1959262
В прошлом треде говорили, что она хохлушка, теперь говорят, что она цыганка, охуеть.
В следующем треде надо её назвать болгарочкой.
Аноним 06/03/21 Суб 21:47:12 1959365236
150581920829706[...].jpg 77Кб, 950x673
950x673
>>1959361
> В прошлом треде говорили, что она хохлушка, теперь говорят, что она цыганка, охуеть.
Аноним 06/03/21 Суб 21:55:52 1959367237
>>1947549 (OP)
В дотасаенсе вообще есть работа где-нибудь кроме Москвы и Питера?
Аноним 06/03/21 Суб 22:16:06 1959375238
>>1959365
Хохлы - тюрки, а не цыгане.
Аноним 06/03/21 Суб 22:20:16 1959376239
16133128676680.jpg 47Кб, 360x570
360x570
>>1959046
>20-летняя шлюха
>Senior Data Scientist
Аноним 06/03/21 Суб 22:23:14 1959379240
>>1959376
Красивые тянучки умеют карьеру делать.
Аноним 06/03/21 Суб 22:23:55 1959380241
>>1959375
>Хохлы - тюрки
Охуеть.
Аноним 06/03/21 Суб 22:37:03 1959385242
>>1959379
Так она даже не красивая, обычная Наташка.
Аноним 06/03/21 Суб 22:38:29 1959387243
hungary-coat-of[...].jpg 103Кб, 820x660
820x660
>>1959380
А ты думал откуда на некоторых европейских гербах парни с такими характерными причесонами? Это они с турками боролись.
Аноним 06/03/21 Суб 22:43:42 1959392244
>>1959387
древние хохлы аутсорсеры
Аноним 06/03/21 Суб 22:44:18 1959393245
>>1959387
>пик
Выглядит как будто хохол с невидимым телом сам себе голову проткнул и кайфует
Аноним 06/03/21 Суб 22:48:21 1959397246
>>1959361
>что она хохлушка, теперь говорят, что она цыганка, охуеть
Так ты чернявых холов и малдовашек не видел? Хер их от цыган отличишь. Вот эта баба типикл Оксанка.
Аноним 06/03/21 Суб 23:48:32 1959445247
Что почитать по математической статистике?
Аноним 07/03/21 Вск 02:51:09 1959529248
Аноним 07/03/21 Вск 07:10:17 1959560249
>>1959529
Уа-ха-ха-ха-ха-ха-ха!
Аноним 07/03/21 Вск 07:48:39 1959567250
Аноним 07/03/21 Вск 08:11:59 1959573251
>>1959529
Хватит коверкать доброе имя Шпигельхалтера!
Ну Гланц еще есть.
Аноним 07/03/21 Вск 11:03:33 1959626252
>>1957805
Я могу читать документацию на инглише, но читать целую книгу по такой сложной тематике на инглише я в рот ебал
Аноним 07/03/21 Вск 11:09:00 1959628253
>>1959567
Какая-то хуета для зумеров. Мне бы учебник бумажный.
Аноним 07/03/21 Вск 11:09:42 1959630254
>>1959573
Вообще-то он Шварценеггер, приколист.
Аноним 07/03/21 Вск 12:43:44 1959683255
>>1959628
Дотасциентисты не могут в учебники. Поэтому D2l.ai.
Аноним 07/03/21 Вск 12:46:08 1959684256
>>1959385
А по-моему очень даже клёвая. Я бы даже подрочил.
Аноним 07/03/21 Вск 15:34:10 1959860257
436.jpeg 60Кб, 1280x588
1280x588
>>1958638
>где мой сильный ии
В Китае:
>В Китае все чаще меняют менеджеров на алгоритмы: те следят за работниками, дают им задачи и могут списать часть зарплаты
https://vc.ru/hr/209527-v-kitae-vse-chashche-menyayut-menedzherov-na-algoritmy-te-sledyat-za-rabotnikami-dayut-im-zadachi-i-mogut-spisat-chast-zarplaty
>Китайская система распознавания лиц определяет нужного человека с точностью до 99,8%
https://www.securitylab.ru/news/457581.php
>«В Китае распознавание эмоций способствовало оценке риска заключенных в нескольких региональных тюрьмах», - отмечает Global Times со ссылкой на эксперименты в тюрьме в Гуанчжоу в 2019 году. «Технология помогает тюремным служащим оценить, представляет ли заключенный потенциальный риск , включая возможные психические проблемы и склонность к насилию или суициду, и оценить вероятность повторения правонарушения после освобождения ».
За пределами тюрем государственная газета хвалила «технологию распознавания эмоций» за ее использование на дорогах, где полиция может отслеживать эмоции каждого водителя и останавливать любого с «ненормальными» чувствами. Это, как утверждалось, поможет предотвратить инциденты, связанные с агрессивным поведением на дорогах, или другое потенциально преступное поведение.
https://www.breitbart.com/asia/2021/03/04/china-using-emotion-recognition-technology-to-arrest-people/

Ну что, датасатанисты?
Построили светлое будущее?
Аноним 07/03/21 Вск 16:56:36 1959920258
Сап двач, что сейчас на хайпе в 3д cv?
Аноним 07/03/21 Вск 19:58:33 1960163259
Аноним 07/03/21 Вск 23:08:28 1960324260
Решил разработать искусственный интеллект на основе цепей Маркова, скормил им пасты про олдов, вот что получилось:

время остановиться, но его все легко. Это не архивы спецслужб. Сюда лучше не Чикатило и даже не станет)) пиздеть не найдут.
слышали. Вам кажется странным, что украл плавленный сырок в третьем классе, на рейд, чтобы их интересам. Почему я вам все стали
твой одноклассник. Я твой одноклассник. Я твой одноклассник. Я узнал тебя по частям, тобою написанное это простое пиздабольство , обиженный жизнью
разрешения компетентных людей. Их интересы настолько высоки, что столько внимания этих людей уделено вам, ничтожным интернет-червям? Все очень просто, вы ненароком
людей, о которых вы даже не впечатляет, давай разберем по частям, тобою написанное это простое пиздабольство , рембо ты обосрался под
президентов, взрывали целые города, когда появлялась угроза их интересам. Почему я вам рассказываю об этом? Эти люди поручили мне предупредить вас.
мешки ворочить, много вас в 9м классе, на понятном тебе языке, языке боли. Ребята, не понял с кем общаешься. Вот эта

планирую заёбывать этой шизой двачеров, какие подводные?
Аноним 07/03/21 Вск 23:56:50 1960357261
>>1960324
хуя эзотерика вышла
Аноним 08/03/21 Пнд 02:49:40 1960409262
Аноним 08/03/21 Пнд 04:50:06 1960428263
Аноним 08/03/21 Пнд 17:37:15 1961071264
Аноним 08/03/21 Пнд 18:16:40 1961131265
Есть ли смысл в классическом машинном обучении?
В каких моментах он предпочтительное?
А то чет все массово перекатываются в TF2 и pytorch
И scikit используется макс для проверки полезности признаков
Аноним 08/03/21 Пнд 18:49:26 1961195266
>>1961131
Дата саенс это в принципе инфоцыганская хуйня. Для реального бизнеса порой достаточно экселя или R с его model <- lm(y ~ a + b + c, data=df)
Аноним 08/03/21 Пнд 19:50:37 1961354267
1615222201638.png 22Кб, 672x284
672x284
Есть одна спектрограмма пикрил. Стоит задача обвести эллипсом или прямоугольником области с высокой интенсивностью. Как это сделать оптимальным образом? Через СV или как-то аналитически разрабатывать алгоритм по поиску максимумов по вертикали/горизонтали с пороговым условием и хуе-мое?
Аноним 08/03/21 Пнд 19:57:21 1961364268
>>1961354
С помощью python cv2 можно изи эту задачу решить. Подбираешь нужную threshold по которому отсекаешь по яркости, изображение делиться на куски, есть функция которая эти куски перебирает и есть функция которая обводит
Литерали это https://www.pyimagesearch.com/2016/10/31/detecting-multiple-bright-spots-in-an-image-with-python-and-opencv/
Аноним 08/03/21 Пнд 19:59:44 1961369269
>>1961131
> Есть ли смысл в классическом машинном обучении?
Есть.
> В каких моментах он предпочтительное?
Тут в один пост не уложиться
> А то чет все массово перекатываются в TF2 и pytorch
Хуйню пишешь. Вопрос в задаче
> И scikit используется макс для проверки полезности признаков
Неправда. Опять же всё зависит от задачи
Аноним 08/03/21 Пнд 20:01:56 1961375270
>>1960324
> планирую заёбывать этой шизой двачеров, какие подводные?
Да был уже чел, который с паскодом напускал на двач бота на нейронке, обученного на постах двача. Есть это где-то на гитхабе
Был ещё когда-то проект плагин для браузера, который отмечал скримеры в вебмке. Это не про машинку правда, а просто так вспомнил. Щас уже умерло это все, да и скримеры никто не постит почти
Аноним 08/03/21 Пнд 22:15:55 1961500271
>>1961131
>И scikit используется макс для проверки полезности признаков
Как сплитилка он используется. Ну и pca/кластеризации всякие
Аноним 08/03/21 Пнд 22:46:20 1961512272
>>1961131

tf, pytorch же только для cv, nlp?

Есть еще финтек, рекомендации/кластеринг и т.п.


Аноним 09/03/21 Втр 00:29:13 1961539273
народ
работаю разрабом на с++, иногда просят микросервисы на питоне наклепать
в целом все ок, но иногда хочется несколько более наукоемких вещей (типа cv, рекомендации и пр говно)
есть ли у вас свои или чужие кулстори о перекате из классического прогания в мл?
Аноним 09/03/21 Втр 08:06:03 1961624274
>>1961539
Ты уже умеешь больше 99% обитателей треда. Гугли курсы по статистике и непосредственно мл. Для того, чтобы говнокодить на питоне в аналитике, достаточно навыков джуна. Еще можешь глянуть R, но я бы это полноценным языком программирования не назвал. Это скорее калькулятор, софт ты на нем не напишешь.
Аноним 09/03/21 Втр 08:07:25 1961627275
>>1961369
>Тут в один пост не уложиться
Ну хоть примерно расскажи, в какую сторону смотреть. А то как не начнешь гуглить кейсы, сплошная хуйня в духе "мы создали нейросеть и переворачиваем пингвинов"
Аноним 09/03/21 Втр 08:33:05 1961628276
.png 375Кб, 1333x4000
1333x4000
>>1961627
Задачи классификации и регрессии на табличных данных это бустингы. Кластеризация и системы рекомендаций тоже в основном без нейронок. Иногда нужна супер интерпретируемость, как например в кредитном скориге, тогда вообще самые простые модели вылезают типо линейной регрессии и решающего дерева
Иногда у тебя нет данных, чтобы обучить нейронку. Вот например была задача на "я проф." по машинке, где нужно было по точкам предсказать значения остальных. Трейн в несколько раз меньше тест. Тебе нужно восстановление плотности, что например с помощью knn можно сделать
Аноним 09/03/21 Втр 09:02:51 1961630277
>>1961628
>как например в кредитном скориге

Я вот тут не до конца понимаю, чем занимается ответственный за это спец в банке. Он что, с утра до ночи передрачивает модель, чтобы та не оверфитилась и давала нормальные метрики?
Аноним 09/03/21 Втр 09:41:38 1961636278
>>1947549 (OP)
Почему используют Питон для ИИ, если его нельзя нормально скомпилировать?
Аноним 09/03/21 Втр 10:30:06 1961653279
>>1956998
Да, я тупанул, давно не чекал лосс и забыл, спасибо за ответ.
Аноним 09/03/21 Втр 10:55:29 1961661280
>>1961630
С утра до ночи передрачивает данные, собственно, как и 90% дата саентистов.
>>1961636
Простой язык, быстро прототипируешь модельки, куча библиотек в интернете лежит. А зачем тебе компилируемость?
Аноним 09/03/21 Втр 10:56:10 1961662281
>>1961636
питон можно скомпелировать АЛЛО
Аноним 09/03/21 Втр 11:00:10 1961663282
>>1961662
ну точнее да, он остается интерпретируемым, но если тебе важен сам факт компиляции, то да, его можно и скомпилить
Аноним 09/03/21 Втр 11:01:19 1961665283
>>1961661
Например, как использовать tensorflow с C++ софтом? Разворачивать embedded питон?

>>1961662
С tensorflow не компилируется.
Аноним 09/03/21 Втр 11:28:32 1961677284
>>1961665
> С tensorflow не компилируется
не знал, молчу
Аноним 09/03/21 Втр 11:40:43 1961683285
Аноним 09/03/21 Втр 11:41:35 1961684286
>>1961665
> Например, как использовать tensorflow с C++ софтом? Разворачивать embedded питон?
Есть инструменты для этого.
Но в любом случае питон в основном для того, чтобы исследовать что-то быстро смотреть, выводить графики и тд. Сделал модель. Можешь её хоть на чем угодном переписать
Аноним 09/03/21 Втр 12:29:40 1961717287
>>1961684
>Можешь её хоть на чем угодном переписать
Если переписывать, зачем тогда питон? Сделал свою нейрочку, на ней и обучил.
Аноним 09/03/21 Втр 12:32:07 1961720288
>>1961717
Потому что у тебя не получится
> быстро смотреть, выводить графики и тд
Аноним 09/03/21 Втр 12:42:20 1961728289
>>1959046
>>1959376
А реально ли в датасаентсе стать Senior за три года работы?
Аноним 09/03/21 Втр 12:46:03 1961731290
>>1961717
>Если переписывать
Почти всегда переписывать не надо.
Аноним 09/03/21 Втр 12:55:19 1961736291
>>1961728
Все от фирмы зависит. В фейсбуке например судя по тому что я читал - реально
Аноним 09/03/21 Втр 14:57:15 1961861292
>>1961736
>В фейсбуке реально
Что это говорит о лицекниге?
Аноним 09/03/21 Втр 15:27:00 1961890293
>>1961861
Ничего. То что ты в одной компании сеньор не значит, что ты в другой им будешь. В некоторых фирмах вообще десяток внутренних уровней есть
Аноним 09/03/21 Втр 15:37:59 1961896294
>>1961624
>Ты уже умеешь больше 99% обитателей треда.
Умеет, да не то, не запутывай человека. Пока вкатыши не понимают простейших вещей типа например >>1961717 никакие плюсы с микросервисами не помогут, норм млщик прежде всего должен лучше чем средний кодер мочь мозгами шевелить.
Аноним 09/03/21 Втр 16:33:28 1961984295
>>1961896
я вот тот самый чел из крестов
> норм млщик прежде всего должен лучше чем средний кодер мочь мозгами шевелить.
ну блять
я тебе так скажу
норм кодер должен мочь шевелить мозгами лучше чем средний кодер
Аноним 09/03/21 Втр 17:05:59 1962024296
сойбои!.png 120Кб, 968x832
968x832
По поводу few-shot learning'a. Изучение темы приводит нас к тому, что в вопросе о самой природе явления мнения соевых ученых разделились.
- одни прямо заявляют, что few-shot learning и "метаобучение" синонимы, и предполагают только работу через обращение к готовой модели (в т.ч. файнтюненной), без какого-бы то ни было абдейта параметров. Собственно, https://arxiv.org/abs/2005.14165
- другие называют few-shot learning'ом файнтюнинг, но с небольшим количеством обучающих примеров, т.е. с абдейтом параметров модели. Например, https://arxiv.org/abs/2012.09543
Так кто прав-то?
Аноним 09/03/21 Втр 17:39:42 1962075297
>>1962024
Зависит от определения
Аноним 09/03/21 Втр 17:44:32 1962084298
>>1962075
Но это же принципиально разные вещи, у них не может быть одного названия.
Аноним 09/03/21 Втр 17:55:33 1962094299
Мое мнение - правы вот эти из опенаи https://arxiv.org/abs/2005.14165 потому что обновление весов обученной модели это по определению файнтюнинг, неважно сколько там примеров, 1 или 100000, сам процесс-то один и тот же.
Аноним 09/03/21 Втр 17:57:36 1962096300
image 80Кб, 1139x96
1139x96
>>1962084
А ещё интеграл римана и неопределенный интеграл это принципиально разные вещи. И лук-растение и лук-оружие.
К тому же в первой статье они явно пишут, что им не нравится термин "zero-shot", поэтому в рамках статьи они называют свой подход "few-shot learning'ом".
Аноним 09/03/21 Втр 18:41:13 1962123301
>>1962024
Конценсуса в сообществе не сложилось, понятия "прав-неправ" не имеют смысла.
Аноним 09/03/21 Втр 19:14:15 1962145302
Плюсисту (три с половиной года опыта галерного стажа) есть место в вашем говне? Или только пистон и модные фреймворки? Бэкпроп руками не напишу.
Аноним 09/03/21 Втр 19:25:02 1962157303
>>1962145
>Бэкпроп руками не напишу.
И не надо.
Аноним 09/03/21 Втр 19:40:14 1962173304
>>1962157
А всякие выпуклые, нелинейные оптимизации, численные методы, матстат? Или с этим только исследователи копаются?
Аноним 09/03/21 Втр 19:47:50 1962179305
>>1962173
Ты определись с тем, что ты хочешь, тогда приходи
Аноним 09/03/21 Втр 20:03:50 1962195306
>>1962173
Если ты хочешь просто деньги зарабатывать, то всё это тебе не надо.
Всякими сложными штуками занимаются исследователи, но им деньги не платят.
Аноним 09/03/21 Втр 21:07:43 1962276307
>>1962094
>неважно сколько там примеров
Если ты вапникошиз, которого интересуют только маняматически точные утверждения - то конечно неважно. Если ты норм чел то понятно что ситуации в десять примеров и в миллион отличаются качественно. Хотя бы тем, что во втором случае придётся сильно задрачиваться с тем чтобы столько данных накопать и их разметить.
Аноним 09/03/21 Втр 21:14:42 1962282308
>>1962195
> Если ты хочешь просто деньги зарабатывать, то всё это тебе не надо.
А нахуя вам работодатели деньги платят лол? Какие у вас уникальные скилзы? Знание фреймворков и все? Как вы конкуренцию выдерживаете если статистика с бэкпропом вам не нужны?
Аноним 09/03/21 Втр 21:21:04 1962292309
>>1962282
Потому что СЕО в бизнесах не в курсе ка к все это работает. Поэтому 50% этих дата сайентистов - тянки, там нужны пипл скиллз чтобы наебывать. Но этот пузырь через пару лет лопнет. Будут только дата инженеры нужны (но это не настолько хайпово-весело). Ну и еще теоретики-математики которые будут теории новые выдумывать (но тут нужна серьезная мат./кс база и ПхД).
Аноним 09/03/21 Втр 21:29:01 1962299310
>>1962292
Вот не скажи. Скиена пишет, что программисты просто НЕ УВАЖАЮТ данные.
Так что тянки, которые просто уважают данные и знают немного статистики постоянно нужны.
Аноним 09/03/21 Втр 21:36:24 1962312311
>>1962282
>А нахуя вам работодатели деньги платят лол?
За то же, что и программистам, за макакинг.
>Какие у вас уникальные скилзы?
Тряска чёрного ящика с умным видом.
>Знание фреймворков и все?
По сути.
>Как вы конкуренцию выдерживаете если статистика с бэкпропом вам не нужны?
Тут подсидел, там подлизал.

А если более серьёзно, то вот, например: >>1950226 →.
Аноним 09/03/21 Втр 22:22:57 1962365312
Ну хер знает, какая-то она не очень умная
https://www.youtube.com/watch?v=UxGebZpYVfM
Хотя на фоне этих двух додиков кодерков не так в глаза бросается
Аноним 09/03/21 Втр 22:28:04 1962369313
>>1962282
>статистика с бэкпропом вам не нужны
Нужны, просто ручками их писать не надо
Аноним 09/03/21 Втр 22:42:32 1962374314
>>1962365
Опять молдаванку форсят.
Аноним 09/03/21 Втр 22:45:06 1962378315
>>1962374
>молдаванку
Циганка или хохуха
Аноним 09/03/21 Втр 22:57:24 1962385316
>>1962312
Ну по сути ничего не изменилось. Просто придумали новое имя для аналитиков. И заставляют их теперь еще алгоритмы и питон учить.
Аноним 09/03/21 Втр 23:37:23 1962415317
Это вообще норм, что вы вместо гига чада Бабушкина форсите какую-то лоу тиер бабень с нулевой харизмой?
Аноним 10/03/21 Срд 01:11:44 1962469318
>>1962415
>гига чада
>Бабушкина
Выбери одно.
Аноним 10/03/21 Срд 06:24:58 1962524319
>>1962415
Сорта никому не нужного ноунейм зумерья, которые сами сюда приходят пиариться.
Аноним 10/03/21 Срд 10:42:35 1962579320
>>1962524
Не думал, что этот тред центр мира, чтобы стоило тут пиариться
Аноним 10/03/21 Срд 11:09:15 1962595321
>>1962579
какая борда такой и пиар
Аноним 10/03/21 Срд 12:40:12 1962641322
Аноним 10/03/21 Срд 13:05:42 1962663323
>>1962524
>ноунейм
>бабушкин

Понимаю
Аноним 10/03/21 Срд 13:06:55 1962664324
>>1962292
>теоретики-математики которые будут теории новые выдумывать

И писать их на R или матлабе
Аноним 10/03/21 Срд 14:56:29 1962731325
>>1962664
Всегда будут макаки, которые перепишут это на любой промышленный маняязык.
Аноним 10/03/21 Срд 15:19:56 1962752326
роботсбер.jpg 90Кб, 1610x1068
1610x1068
1.png 32Кб, 829x540
829x540
2.png 23Кб, 465x322
465x322
Сберкасса - это когда нихуя не работает (пик 1). Хотел запустить их куколаб с ругпт3, сходу ошибки (пик 2). Полез проверить их гитхаб, т.к. не поверил, что проблема во мне, так и есть, лол, в issue с самого же верха открытые проблемы - это репорты о том, что нихую не работает.
>>1962663
Что не так? Ноунейм и есть. Я знаю, кто такой Суцкевер, да даже кто такой Килхер. А про бабушкина только здесь и вижу упоминания.
Аноним 10/03/21 Срд 15:27:05 1962760327
>>1962752
> Я знаю
Интересно как ты вообще млкой занимаешься, если даже не знаешь, что личный опыт не репрезентативен
Аноним 10/03/21 Срд 15:41:51 1962777328
1.png 38Кб, 1024x633
1024x633
Причем, сама их сеть вроде даже работает, если запускать стандартно. А сами они ноутбук для куколаба написать не осилили.
Аноним 10/03/21 Срд 16:22:30 1962813329
>>1962641
>няша
Это твой гомосекс-символ?
Аноним 10/03/21 Срд 18:29:53 1962957330
chtuh[1].jpg 6Кб, 249x203
249x203
У хохлов пузырь дата-саенса уже лопается.
>Ще з цікавого: вперше за декілька років зниження частки Python: можливо, використання Data Science дійшло до точки насичення.
https://dou.ua/lenta/articles/language-rating-jan-2021/
Аноним 10/03/21 Срд 19:19:39 1962999331
>>1962957
>У хохлов пузырь дата-саенса уже лопается.
>>1947549 (OP)
Заглянул в ODS, и что я вижу:
>Всем привет!Снова OZONна связи. )
>Кого ищем:
>Ищем к себе в направление клиентской аналитики крутых продуктовых data-аналитиков.
>ЗП: Вилка - 150-200 для синьоров (их и ищем).
150 тысяч российских рублей (2K$) - это уже синьор!
Аноним 10/03/21 Срд 19:27:32 1963004332
>>1962999
>150 тысяч российских рублей (2K$) - это уже синьор!
Да уж, смехотворно.
Всего-то в 5-6 раз выше зп среднего профессора в сраной рашке.
Аноним 10/03/21 Срд 19:52:11 1963037333
>>1962999
Так аналитик это не дс или мл или в чем подвох?
Аноним 10/03/21 Срд 19:57:57 1963054334
>>1962999
>150 тысяч российских рублей (2K$) - это уже синьор!
А что не так? Если вне ДС, то вообще заебись. По уровню жизни эквивалент $200k/y в Штатах.
Аноним 10/03/21 Срд 20:04:37 1963066335
>>1963054
>Территориально - офис Москва-Сити
Нет, это в ДС((
Аноним 10/03/21 Срд 20:15:59 1963086336
>>1963066
>Нет, это в ДС((
Ну значит считай, что как $120k/y в NYC. Все равно вполне достойно.
Аноним 10/03/21 Срд 20:32:00 1963097337
Аноним 10/03/21 Срд 20:35:58 1963099338
>>1963086
>считай, что как $120k/y в NYC
Где пруфы расчетов?
Аноним 10/03/21 Срд 20:40:18 1963102339
image.png 67Кб, 917x628
917x628
image.png 58Кб, 1413x269
1413x269
>>1963099
>Где пруфы расчетов?
Вот.
Аноним 10/03/21 Срд 22:11:08 1963211340
>>1962999
Ну вот в европку/штаты/японию едь если хочешь 3к+. Ах да, там же конкуренция в 1млн индусов сеньор уровня готовые работать за еду и визы.
Аноним 10/03/21 Срд 23:06:02 1963246341
>>1963054
>>1963066
А вы в курсе, что единственное, что в ДС реально дороже, чем в России, это недвига?
Аноним 10/03/21 Срд 23:37:09 1963274342
>>1963246
>единственное, что в ДС реально дороже
А вы в курсе, насколько?
Аноним 11/03/21 Чтв 01:51:40 1963319343
>>1947549 (OP)
Вечер в Хату, посоны. Сам я инженегр в основном бекэнда, но за 10 лет заебало. Попробовал посочинять нейронки, понравилось. Не MuseGAN пока получился, но для хеллоу ворлда сойдет.

Есть желание перекатиться полностью, не потеряв при этом текущей зарплаты сеньора-помидора. Не сильно ли я губу раскатил?
Аноним 11/03/21 Чтв 03:15:03 1963332344
Как вы строите графики для огромных массивов? Какой-нибудь hist например?
Аноним 11/03/21 Чтв 05:32:27 1963343345
>>1963332

plt.hist()
или
df.plot(kind='hist')
Аноним 11/03/21 Чтв 08:04:28 1963355346
>>1963332
Никак. У меня в altair лимит на 5000.
Аноним 11/03/21 Чтв 08:06:35 1963356347
>>1963319
Конечно, потеряешь. В этом и ссуть.
Заметь, с каким энтузиазмом тут обсуждают кодерские вопросы и обоссывают Orange. Млщикам очень хочется быть кодерами, но они не могут.
Аноним 11/03/21 Чтв 08:59:12 1963370348
>>1963356
> обоссывают Orange.
Его и надо обоссывать, с тобой вместе. Трансформеров там нету, в облаке он работать не может. А для всего остального есть R.
Аноним 11/03/21 Чтв 09:53:51 1963395349
Screenshot20210[...].png 104Кб, 720x1280
720x1280
Что-то эта сберовская "rugpt3" подозрительно хорошо работает с англюсиком, при этом по размеру и количеству параметров как gpt2-large. Сдается мне, это она и есть, только зафайнтюненная на каком-то русскоязычном корпусе. Сравнить бы их структуру, которая выдается командой model(), но это надо в браузере делать, с тилибона там толком ничего не сравнишь, выдача большая... Тут https://press.sber.ru/publications/neiroset-sbera-rugpt-3-stala-vdvoe-umnee ещё пишут про XL вариант с 1.3млрд параметров, что так же соответствует gpt2-xl. Совпадение? Да, совпадение.
Аноним 11/03/21 Чтв 10:10:29 1963401350
>>1963274
А вы в курсе, насколько дешевле всё остальное?
Аноним 11/03/21 Чтв 10:18:18 1963408351
Аноним 11/03/21 Чтв 10:21:13 1963409352
>>1963408
Читал. Там тоже не написано как такое возможно.
Аноним 11/03/21 Чтв 13:02:01 1963520353
Дайте совет зумеру-вкатышу-трясуну.
Как вы выкладываете свои пет-проекты для портфолио в сеть? Заливаете куда-нибудь на хероку? Или просто бросаете валяться в гитхабе?
Аноним 11/03/21 Чтв 16:30:57 1963758354
2021-03-11 1630[...].png 96Кб, 1407x710
1407x710
>>1963409
Хуёво читал значит
Аноним 11/03/21 Чтв 17:16:35 1963828355
>>1963758
Нормально читал. Как ты вектор размерностью 512 умножишь на вектор размерностью 64?
Аноним 11/03/21 Чтв 17:24:50 1963840356
Аноним 11/03/21 Чтв 17:26:22 1963842357
>>1963840
Ага, от 512-мерного вектора откусить первые 64 значения, а остальные тип нахуй не нужны))) Гениально, апплодирую стоя...
Аноним 11/03/21 Чтв 17:27:46 1963845358
>>1963842
Какой откусить это будет шейп (8, 64) на (64, 1). Но я вообще мимо, не читал пока о чем мы
Аноним 11/03/21 Чтв 17:31:34 1963849359
>>1963845
> шейп (8, 64)
Но тогда и матрицы весов Wk, Wq и Wv должны быть 64х8, а там про их размерность ничего не сказано. Короче, это все зумерство какое-то, надо код трансформера смотреть, как там это сделано...
Аноним 11/03/21 Чтв 18:03:29 1963883360
>>1963370
Блоки в Orange можно соединить лишь одним способом. Способов облажаться в питоне и R для начинающего масса.

Не позволю обоссывать
Аноним 11/03/21 Чтв 18:05:57 1963888361
>>1963370
> Трансформеров там нету,
Есть PCA и t-SNE.
А если тебе не хватает, эту задачу в принципе не стоило решать.
Аноним 11/03/21 Чтв 19:23:40 1964029362
Куда копать в сторону программ самих изменяющих и дополняющих свой сорс код с минимальным участием человека? А также фишки когда прогу запускают в интернет и она по определённым запросам поисковиков "обучается" в чём-либо?
Аноним 11/03/21 Чтв 19:37:05 1964056363
>>1964029
> Куда копать в сторону программ самих изменяющих и дополняющих свой сорс код с минимальным участием человека?
Да тут ничего сложного. Можно просто подготовить свою модифицированную копию и запустить. Либо через динамические библиотеки делать и их заменять. Если язык скриптовый, то вообще как угодно можно вертеть
Только нахуя это?
> А также фишки когда прогу запускают в интернет и она по определённым запросам поисковиков "обучается" в чём-либо?
Что за прога? Обучается чему? Типо scraper поисковый?
Аноним 11/03/21 Чтв 19:50:42 1964083364
>>1964056
>Что за прога? Обучается чему? Типо scraper поисковый?
Ну вот ты книжки читаешь, умнее становишься. А я такую прогу хочу сделать. Тонны байт информации в интернете, а юзать некому.
>Только нахуя это?
Ну вот ты книжки читаешь, развиваешься: нейрончики, миелинчик, дофаминчик, вся хуйня. Вот и прога будет обучаться и новые фичи сама для себя писать и их же потом применять. Круто же.
Аноним 11/03/21 Чтв 20:03:00 1964101365
>>1964083
Понятно. Вкатывайся потихоньку. Узнаешь насколько инвалидная и узкозаточенная хуйня этот дип ленинг. Ты не просто не можешь нейронке любой набор данных скормить. Ты должен очень сильно постараться, чтобы нейронка обучилась на подобранном тобой наборе данных под конкретную однобокую задачу.
Если хочется сказки почитать про сильный интеллект, то Фристон и Шмидхубер пожалуйста. Но там близко ничего нет к тому, что ты написал
Аноним 11/03/21 Чтв 20:13:25 1964133366
>>1964101
С чего-то начинать надо. Всё равно объективно лучшего плацдарма пока нет.
Аноним 11/03/21 Чтв 20:24:29 1964145367
>>1963828
По-моему у тебя случай когда нужно либо английский либо линейную алгебру подтянуть сперва прежде чем за трансформеры хвататься.
Действуешь матрицей n x m на вектор размерности m получаешь вектор размерности n. m = 512 это эмбеддинг, n = 64 это вектора атеншена.
Аноним 11/03/21 Чтв 20:28:39 1964153368
>>1964145
я вот мимокрокодил
но
я правильно понимаю, что он не знает правило перемножения матриц? в машоб треде?
Аноним 11/03/21 Чтв 20:40:22 1964178369
>>1963828
Короче прочитал о чем вы.
1 слово в эмбендинге это (1, 512). Матрица весов (512, 64)
Аноним 11/03/21 Чтв 22:32:27 1964339370
images.jpeg 6Кб, 300x168
300x168
>>1964153
>я правильно понимаю, что он не знает правило перемножения матриц? в машоб треде?
Аноним 11/03/21 Чтв 22:33:16 1964340371
Какие темы по линалу стоит повторить перед ботанием ML?
Аноним 11/03/21 Чтв 22:43:28 1964351372
>>1964340
Перемножение матриц.
Аноним 11/03/21 Чтв 23:37:29 1964413373
Аноним 12/03/21 Птн 11:48:47 1964682374
Аноны, а можно Pipline встроить как то объединение датасетов?

В общем есть дата сет. В нём одно поле - текстовое, которое я хочу пустить в tf-idf, т.е. хочу следующий конвейер:

текстовое поле -> tf-idf -> слияния результата с остальным дата сетом -> грид сёрч

Как это сделать?
Аноним 12/03/21 Птн 12:03:23 1964691375
16142861141470.jpg 67Кб, 592x532
592x532
>>1964682
А что, выполнение линейной последовательности команд уже отменили?
Аноним 12/03/21 Птн 12:08:29 1964695376
>>1964691
так это для тупых же, не?
Аноним 12/03/21 Птн 13:12:43 1964730377
Аноним 12/03/21 Птн 15:26:39 1964871378
Как там ваша gpt3? Уже дошла до уровня чатбота?
Аноним 12/03/21 Птн 16:40:24 1964969379
>>1964871
Даже гпт2 давно тесты Тьюринга и Войта-Кампфа проходит, где-то видел код для куколаба. Претрейны Гпт3 пока жопят вылаживать да и толку с них, в куколабе даже gpt2-xl с 1.3млрд параметров еле дышит, а версия от huggingface вообще отваливается, памяти мало, гпт3 там вообще хуй запустишь, но ясно же, что у нее со всем этим намного лучше.
Аноним 12/03/21 Птн 19:34:41 1965260380
>>1964969
>Даже гпт2 давно тесты Тьюринга и Войта-Кампфа проходит
Пруфы?
Аноним 12/03/21 Птн 20:44:08 1965336381
>>1964969
>тесты Тьюринга
Это когда в жопу ебут?
Аноним 12/03/21 Птн 20:57:00 1965343382
>>1965336
Тюрингу наоборот химическую кастрацию делали чтобы в жопу не ебался.
Аноним 12/03/21 Птн 21:39:29 1965386383
>>1965260
В 99% тесты выглядит как "я показал текст из gpt моей маме и она не отличила его от человеческого". До прохождения нормального теста тьюринга ещё очень далеко.
Аноним 12/03/21 Птн 21:40:48 1965389384
>>1965386
>До прохождения нормального теста тьюринга ещё очень далеко.
Бесконечно далеко.
Аноним 12/03/21 Птн 22:51:39 1965440385
>>1965343
>химическую кастрацию делали чтобы в жопу не ебался
Ну так его в жопу ебали, Белоснежке норм было
Аноним 13/03/21 Суб 16:15:38 1965927386
Кто может с GAN-ом помочь?
Аноним 13/03/21 Суб 22:13:22 1966203387
>>1965927
Сразу вопрос вкидывай
Аноним 13/03/21 Суб 22:44:02 1966219388
cg.png 39Кб, 1052x413
1052x413
cg2.png 39Кб, 1065x418
1065x418
cg10.png 1Кб, 1132x228
1132x228
>>1966203
>вопрос
Там, наверное, код-ревью понадобится.
В общем, из GAN'а был сделан Conditional GAN.
Обучение имеет такой вид (pic1, pic2).
А вот при попытке визуализировать на каждой эпохе выход генератора через
torchvision.utils.save_image(gen_batch, '{}.png'.format(epoch+1))
получается такое (pic3). И это на 10 эпохе, т.е. хоть что-то уже должно быть.
В чём может быть ошибка? В визуализации? В модели? В чём-то ещё? Как это можно поправить?
Аноним 14/03/21 Вск 13:48:02 1966486389
>>1966219
>В чём может быть ошибка? В визуализации?
Ну это ты должен был сразу посмотреть, глянув на выходы генератора. Судя по тому, что генерирует цвет из границы ргб (ff00ff) save_image не скейлит ничего или неправильно скейлит.
Тестировал код на mnist/cifar?
Ещё лучше следить за confusion_matrix, а не лоссом, потому что последний мало что значит в ганах.
Аноним 14/03/21 Вск 22:18:39 1966884390
>>1966486
>Ещё лучше следить за confusion_matrix, а не лоссом, потому что последний мало что значит в ганах.
Почему?
Аноним 15/03/21 Пнд 07:32:57 1967082391
161572211327726[...].webm 2378Кб, 256x256, 00:01:13
256x256
Аноним 15/03/21 Пнд 07:33:25 1967083392
161571345925625[...].webm 945Кб, 256x256, 00:00:30
256x256
Аноним 15/03/21 Пнд 07:33:45 1967085393
161572036924999[...].webm 886Кб, 256x256, 00:00:25
256x256
Аноним 15/03/21 Пнд 07:34:03 1967086394
161573237526437[...].webm 744Кб, 256x256, 00:00:25
256x256
Аноним 15/03/21 Пнд 07:35:35 1967087395
2021г, нивираятные тихналогии ИИ!
Аноним 15/03/21 Пнд 07:36:53 1967088396
>>1967087
Сделай на ЭС такое, потом приходи, маня
Аноним 15/03/21 Пнд 07:40:25 1967089397
>>1967088
Конечно, ведь поющие котики это то, что нужно человечеству!
Деграданты ебаные
Аноним 15/03/21 Пнд 07:45:43 1967093398
>>1967089
>Конечно, ведь поющие котики это то, что нужно человечеству!
Копетоглизму нужно не то, что нужно человечеству, а то, на чём можно заработать.
Аноним 15/03/21 Пнд 08:00:44 1967094399
Аноним 15/03/21 Пнд 08:10:27 1967095400
>>1967089
>>1967093
А что нужно человечеству, поведай, кук. Калмунизм, вечная автономная капсула буйлерон зимой жарко?
Аноним 15/03/21 Пнд 08:13:48 1967096401
>>1967093
> Копетоглизму нужно не то, что нужно человечеству, а то, на чём можно заработать.
Мань, а ты не видишь противоречия в своем кукарекании? Как можно заработать на том, что никому не нужно?
Аноним 15/03/21 Пнд 08:20:20 1967097402
>>1967095
Автоматизация диагностической медицины например.
Аноним 15/03/21 Пнд 08:39:39 1967100403
>>1967096
>Как можно заработать на том, что никому не нужно?
С помощью целенаправленного одебиливания населения и вездесущей рекламы.
Аноним 15/03/21 Пнд 08:44:38 1967102404
Screenshot20210[...].png 1036Кб, 720x1280
720x1280
>>1964178
> Короче прочитал о чем вы.
> 1 слово в эмбендинге это (1, 512). Матрица весов (512, 64)
>>1964145
> По-моему у тебя случай когда нужно либо английский либо линейную алгебру подтянуть сперва прежде чем за трансформеры хвататься.
> Действуешь матрицей n x m на вектор размерности m получаешь вектор размерности n. m = 512 это эмбеддинг, n = 64 это вектора атеншена.
Да нет, там совсем не так. Смотрите, там прямо написано, что входной эмбеддинг Х имеет размерность 512 х длина фразы. Матрица весов Wk, Wq и Wv имеют размерности 64 х длина фразы. Мне и интересно, как из матрицы 512х3 получили три матрицы 64х3. Автор индус хуйню написал, или как это понимать?
Аноним 15/03/21 Пнд 10:32:34 1967139405
- Сойбои не делают то, что поможет человечеству
- Так делайте сами
- Кто? Я?
Аноним 15/03/21 Пнд 11:02:26 1967155406
>>1967087
Так это получается тикток уже не нужен, просто берёшь человека и он кривляется.
Аноним 15/03/21 Пнд 11:15:06 1967164407
Без названия.png 7Кб, 259x195
259x195
>>1967155
> тикток уже не нужен, просто берёшь человека и он кривляется.
Ожидания: ии заменит водителей, строителей, дворников
Реальность: ии заменил зумеров в тиктоке
Аноним 15/03/21 Пнд 11:27:00 1967176408
Есть же вокалоиды, ви-тюберы, а теперь техника дошла до возможности ви-тиктокера. Берём как шаблон какого-либо мемного малолетнего долбаеба, и помещаем его на разные фоны, поющего разную модную у зумеров мемную херню. Годный стартап, как думаете?
Аноним 15/03/21 Пнд 11:58:19 1967188409
>>1967176
Думаю, что ты душнила старая, которая не шарит в том, что нравится зумерам, на уровне деда размышляешь.
Аноним 15/03/21 Пнд 12:06:59 1967195410
16156895355580.jpg 47Кб, 592x532
592x532
>>1967188
> душнила старая, которая не шарит в том, что нравится зумерам,
Вас чем промывают, то вам и нравится, своего мнения-то нет. Что нравится зумерам, можно легко нагуглить.
Аноним 15/03/21 Пнд 12:20:05 1967218411
>>1967195
Дядь, мне 29 годиков, но даже я не настолько оторван от реальности в полустарческом маразме под музыку Caretaker'а, когда кажется годной идея дрыгать перед борзыми и наглыми малолетками AI-марионетку и думать при этом что это "годный стартап".
Аноним 15/03/21 Пнд 12:34:34 1967241412
>>1967218
Ви-тюберы же вам зашли, а это ничем не лучше.
Аноним 15/03/21 Пнд 13:56:45 1967310413
>>1967241
>это ничем не лучше
Ох, какой же додик ты. Ну пили свой годный стартап, хули. Просто это как с научными пейрепами, если ты за пять минут придумал гениальную идею, как заработать кучи бабла, с вероятностью в 90% о ней уже подумали другие и задолго до тебя.
Аноним 15/03/21 Пнд 15:03:47 1967375414
>>1967176
>Годный стартап, как думаете?
Думаю да, можно еще с зумеров бабосы на реализацию состричь
Аноним 15/03/21 Пнд 17:51:11 1967526415
аноны, что на собесах по теорверу спрашивают?
Аноним 15/03/21 Пнд 18:32:35 1967587416
>>1967526
Очевидно, зависит от того, куда идешь...
Что такое матожидание? Что такое дисперсия? Когда лучше использовать медиану, а не среднее? Какие вероятностные меры на B([0, 1]) существуют?
Аноним 15/03/21 Пнд 22:01:22 1967848417
>>1967587
Получились вопросы уровня /b. Реально такую ерунду спрашивают?
Аноним 16/03/21 Втр 01:13:04 1967994418
15891301903260.jpg 128Кб, 500x705
500x705
>>1966486
>Ну это ты должен был сразу посмотреть, глянув на выходы генератора.
Проблема оказалась в модифицированном генераторе, он на выходе выдаёт:
tensor([[[[ 1., 1., 1., ..., 1., 1., 1.],
[ 1., 1., 1., ..., 1., 1., 1.],
[ 1., 1., 1., ..., 1., 1., 1.],
...,

Из-за чего это может быть? Из-за конкатенации тензоров?
Аноним 16/03/21 Втр 01:53:08 1968020419
>>1967994
Судя по всему, это действительно из-за конкатенации тензоров разного типа
https://github.com/pytorch/pytorch/issues/35014
Теперь вопрос, что с этим делать? Тензор картинки имеет тип torch.FloatTensor, тензор метки torch.LongTensor.
Если их сравнять, вылезает:
RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long; but got torch.cuda.FloatTensor instead (while checking arguments for embedding)
Аноним 16/03/21 Втр 07:03:47 1968140420
Аноним 16/03/21 Втр 07:34:06 1968148421
>>1968140
Хватит форсить эту селедку. Тем более что ее топ вопросов тянет максимум на собеседования стажеров.
Аноним 16/03/21 Втр 09:41:18 1968188422
>>1968148
ИМХО, причина, по которой её тут форсят — смазливое личико.
Аноним 16/03/21 Втр 12:51:42 1968425423
>>1968148
Так вопрос был видимо от претендента на стажерскую вакансию, иначе бы знал что спрашивают.
Аноним 16/03/21 Втр 13:44:22 1968472424
>>1968148
Да не, у нас стажеров давно просят сверточную нейронку с нуля на С++ написать. Ну а что, понасмотрятся этих видосов, заучат ответы, а потом страдают. Ну и ЗП мы конечно не платим.
Аноним 16/03/21 Втр 14:04:32 1968493425
>>1968472
>Ну и ЗП мы конечно не платим.
Еле концы с концами сводите?
Аноним 16/03/21 Втр 14:25:10 1968513426
>>1968493
Концы с щёками стажёров
Аноним 16/03/21 Втр 14:42:32 1968541427
>>1968493
Наоборот. Но когда у тебя тысячи вкатунов готовы умирать за еду в надежде на светлое будущее через год (ну и 2k+ EUR) смысла нет тратиться.
Аноним 16/03/21 Втр 15:16:16 1968595428
>>1968541
>2k+ EUR
За смешных, поющих котиков могли бы платить больше
Аноним 16/03/21 Втр 18:05:17 1968822429
>>1968140
Вот на неё у меня всегда стоит!
Аноним 16/03/21 Втр 18:49:58 1968888430
>>1962957
Ну и как мне теперь вкатываться? Через полгода вузик заканчиваю.
Аноним 16/03/21 Втр 19:37:15 1968952431
>>1968472
Это где так? В хуавее?
Аноним 16/03/21 Втр 19:51:49 1968971432
Тупейший вопрос.
Как накидать офлайн распознавалку рукописного текста?
без регистрации и смс
Аноним 16/03/21 Втр 21:52:26 1969101433
>>1968952
В ДипМайнде, секретное подразделение в ДС2.
Аноним 16/03/21 Втр 22:04:15 1969114434
>>1969101
>ДипМайнд, секретное подразделение в ДС2
>>1968472
>стажеров давно просят сверточную нейронку с нуля на С++ написать
>понасмотрятся этих видосов, заучат ответы, а потом страдают
>ЗП мы конечно не платим

А что в ДипМайнд тоже макак набирают?
Аноним 16/03/21 Втр 22:11:50 1969120435
>>1969114
Да, кто-то же должен в атари устанавливать human perfomance, для бенчмарка. Там и вопросы попроще, а ля "чем SGHMC отличается от динамики Ланжевина?".
Аноним 16/03/21 Втр 22:28:13 1969135436
>>1969120
>динамика Ланжевина
>ЛанжевИна
Охуеть, какие умные слова знают эксперты из секретного подразделения ДипМайнд!
Аноним 16/03/21 Втр 22:29:01 1969136437
Аноним 16/03/21 Втр 22:30:08 1969138438
>>1969136
По рузге через Е пишут обычно. Всегда.
Аноним 16/03/21 Втр 22:30:47 1969140439
Аноним 16/03/21 Втр 22:51:35 1969176440
61D7B605-DE34-4[...].jpeg 13Кб, 320x180
320x180
Аноним 16/03/21 Втр 22:58:05 1969186441
>>1969120
Ладно, у меня вопрос.
Типа если у меня есть пхд по фундаментальной математике от среднего американского универа, меня возьмут в секретное подразделение ДипМайнд немакакой?
Кто-то может помочь? Аноним 16/03/21 Втр 23:04:43 1969195442
Обучал нейронку на данных, загруженных через tensorflow.keras.preprocessing.image_dataset_from_directory( ), теперь не могу получить результат работы ИИ через model.predict(). Что делать? Какой формат данных он хочет для новых изображений?
Аноним 16/03/21 Втр 23:22:51 1969221443
Ещё тоже совершенно тупая фигня, но кто-то знает как импортнуть ИИ из h5 файла?
Аноним 17/03/21 Срд 00:19:08 1969260444
15994909255530.jpg 115Кб, 592x532
592x532
Аноним 17/03/21 Срд 00:47:43 1969276445
>>1969186
А вы какой национальности и пола? Русских не берем. У нас диверсити квота.
Аноним 17/03/21 Срд 02:24:48 1969314446
пацаны, короче вопрос
я в стартапе занимался облаками точек
сейчас хочу влететь в cv с изображениями
посоветуйте плиз какой-нибудь проект, чтобы было не стыдно выложить на гит (да и попрактиковаться, на самом то деле)
спрашиваю, потому не что не хочу объебаться с тем, что сделаю что-нибудь, а мне техлид на собесе скажет, что это любой дворник умеет
мб изъебистую сегментацию, детекцию? короче помоги двач, скажу всем спасибо за это
АЛСО
важно
какой матан спрашивают на собесах и какая часть от спрашиваемого на собесах нужна в работе? мне помимо ангема, линала и чуточку дифф геометрии нихуя не пригодилось. Но часто вижу, то то теоревер требуют, то еще что-то
буду про кубики спрашивать?)
Аноним 17/03/21 Срд 06:31:12 1969365447
>>1969276
Набираете только небелых лгбт немужчин мусульман, верно?
И как успехи?
Гугл ещё не обанкротился с такими работниками?
Аноним 17/03/21 Срд 07:04:14 1969371448
image 64Кб, 1189x360
1189x360
Аноним 17/03/21 Срд 11:05:50 1969517449
>>1969365
Кто нам будет делать поющих котиков если не негропедики?
Аноним 17/03/21 Срд 13:02:47 1969644450
>>1969365
Наоборот. Нет прыщавых асоциальных и упрямых задротов, которые думают что лучше всех и саботируют работу.
Аноним 17/03/21 Срд 13:28:05 1969679451
>>1969644
Ага, то есть вы нанимаете тупых долбоебов негропедиков, чтобы не допустить, чтобы кто-то оказался умнее вас самих?
В принципе верная стратегия для современной эпохи всеобщей дебилизации.
Аноним 17/03/21 Срд 13:49:32 1969701452
>>1969679
Причем тут негры вообще? Они и сами работать не пойдут, не царское дело. Типичная кодомакака в Гугле это индус или китаец.
Аноним 17/03/21 Срд 13:55:47 1969702453
>>1969679
Нет, sweatey, посмотри статистику. Азиаты, например, всегда и везде лучше белых в вычислительных науках. Женщины лучше в колледжах и больше подходят для научных и околонаучных работ по многим причинам. ИТ как и наука начиналось как убежище для белых задротов и сейчас они паникуют когда это превращается из закрытого клуба для нердов в что-то для всех. И выясняется что они не такие то крутые/умные как им мамка говорила. Рыночек порешал.
Аноним 17/03/21 Срд 14:22:55 1969718454