ПАМАГИТЕ В тред приглашаются укратители змей. На /pr/ меня не сориентировали, приходится писать сюда Остались знания по питуну, но беда с ООП (наверстаю за день) Где-то из глубин мозга надо доставать тензорфлоу и матплотлиб Хочу в датасаенс, помогите! С чего начать? Книги, халявные курсы? Есть пособия с задачами? Чтобы сначала по питуну, что нужно, потом по билиотекам, а потом уже и сам датасаенс Сразу скажу, что есть знания матана от пределов до анализа фурье, а так же по линалу. Математику поднимать не нужно С меня тонны нефти
>>251017017 Ну, интересно стало. Алсо, там порог мой (нужна математика). Вообще, свои цели есть по применению, там конкретные идеи, даже если не получится, то лишними знания не будут
>>251016479 (OP) >Хочу в датасаенс, помогите! Сектант хуев! >С чего начать? Книги, халявные курсы? На Coursera и edX полно курсов по этому модному говну жи, ни? В чём проблема-то? >Есть пособия с задачами? Если ищешь какие-то специальные задачи, то, скорее всего, дейтасаенс тебе нахер не нужен. Дурью не майся, иди лучше макарон с колбасой поешь.
>>251017108 ну если нравится, то ок короче, палю способ как вкатиться куда угодно - идешь на собес и выясняешь почему ты лох, повторяешь н раз пока не пройдешь
>>251017328 >На Coursera и edX полно курсов по этому модному говну жи, ни? В чём проблема-то? Так они полуплатные там. Лекции просмотреть бесплатно, а за задачи башляй шекелями. Что толку от такого? Даже срать на биплом, там на халяву сам курс кастрирован >специальные задачи, то, скорее всего, дейтасаенс тебе нахер не нужен Ахуенно, а как без задач учиться?
>>251017905 >Где мне научиться пользоваться библиотеками? Пиздец, хуле ты там собрался датасаенсить? У тебя тензорплов будет каждые 5 новых строк падать по непонятным причинам, будешь каждый раз у двачеров канючить. Охуенные погромисты пошли, че скажешь. И вообще пиздуй в pr, там есть отдельный тред для мл.
>>251018048 Да, блять. Я советы тут спрашиваю, как и где лучше начать, спрашиваю мнения и тп. А как еще? Мб кто был в такой ситуации >И вообще пиздуй в pr Я же в шапке написал, что в пр тухло
>>251017570 >Так они полуплатные там. Лекции просмотреть бесплатно Ну, и что тебя не устраивает?! >а за задачи башляй шекелями >а как без задач учиться? Муа-ха-ха, дурачок! Мань, если ты не знаешь, куда инструмент применить, то этот инструмент тебе нахуй не нужен... я тебе выше ровно об этом написал.
Вообще, хуею с мамкиных айтишников! Тупо взять любые данные с сайта ФСГС и начать их крутить не судьба?!
>>251018318 >Ну, и что тебя не устраивает?! Нету задач, сказал же >Тупо взять любые данные с сайта ФСГС и начать их крутить не судьба?! Какой-то хардкор, нет чего-то более плавного?
>>251018299 кстати, а почему ты просто не можешь написать какой-нибудь пет и типа показывать потенциальному рабовладельцу, мол, смотрите, как я могу? или в датасаенсе так нельзя
>>251018421 >Нету задач, сказал же Блять, аутист, что за специальные задачи тебе нужны?! В интернете сырых данных по любой тематике, как говна. Бери, крути. Самому придумать учебную задачу - раз плюнуть. Алсо, если куча классических попсовых задач типа распознавания изображений, категоризации изображений и т.д. Алсо, в любой книжке по датасаенсу есть типовые попсовые задачки... >Какой-то хардкор, нет чего-то более плавного? Выше написал, но, боюсь, не поможет - ты какой-то совсем уж тугой.
Ладно, хуй с тобой долбоёб, давай тебе лучше лекционной годноты подкину:
Формально курс для биологов и они там матлаб используют, но не обращай внимания, они там общую теорию/практику излагают, плюс, на питон переложить недолго. Там прям с самых основ всё.
>>251019116 >куча классических попсовых задач Воооооооооооот. Где мне их найти с решениями???? >Алсо, в любой книжке по датасаенсу есть типовые попсовые задачки... Их много, что порекомендуешь? >лучше лекционной годноты подкину СПАСИБО! Вот, о чём я. Кто что рекомендует по курсам
>>251019386 >Воооооооооооот. Где мне их найти с решениями???? ЁБ ТВОЮ МАТЬ-ТО БАРАН БЛЯДЬ!!!! Какие задачи с решениями, дебил? Ты берёшь какую-нибудь книгу и видосы с теорией, качаешь рандомные данные с сайта той же ФСГС, и на их основе изучаешь инструментарий: вгонку кривых в экспериментальные данные которые сука у тебя уже есть, ты их только что скачал с сайта ФСГС, регрессию, выбор и тестирование модели, уменьшение размерности данных и т.д. и т.п.
В чём блеать проблема-то это всё сделать, не могу понять?!
>Их много, что порекомендуешь? Книжки не порекомендую, ибо не знаю, на каком ты уровне. По задачам расписал, та же сортировка изображений - прекрасная учебная задача: из вороха фоток учись только котиков выбирать, или баб голых от одетых отличать, или любую другую хуйню, которая в голову взбредёт. >Кто что рекомендует по курсам Потому что аноны не волшебники - не могут угадать, на каком уровне ты находишься, и чего ты от этой жизни вообще хочешь.
Ты, походу, и сам этого не знаешь... что является тревожным звоночком, ибо ты похож на книжко- и курсо-дрочера, которых книгами и лекциями абстрактно упарывается, просто потому, что тема модная, а не потому, что эти знания/навыки тебе реально нужны.
>>251020166 >не знаю, на каком ты уровне Считай, что на бозовом уровне питуна >Ты, походу, и сам этого не знаешь... Ну, я с точных наук, там и хочу применить знания. Вроде, обработки данных экспериментов, определения различных небесных тел и тп
>>251020536 >Считай, что на бозовом уровне питуна Я имею ввиду познания в области собственно дейтасаенс. Но я тебе ссылку на курс лекций уже скинул. >Ну, я с точных наук, там и хочу применить знания. Вроде, обработки данных экспериментов, определения различных небесных тел и тп Капец, ты экземпляр канеш! Ты ищешь каких-то волшебных задач, при том, что они у тебя уже имеются.
>>251021200 >познания в области собственно дейтасаенс Ноль вообще, профан >Ты ищешь каких-то волшебных задач, при том, что они у тебя уже имеются Так они сложные, это что-то далекое для меня
>>251021326 >Ноль вообще, профан Ну так вот по лекциям и будешь фигарить - они как раз базовые. Рекомендую предварительно пикрелейт скурить - там не дейтасаенс как таковой, но правильные базовые вещи, которые тебе в дс понадобятся. >Так они сложные, это что-то далекое для меня Ну так, как раз и будешь учиться чистить данные, подгонять под эту фигню стандартные математические кривые, формировать и тестить модели и прочая-прочая
>>251021789 На пикрил увлекательная манга?) Спасибо, скурю >Ну так, как раз и будешь учиться чистить данные, подгонять под эту фигню стандартные математические кривые, формировать и тестить модели и прочая-прочая Я, наверное, начну с самых стандартных задач из книг, но за конечную цель возьмусь быстрее, чем ожидал
>>251021612 >крутить без конечной задачи так себе идея. я бы посоветовал с кагле прошлые конкурсы смотреть ХЗ. Есть риск увязнуть в частностях, но не иметь при этом системного понимания.
>>251016479 (OP) Здравствуй, ОП. Недавно взяли на работу дсником. Из основ https://stepik.org/course/4852/ , годный курс. Ещё на сайте Visual Studio раздавали подписку на три месяца на DataCamp, сайт чисто по ДС/ДА/ДЕ для начинающих. Книги я бы не советовал, тк в них информация устаревает. Ещё если хочешь углубиться в Deep Learning, то https://www.youtube.com/c/DeepLearningSchool/ — канал от челов из МФТИ, довольно неплохо объясняют как и базовые вещи, так и сеточки для глубокого обучения.
>>251022221 Здравствуй, почти пентипл. >Из основ https://stepik.org/course/4852/ Там платить надо? А то с курсейрой попал так, там бесплатно, а потом оказалось платно >канал от челов из МФТИ Мерси боку
>>251022013 >На пикрил увлекательная манга?) Не. Тоже издательство Омуша, но серьёзнее их манга-серии. Мангу тоже можешь навернуть, там попса какая-то есть по рядам Фурье, регрессионному анализу и машобучу. >Я, наверное, начну с самых стандартных задач из книг, но за конечную цель возьмусь быстрее, чем ожидал Анон, не циклись на волшебстве и прикладных задачах. Лучше наработай фундаментальное понимание предмета.
Пойми, к примеру, что любой дискретный процесс - это не какая-то абстрактная херь, а тупо вектор, лежащий в n-мерном пространстве, и, соответственно, к нему можно применить всю ту математику, которую ты в школе изучал. Можно вычислить косинус угла между двумя векторами, который в анализе данных и дс будет называться коэффициентом корреляции, соответственно, можно оценить похожесть/непохожесть двух векторов (= процессов) и бла-бла-бла.
Кароч, смотри не увязни в частностях, и не упусти общую картину.
>>251022457 На степике много бесплатных курсов, но имей ввиду, что сертификаты не особо котируются. Этот курс вроде от карпова, он очень круто преподаёт. А вообще дрочи питон, без него ты не нужен мимо другой анон, тоже вкатывался
>>251022776 Там же есть интерактив по СКЛ, от Дальневосточного университета. Я его щас прохожу, очень крутая хрень, если у тебя базовые знания как у меня/вообще их нет.
>>251022776 >сертификаты не особо котируются Да мне нахуй не нужны сертификаты >А вообще дрочи питон, без него ты не нужен Мне только что сказали, что питон не нужен особо, ток его библиотеки
>>251022731 >коэффициентом корреляции О, фига, в вашем мат.аппарате углы даже есть)00)) На самом деле я понял всё, что ты написал >Кароч, смотри не увязни в частностях, и не упусти общую картину Спасибо, постараюсь
>>251022875 >Мне только что сказали, что питон не нужен особо, ток его библиотеки Дак это тебе долбоебы какие-то говорят. Питон на дс нужен, там блять машинное обучение, там кодить как не в себя надо уметь. Можешь еще Р выучить, если время есть, на нем статистика, говорят, легче рассчитывается. Хотя я доверяю питону.
>>251022875 Все библиотеки питона подразумевают базовые знания питона. Тот же PyTorch юзается через сраное ООП, поэтому повтори основной синтаксис, встроенные типы данных, определение классов, их методов и функций.
>>251023078 >На самом деле я понял всё, что ты написал Анон, я к тому, что 90% курсов по дс - это:
Ко-ко-ко, изучаем анализ данных. Первым делом нам понадобится установить Python, pandas и matplotlib...
Дальше ты вязнешь в этом софтверном говне, и в результате становишься уверенным пользователем питоновских библиотек и построителем модных графиков в матплотлибе. А что у всех этих модных штучек под капотом ты, что до прохождения курса, что после прохождения, так и не отдупляешь.
Кароч, слишком много модного информационно-образовательного шлака, увы.
>>251023299 Понятия не имею. На том же степике есть курс для начинающих и продвинутых по питону. Можешь там надрочить руку, если ты про такие задачки. Я изучал питон у инфоцыган в скилфэктори бесплатно
>>251016610 Ты ещё дебажить в нём не пробовал, это ебаный ад. Твоё всё — Jupyter Notebook. А если нужен .py скрипт, то ты его и в вижуал студио можешь написать, там есть поддержка питуна и интерфейс не перегружен как в пайчарме
>>251023603 Старый, забыл сказать. Изучай еще парсеры и апи. Когда сможешь с какого-нибудь сайта подгружать инфу,закидывать ее в таблицы, автоматически обрабатывать и всякую прочую хуйню делать, поздравляю ты добился успеха.
Офигеть у опа говна в голове и гонора Я как-то даже не думал спрашивать у двачеров-уебков я никого не хочу обидеть, каждый воспринимает на свой счет что хочет Учил хардкорно по ютубу/ztm тензорфлоу(daniel bourke), разные материалы с разных мест, питон в гиперскиллз, визуализация была бесплатная на кодеакадеми, матан вспоминал по кханакадеми и так далее Понял что в голове полно говна и не могу идти дальше, немного не хватает до кэггловских соревнований Решил сделать шаг назад и вернуться к питону, статистике и базовых вещей типа веб-скрейперов и sql Опа считаю хуисосом и я так и не понял знает ли он английский, если не знает то рекомендую ему вешаться
>>251023901 > в нём не пробовал, это ебаный ад Не поверишь... Мне легче было скачать пайчарм, научиться с ним работать и тп. Вот настолько мне 'понравился' спайдер
>>251016479 (OP) 1. Пайтон для вката это плохо, нехуй верить курсам и школьникам. Да, у него простой и понятный синтаксис, и огромная куча библиотек. НО! С него нельзя начинать вкат, темболее в датасаенс. Обьясняю: датасаенс это 95% математики и геометрии(мат. анализ, тер, вероятности, производные, графы, матрицы, дифференциалы и еще не мало всего) и 5% программирования (то есть: автоматизации). И что бы хорошо оперировать математическими данными, нужно очень хорошо знать алгоритмы и их скорость работы (О-большое). И речь идет не просто про: arr = [4, 1, 125, 25, 235, 11, ...] print(arr.sort()) //когда за тебя все делает медленная неуклюжая функция, которая подвесит всю систему или как там в питоне, извиняюсь, уже подзабыл его. Ты сам лично, должен уметь построить и написать алгоритм, то есть действие за действием, (в цикле перебор элементов, их сравнение, замена) и вот так до полной сортировки. И я сейчас говорю не только про самую популярную "сортировку пузырьком" которая должна от зубов отскакивать у каждого программиста. В датасаенс даже на уровне вката нужен серьезный подход. То есть от той же сортировки пузырьком до параллельной кеш сортировки, алогоритмы поиска в ширину и глубину, алгоритм Дейкстры и Беллмана Форда, кодирование Хоффмана, Евклид. Хорошо уметь работать с рекурсией. Короче в датасаенс нельзя войти с ноги. Какую бы лапшу тебе на уши не вешали курсы или кто то еще. Поставь себе цель попасть в датасаенс, но начинать нужно не с этого. Иначе рискуешь очень сильно разочароваться вообще во всей сфере.
>>251025336 Вот это рофл конечно, красивая толстота Прелесть датасаенса и тех кто не перекатились в него из кодинга и вкатились напрямую - в том что не надо учить все эти хуисосные алгоритмы хуйни. Простые функции тенсорфлоу типа банального cast это 200 с хуем строчек кода, которые никто в здравом уме писать заново каждый раз не будет Собственно вся эта хуйня ломается об то, что любой может зайти на kaggle, открыть текущие соревнования с призом в 100к баксов и посмотреть там что пишут люди для их решения, вот это и есть дата-саенз в чистом виде. Очень какой-то мизерный процент пользуется тф через си или жс(хотя можно) и естественно никто не пользуется пай-торчем ни на чем кроме пай-тона ежу понятно
>>251016479 (OP) Питон - язык для yoba-кодеров, которые уже серьезно освоились в сфере и им нужен язык по проще для реализации своих хотелок в короткие сроки, а в прод уже пойдет нормальный выдроченный код и скорее всего на низкоуровневой параше типа С++. У питухона огромная база всяких либ, но эти либы целиком никто не юзает, а тягают от туда - то что нужно по ситуации, и если ты ньюфаг не отдающий дупля, ты охуеешь от переизбытка инфы и забросишь дело.
>>251016479 (OP) Тензорфлоу не нужен, изучай пайторч. Или джакс. Но лучше все же пайторч + пайро. >Сразу скажу, что есть знания матана от пределов до анализа фурье, а так же по линалу. Но тебе не анализ нужен, а статистика. Вообще, датасайенс - это для прикладных математиков, которые еще программируют. Питон - это дело не первой, а второй важности. Т.е. важно, но если основного скила нет, то питон не поможет. На собеседованиях будут дрочить тебя по статистике, а не по питону.
>>251016479 (OP) Хуй знает, я пока учился в аспирантуре, это всё как-то само выучил. Честно говоря, мне кажется что это всё про опыт решения каких-то конкретных задач, а не про знания. А на всех собеседованиях меня просили литкодовские задачки решать, подразумевая что если я учился в аспирантуре, и удосужился задрочить литкод, то всю эту хуйню из ОП-поста уж наверняка знаю.
>>251025655 Понимаешь, дс это сфера, особенно в рашке, где тебе нужно знать раза в 3-4 раза больше чем обычный какой-нибудь веб или мобильный кодер и при этом рассчитывать на 70% от зарплаты этого кодера. В дс еще сильнее развита проблема не брания джунов на работу, ты буквально не найдешь вакансий где есть джун, есть джун+ но это отдельная тема. Тебе буквально будет нужно скорее всего выполнять работу и аналитика, и мл-ресерчера и девопса одновременно, ну или быть хотя бы в курсе всего пайплайна. При этом в отличие от джавы твои знания будут каждые полгода подустаревать, ты будешь каждые полгода читать про новые модели, разделы фреймворков, БУКВАЛЬНО пока ты будешь учить тот же тенсорфлоу часть фукнций из tf.model.experimental.pososat_zalupu переедет в tf.model.pososat_srazy_dve_zalupi Я не знаю кто в здравом уме стал бы в это вкатываться, когда есть веб, мобилки или админство
>>251025586 >которые никто в здравом уме писать заново каждый раз не будет В рабочем проэкте, как раз таки это самое трудозатратное и дорогое. Даже разница в 0.1ms на проде будет существенной. Я не буду отговаривать или переубеждать, если хочешь заниматься для себя и расширять кругозор - валяй так, как тебе этого хочется. Но когда знания подтянешь на должный уровень, все сразу станет на свои места и придет понимание.
>>251025710 это делается припиской в трейнинг сете параметра AUTOTUNE и если карта уровня теслы т4 - оно будет делаться само Дата саенз это не дроч оптимизации алгоритмов блядь, это получение инсайтов из огромных массивов даты, структурирование, визуализация, получение выводов, предсказание. Все эти пузырьковые сортировки идут нахуй, ведь ты не компилируешь свой экзешник, ты запускаешь это все на колабе, 99% времени рассчетов все равно идет тренировка нейронки так что неэффективность встроенной функции/метода .sorted() которая замедляет твой процесс обучения который будет длиться 3 суток на 0.000004 секунды как бы к хуям идет
>>251026042 >какие ты там рефлекс Пиздец, чет я в голосиниус с этого села. Референс, референс, а не рефлекс, полудурок. Какая нахуй верстка, там твое место бегунка с коробкой за спиной равшан отжимает, а ты расселся...
>>251025940 >Я не знаю кто в здравом уме стал бы в это вкатываться, когда есть веб, мобилки или админство Математики вкатываются в дс, потому что писать для мобилок или формошлепствовать - это умственная деградация и вообще унижение человеческого достоинства.
>>251025940 >70% от зарплаты этого кодера Да мне похуй >Я не знаю кто в здравом уме стал бы в это вкатываться, когда есть веб, мобилки или админство Мужик, я занимаюсь точными науками и математикой. Мне не всралась ЗП и 'легкие альтернативы'. У меня есть интерес применить знания для результатов экспериментов Ну и это интереснее гораздо, чем писать калич для мобилок
>>251026040 Хуила ты мне ответь тогда зачем вообще существуют тензорфлоу, пайторч, катбуст, все фреймворки для sql, любые либы в принципе, если все можно на ассемблере машинным кодом каждый раз с нуля писать ведь в РЕАЛЬНЫХ проектах каждые 0.1 мс важны, все либы и все языки кроме ассемблера ну или С это так, развлечения, чиста по приколу хуйня существует?
>>251026135 >референс, а не рефлекс Ну, прочитал неправильно, моя ошибка А остальное.. Ты чё несешь? По делу говорить будешь или уже сьебываешь из треда?
>>251026234 А, сорян, я забыл дописать вторую часть поста Короче если цель деньги то все есть в посте, лучше что-то другое Но если есть бернинг пэшшон и хочется вот прям именно в ДС, то у человека бы не возникало таких тупых хуисосных вопросов как у тебя в этом треде, т.е ты уже проебан, можешь даже не пробовать
>>251026421 Мой тред, епта. Что хочу, то и говорю. Ты, чепуха ебаная, не нравится - перекатывайся от сюда нахуй. Если по делу есть что сказать, то выкладывай. Если в мудях звенить и есть желание флудить, то вали нахуй. Ты тут не нужен, газонюх
>>251026380 >то у человека бы не возникало таких тупых хуисосных вопросов Тут тред а-ля, какие пособия и материалы посоветуете по личному опыту. В чём проблема?
>>251018703 Смотря на какой собес идешь. В любом случае даже если собираешься клепать телега-ботов тебя будут ебать в очко алгоритмами. И не просто спрашивать определения и работу какого то алгоритма. А дадут задачу и попросят решить её псевдокодом с разьяснениями какой алгоритм ты выберешь, почему и как будешь действовать. Пример: у тебя массив данных, типа как на пике. на 17669строк и размером 960ГБ. Вы мигрируете на другой датацентр. Пришли данные от статистов, что 29% данных в массиве не ликвидны. Не ликвидные данные нужно отсортировать и вынести в отдельный массив с точностью до 2% и слить дату в логи для проверки. Остальной массив отсортировать в процентном соотношении и подготовить к миграции.
Типа того, короче и тебе придется рассказывать с чего ты начнешь и как будешь действовать, код писать скорее всего не заставят. Проверят твои знания по питухону парой вопросов по синтаксису и все. Главное ебаные алгоритмы.
>>251026803 В том что заебали дети, срущие этими тредами днями и ночами. Когда вы рулетко-аленей крутили и то так блевать не тянуло. Уёбывай обратно в тематику, где тебя уже и так накормили хуями.
>>251018703 Можно, тут даже лучше, есть сайт kaggle где есть соревнования и датасеты, ты выполняешь задание, его проверяют и присуждают тебе рейтинг, ты можешь приложить свой акк на каггле к резюме и это фактически как гитхаб с проектами Ничего так же не мешает выкладывать на гитхаб простенькие проекты например определялки что за еда на фото или автодетекта матершины, или какого-нибудь чатбота для телеги
>>251026884 >В том что заебали дети Я не ребёнок, но на сторону защиты детей встану. Блять, б утопает в тредах про трапов и прочую малофью, если кто-то среди этого всего решил вкатиться в ДС, то прекрасно. Не нравится - проигнорь тред. Так нет, надо, ебать, прийти и высказать свое фе окружающим, типа 'царь большая елда' в треде, целуйте пятки. Слышь, чушка ебаная. Ты кто нахуй такой вообще? Ты по теме говорить будешь или просто жидко пернуть зашёл? >Уёбывай обратно в тематику Там мертво просто
>>251027205 >Я не ребёнок, но на сторону защиты детей встану. 134 УК РФ
>решил вкатиться в ДС, то прекрасно Ноуп. Придёт однажды ко мне на собес, потратит зря своё и моё время, в любом случае пойдет нахуй. Люди познающие жизнь через /b/ навсегда остаются в /b/.
>Ты кто нахуй такой вообще? Конкретно для тебя - хозяин, повелитель.
>Там мертво просто Дауничей с полным ртом мёртвых хуёв просто тактично игнорируют как на пикриле. Это не дно, это блять какая-то нахуй марианская впадина человеческой деградации.
>>251027389 Да мне не важна ЗП и конкуренция, мне сам ДС интересен. Как оно работает, как применить его в точных науках, какие фишки из математики можно было бы добавить и тп
>>251027504 >Придёт однажды ко мне на собес, Да мне поебать на твой собез и твоё время. Я к тебе на парашу помогать носки стирать не пойду, чуханочка >Конкретно для тебя - хозяин, повелитель. Я не помню, чтобы я под каким-то петушком ходил.Ты что-то попутал, чепхуа ссаная. >как на пикриле такой шизофазии я не писал
>>251027946 >Сук, селюк заканчивай Вот это аргумент. Доебался до опечатки >говноедской породы Боишься, что работу у тебя отниму, не волнуйся, на твое место у параши не претендую, газонюх
Т.е по вопросам ты нормально ответить не можешь? Ну так вали, епта, не позорься, шиз пописял тебе на личико
>>251027504 Адекват, что ты делаеш в этом постхаркаче? ти же даже не можеш здесь дишат. Серьезно, отсюда съебывать надо, тут смесь бототреда и посанских пабликов, зачем здесь сидеть???
>>251016479 (OP) >математику поднимать не нужно Про полином пояснишь на раз? Статистику, теорвер тоже знаешь? Векторы, градиентные спуски от зубов отскакивают?