За прошедший год я вкатился в дата саинс, на днях выиграл первое серебро (топ 60 из 3600) в соревнованиях на каггле, это были первые серьёзные соревнования для меня. Так же нашёл работу на 80к в мск (первая по этой специальности). В след. году хочу взять мастера на каггле и получать 110+. Исходные данные в начале года были:- пятый курс нормального столичного технического вуза по специальности инженера- почти свободный английский- знание основ питона и структур данных/алгоритмов- знание матана, немного тервера, матстата и линала (хотя относительно большинства выпускников-инженеров я знал эти вещи хорошо)- три года работы инженером на треть ставкиЗадавайте вопросы, если не долбоебские - отвечуПикрандом
Давайте сразу некоторые вещи объясню:1) нужен ли английский? Нужен. Ну или достаточное упорство, чтобы всё переводить и учить англ. параллельно. Ну или можно быть таким аналитиком, который работает пять лет за 50к и только в экселе2) Нужна ли математика? Нужна. Дата саинс/машинное обучение это на 75% математика. Хорошо писать код куда менее важной
>>210489431 (OP)> дата саинсЭто конечно в ДС, но я слышал что предложений по этому направлению пиздец мало. Какой лвл? Чем раньше занимался?Тоже хочу в перспективный ml попробывать вкатится, хотя бы как хобби. Мимо js макака синьер 200к
>>210490166Предложений дохуя, но конкурс большой. Придётся за хлеб воевать с выпускниками МФТИ, мехмата мгу. У нас их 8 из десяти человек в отделеХотя в компаниях без имени может быть полегче23 лвл, раньше полупрофессионально играл в лол/учился/работал инженером. В порядке трудозатрат расставил
>>210490609Сейчас я занимаюсь банковским скорингом, чуть подкоплю денег и опыта/медалек в соревнованиях и уйду в дип лернинг (компьютерное зрение, обработка естественного языка и т.д.)
>>210490960Что значит "перспективы"? ЗП?Чем лучше - не ебу. Я жс не трогал. Дата саинтисиам легко уехать, например. Область дальше будет только развиваться, зп высокие, работа сложная и интересная
>>210489431 (OP)с такими исходными можно куда угодно свои силы вкладывать. я за год ниче кроме чтений Макконела и воображаний в голове написанного не сделал, печаль. а тебе желаю сохранять энтузиазм в новом году
>>210491529Да, с этим я отчасти согласен. Но приходилось пересиливать лень и ебашить по 9 часов в день. А когда устроился на работу - то после неё. Пожертвовал всеми интересами. Надеюсь, когда-то я сделаю и прочитаю всё, что хотел
>>210489431 (OP)А в чём заключается работа аналитика можешь подробно расписать? Что значит "который работает пять лет за 50к и только в экселе", т.е. можно в экселе дату сайнить?
>>210492606Я опишу свои обязанности:- строить модели, которые предсказывают вероятность возврата кредита- решать, с какой вероятности выдавать кредиты- мониторить работу модели в явном времени- обосновывать свои решения- делать отчётность по выданному, невозвратам, прогнозировать будущее поведение этих цифр- прогнозировать потери компании из-за невозвратов, исходя из вышеописанного Данные дёргаю при помощи монструозных скл запросов (знал базу, нюансы выучил по ходу), анализировать данные и строить модели в питоне. Отчётность к Экселе (сводные таблицы)По поводу второго - аналитика - тоже дата саинс. Так что можно,но без машинного обучения
>>210493587Я тут с 2013. Захожу иногда почитать. Чем я тебе мешаю? Не привык к небиопроблемным тредам?
>>210493454Спасибо, а почему какая-нибудь программа / нейросеть не может этого делать? Ведь все данные есть, а ты лишь подставляешь их в формулы.
>>210491376> легко уехатьВ Гондурас? Никому ты там нахуй не нужен, весь энтерпрайз девелоп аутсорсится индусами, а на сцайенс девелоп у них своих китайцев хватает.Прогеры вообще долбоебы в плане трудовой этики, вместо того, чтобы растить отрасль вширь - делают хайп и набивают цену проприетарным инструментам и ожесточают конкуренцию.
>>210495453Я вуз ещё не окончил и раньше не работал по этому направлению>>210495401Потому что нейросети и любые другие алгоритмы не боги. Они заточены под нахождение математически оптимальное решение конкретной задачи. И даже в таком случае люди подбирают то, что называется "гиперпараметры". Как алгоритм решит, с какой вероятности возврата стоит давать кредит? Ты можешь выдать его лучшему 1%, но рано или поздно потеряешь всех клиентов. И миллион нюансов
>>210496132Ну и иногда sql запроса хватает, а потом копипаст в Эксель. Недавно на 1к строк один селект делал
>>210496024Два лично знакомых чела уехали. Побеждаешь на каггле, знакомишься и уезжаешь в СШАНе все трясутся за свою жопу, людям нравится делится знаниями
>>210496285Есть подозрение, что ты зелёный, но я отвечу. На построение (отбор фичей, сбор семпла, тесты) уходит минимум пару недель. А ещё документацию писать В среднем в месяц на модели уходит 40% времени
>>210496405Число победителей может быть равно числу участников? Числу вкатывающихся датасцаентистов в отдельно взятой стране?
>>210496416Вник. Перед тем, как пойти работать плевался и зарекался в нём не работать. Оказалось, что весьма удобно, особенно графики клепать
>>210496596Я начал год назад, в итоге в первых же соревнованиях попал в топ 2%. Всё зависит от старания и способностей. Я никому не гарантирую миграцию, но это проще, чем во многих других сферах. Математика везде одна, а ДС - математика. Лично я ещё года 4 уезжать не планирую, да и в целом это никогда не были целью
>>210496575Чет хуйня какая-то. Чтобы каскады в коллайдерах на каналы разбирать, нужно всего несколько моделей, а тебе всего один параметр надо посчитать, и ты 40% времени на это каждый раз тратишь.Какой-то мутный сцайенс у тебя.
>>210489431 (OP)>нашёл работу на 80к в мск (первая по этой специальности). В след. году хочу взять мастера на каггле и получать 110+Ну и чё, стоило жопу рвать ради зарплаты клепателя формочек на жс?
>>210496776По простому - олимпиады по машинному обучению>>210496818Интересно. Я люблю математику и компьютеры. Инженером тоже нормально было, но там застой и денежный и технологический.
>>210489431 (OP)Жидковато как-то, относительно того объёма знаний, что ты перечислил. Я после трёх лет работы админом получаю столько же в мухосранске, а в Москве 120+ предлагали и не раз.Хотя не знаю, наверное спустя ещё года 3 ты сильно больше будешь получать, но опять же, считай ты ещё и в вузе учился, а я даже шарагу не окончил. Хз даже.
>>210497000Последний раз тебе отвечаю: собираю по десяткам таблиц данные, проверяю их на отсутствие ошибок. Потом у меня датасет с 1000-3к признаков, мне надо отобрать около 50. Потом проверить, что на проде всё будет работать, потом написать документацию и с админами бд всё увязать
>>210497032>>210497122Мне это интересно. Для меня 80к на первой работе - хорошо. А то, что она интересная и того лучше. Ну и полугодовая премия выдаётся в 25% от дохода за полгода, что приятно
>>210489431 (OP)Исходные данные были такие же, но пошел не ебать себе мозг, а кодить обычную хуиту. Устроился в этом году на работку, сейчас зп 100. Работать оказалось гораздо проще, чем учиться, и перечисленная тобою хуйня, слава богам, не пригодилась.
>>210497626Ну вообще молодец, особенно если ВО и правда стоящее и применяешь знания. У меня его нет и это определённый минус. 80к, конечно, слабовато для ДС, но во-первых я уверен что у тебя это ненадолго, а во-вторых я вообще за 15к в месяц на первой работе системники пылесосил правда это считай что 30 было по тем временам, но все равно не сахар.Немного расстроили твои слова про конкуренцию из студентов вузиков, хотел в дата саенс тоже вкатиться н о похоже не мое, буду в девопсы идти.
>>210489431 (OP)Из какого вуза? Сильно потел (имею ввиду ботал жестко или просто боле мене ежедневно продвигался в своем напавлении)?Как качал английский
>>210498116СпасибоУ меня лучший друг девопс в Яндексе. Динамичная работаА по поводу конкуренции - главное начать. Если ты не совсем нулевый в плане способностей - можно хорошо устроиться. Я просто начинал с мыслью, что должен стать охуенный спецом, если планка "просто хорошо жить" - то не парься. Вакансий много и они разные, сложно в условные Яндекс, Тиньков, виде лабс
>>210498081>Рад за тебя. Мне тоже многое не пригодилось, но кто знает, что будет нужно в другой фирмеСкорее всего пригодится то, что ты узнаешь на нынешней работе. Но вообще именно в датасосаенсе тебе всякий линал рили может пригодиться. Хорошо, что не мне. >>210498155>Ну из русских ваших тут больше всего. Нихуевая прикладная математикаНу мб, мб, но мне не оч нравилось, как математику преподавали. Слишком сильный был упор на арифметику и набивание руки на типовых примерах. Пусть и сложных, но типовых, а на понимание задний было оче мало. В итоге происходит разочарование у тех, кто привык к интересной олимпиадной математике. Заодно и слишком мозг ебали общефизом и теорфизом, а уж они в 21 веке вообще нормальным людям не нужны.
>>2104983391) МАИ. Пошёл туда из-за общаги (прописан а мск, но жил в области), из-за ок баллов её дали. Факультет один из самых сильных, но в сравнении с топ вузами - хуйня2) жёстко ботал. Часов 5 в среднем, иногда целыми днями. Пришлось бросить лигу, которой посвятил большую часть сознательной жизни. Ленту перестал листать почти, в общественном транспорте теперь ботаю3) играл в лигу на высоком уровне, там всё на англ.
>>210492606Береш данные, береш все модели, в модели рандомные параметры пишеш, где точность больше то и выбираеш
>>210499025Хотя я достаточно медленно учусь. Легче перечислить примерный список лит-ры, которую я прочитал. Сейчас читаю научные статьи или с каггла интересующие решенияСписок:Лутц, изучаем питонDive into pythonГмурман, теор. вероятности и матстатBoyd, introduction to applied linear algebraThe hundred page ml bookКурс andrew ng "machine learning"Курс МФТИ и Яндекса "математика и питон для анализа данных"Курс МФТИ и Яндекса "обучение на размеченных данных"Гмурмана не дочитал. Скоро пройду по дип лернинг у что-тоНу и куча статей
>>210493454Бро, в каком банке работаешь? Я в департаменте рисков одного крупного крымского банка батрачу, интересно было бы пообщаться предметно.Должность у меня немного похожа на твою, но более прикладная и разносторонняя (при этом требует гораздо меньше знаний).
>>210499905Я работаю в МФО, которая является самой крупной на рынке. Может даже интереснее будет, давай почту Был удивлен, что тут всё белое, ЦБ раз в год заходит, аудиторы у нас кпмгА какая должность?
>>210499905У нас в рисках есть бизнес аналитики, фрод аналитики, просто аналитики, спец по внедрению моделей и риск-менеджер кредитного портфеля (самый лютый по скиллзам тип)
>>210499483В шад не хотел поступать? Сам делаю примерно тоже самое, тоже из средне вуза, ток я на первом курсе. Спасибо что подробно расписал.
>>210489431 (OP)Какой уровнь математики должен быть? (интересует в частности линал) Скажи примерный список тем.
>>210501496pandas.DataFrame.to_excel() гугли>>210501538Может поступлю, как накоплю денег на военник и год жизни, ведь придётся дропнуть работу. А может пойду в аспирантуру. Шад - это часов 30 в неделю. Если есть возможность - поступай
>>210489431 (OP)Какую именно математику используешь? Производные, интегралы там? Графики? Матрицы? Векторы?
>>210501810Матан - производные (градиент в том числе), да и всё, наверноеЛинал - операции с векторами, с матрицами. Решение уравнений, поиск обратной матрицы, собственные числа и векторы, сингулярное разложение, спектральное разложение, определитьТервер - различные распределения, численные характеристики этих распределенийМатстат - проверка стат. гипотез, метод максимального правдоподобия, численные оценки, интервальные оценкиПервое, что в голову пришло
>>210502460Ещё оптимизация функций, но это хз кудаХотя если особо жопу рвать нет желания, то хватит производных и действий с матрицами/векторами
>>210500827Телега d_ludwig, пишиМФО тема интересная, с удовольствием пообщаюсьДолжность у меня размытая, если в общих чертах, то контроль качества в рамках одного отдела, связанного с андеррайтингом нашей розницы. Естественно, занимаюсь не только самим контролем качества, название обязанности не отражает
>>210489431 (OP)Хуита какая-то. У меня исходные данные 4 года назад были такие - 4 года бакалавриата, взяли в Я на 120к. 80к в 2020 году - это зарплата операциониста в банке или балабола из колл-центра, а никак не выпускника нормального столичного технического вуза.
>>210499483>Курс МФТИ и Яндекса "математика и питон для анализа данных">Курс МФТИ и Яндекса "обучение на размеченных данных"Можешь рассказать о них? Все твои знания о структуре программы( построение, либы и пр.) ты из них почерпнул? интересен машоб для предикшена цен на бирже, факультативно, никто волком с волстрит становиться не собирается
>>210503317Я бы всё же советовал прочитать учебник по терверу и матстату, и так же какую-то часть учебника по матану, хотя бы до конца производных
>>210503883Джун в Яндексе не получает 120к, у меня оффер был, дурачок. Да и на вуз им похуй>>210503885Пробежал их на х2 скорости, на работе попросили. Для себя вообще ничего не вынес. Как по мне, курс от Эндрю лучше, имхо. Хотя новичкам может быть окПостроения и либы с каггла подчерпнул
>>210504670Дурачок здесь ты, если тебе на джуна офер дали. А мне 15-ый грейд вкатили. И на ВУЗ им не похуй. Врешь ты как сивый мерин, сдается мне ты простой жирдяй, а не дата саентист, лол.
>>210489431 (OP)>Так же нашёл работу на 80к в мск (первая по этой специальности).пиздец, а говорят в IT зарплаты большие. я офицантом вместе с чаем больше получаю
>>210503883Перечитал ОП-пост, там еще и 3 года инженером (если по ставке считать, то один, но тем не менее). Объеб как он есть, какие от тебя советы-то нахуй? Как проебать свою жизнь на хуйню?
>>210506978Внутренние уровни разработчиков в Яндексе, определяют зарплатную вилку и дают примерное понимание размера зоны ответственности человека.
>>210507967ебать там требований конь не валялся, а зп чуть выше чем у продавана пятерочки. ЧТО ВООБЩЕ ПРОИСХОДИТ?
>>210508887А можно подробнее? Типа 1 грейд это эникей, а 100-ый - гендир? Или наоборот? Есть звания какие нибудь у кратных грейдов?
>>210509399До воцарения императора была простая линейка от 1 до 7, где 1 - стажер, а 7 - principal developer (я на самом деле не знаю названия, так как пришел уже во времена империи). У менеджеров/админов примерно такая же линейка была. Гендиры out of scope, технически у них был грейд, но он им не требовался, так как вся эта хуита для среднего звена требуется.После прихода императора шкала оценок сместилась, джуны стали 12-ым грейдом, крутые разрабы 17-20 грейда.
>>210509860Кто такой "имератор"?Если джун стал 12-ый, то кто тогда с 1-го по 11-ый?Почему названия грейдов на английском?
>>210510673>Кто такой "имератор"?https://roem.ru/22-05-2019/277872/imperator-roque/>Если джун стал 12-ый, то кто тогда с 1-го по 11-ый?Сие есть великая тайна>Почему названия грейдов на английском?Я просто не помню старых названий, поэтому впихнул с нынешней работы лычку. В Яндексе все названия на русском были.
>>210510841Понимаю. Спасибо.А переработки в этом Яндексе есть? Можно прийти, отработать 8 часов и сразу уйти? Или будут косо смотреть? Я слышал, что в Кроке, например, принято работать 10 часов.Удалённо работают в Яндексе? Проще же делать всё дома. Не надо тратить время на дорогу.
>>210511394Эта тема самая холиварная в Яндексе, на мой взгляд. Потому что тебя никто не заставляет отрабатывать 8 часов, уходить и приходить можешь когда хочешь в пределах разумного, даже из дома по договоренности работать можно. Но все построено так, что ты ебашишь в среднем гораздо больше 8 часов в день.
>>210511773Ну вот будет приходить человек в 10. Уходить в 18. И так весь месяц. Почему будет в среднем больше 8-и часов? Или в 18:00 ему будут намекать, мол, "давай сначала доделай эту работу"?Почему у программистов так развит культ переработок? Когда жить?
>>210512432Нет, намекать не будут, так можно делать. Только ты не учитываешь, что там вкусная еда и печенье, тренажеры и массажные кресла, пиздатый офис, нерды с настолками, библиотека. Что там тебе ставят довольно много относительно интересных задач. Что ты можешь брать ноут и работать из дома. Что рано утром и вечером тебе приносят бесплатную еду. Тебе хочется проводить время в офисе и ты сам перестаешь замечать, как у тебя вся жизнь превращается в работу. Поэтому тебе самому не захочется уходить в 18:00.>Почему у программистов так развит культ переработок? Когда жить?Психология такая. Творческая профессия, интерес изучать новое. Невозможно грузчику хотеть таскать коробки, а программист может хотеть изучать какую-нибудь йобу, мозг же и подкинет аддиктивных веществ.
>>210512988Мне кажется, любой человек будет хотеть побыстрее вернуться домой. Какой бы не был охуенный офис, всегда хочется домой.
>>210493454Пидоры вы там ебаные. У меня кредитный рейтинг 970, оф зарплата с подтверждением 100к и мне 6 банков отказали в кредите 300к. Хуесосы. Хотел на НГ улететь в теплую страну.
>>210513169Это не так. Во-первых, далеко не каждый, во-вторых там даже для самых хикканов делается все, чтобы они чувствовали офис своим домом.Не хочу пиарить Яндекс - я сам оттуда ушел из-за того, что мне свободное время стало дороже. Но поверь, психологию кодеров и как заякорить их в офисе они хорошо понимают.
