Почитать LinkedIn так все разрывают фаанги и доминируют (если, наоборот, не лэйоффауются). Вот вам в копилку история без хэппи-энда, чтоб selection bias немного поправить.
Характер моей работы
Перед тем как опишу заход по собесам в 2023, расскажу про свою ситуацию. Я живу в Нидерландах, работа есть, более того, довольно крутая – Principal ML Scientist в большой корпорации. Титулы не передадут характер моей работы: чистый applied science, мы работаем над прототипами, дальше, если у идеи есть потенциал – то в кросс-функциональных командах с разрабами, продактами, проджектами деплоим. В каком-то смысле мы белые воротнички, т.к. поддержка решений ложится не на наши плечи – мы прыгаем к следующей идее (сейчас, конечно, скорее всего что-то с LLM). Так, например, родился и процветает проект по Research Integrity (описывал тут и тут).
Но я уже почти 4 года в компании и, несмотря на 2 повышения, хочется выходить на новый уровень, например, в тир-3 из классического поста Gergely Orosz "The Trimodal Nature of Software Engineering Salaries in the Netherlands and Europe". Так что я искал в основном что-то типа Applied Science позиций в топовых корпорациях или стартапах.
Собесы в 2022 году
Трекать свои собеседования я начал только с июля 2022. И за полгода до конца 2022 воронка такая: 13 моих откликов, 4 игнора (2 отклика были с рефералами, 2 – без), 6 отказов на входе (из них было 2 реферала), 1 собес сам завалил (Booking), еще один собес показал взаимное отсутствие симпатии (eBay Classifieds) и только в одном месте успешно прошел все собесы (Amazon). Когда я подбил эту статистику и опубликовал, приятель разразился следующим мемом
Booking.com, Senior ML Scientist, Амстердам
У букинга довольно интересный ML system design, с ярко выраженной бизнес-компонентой. И хоть я в целом знаю, как проходить собесы такого типа, с Букингом уже два раза завалил. Надо активнее готовиться и вычитывать все истории таких собесов, до которых можно дотянуться. Пример диалога:
- При поиске отеля на стартовой Букинга некоторые предложения подсвечиваются меткой "Hot" (представьте фильтр с Сицилией в июле). Как это понятие определить и как предсказывать эту метку?
- Порассуждал про деньги, имеющиеся данные, предложил решать как задачу классификации, передумал. Давайте предсказывать время до того, как будут проданы все места в гостинице. Если оно малО, вешаем метку "Hot"
- А как соберем данные конкретно для такой модели регрессии?
- Обсуждаем данные
- Хорошо, вроде понятно. Но вот мы предсказали, что все номера в июле будут распроданы. Но люди ведь также освобождают номера, и в августе метка "Hot" может быть уже нерелевантной.
- Точно! Предлагаю, как учесть сезонность
- А как убедиться, что модель лучше, чем более простая эвристика?
- Описываю постановку A/B-теста, время кончается.
В 2018-ом фэйл был еще более красочный:
- Некоторые предложения в выдаче отелей подсвечиваются меткой "Value for Money". Как это определить и как предсказывать?
-Хм.. давайте посмотрим на два признака: цена и рейтинг отеля на букинге. Введем 2 порога и определим "Value for Money" как относительно дешевый отель с относительно неплохим рейтингом.
- Хорошо. А как это предсказывать будем?
- Берем такие-то признаки отеля и такие-то признаки клиента. Линейной моделью предсказываем бинарный таргет "Value for Money"
- Так, а признаки цена и рейтинг отеля будем включать в модель?
- Да... упс.. правда, они же уже определяют таргет
Вовремя не выкрутился, пришел фидбек, что я не понимаю разницу между обычными признаками (а.к.а. предикторами) и целевым :)
eBay Classifieds, Senior Data Scientist, Амстердам
eBay Classifieds – это не совсем eBay, бизнес скорее похож на Avito, и eBay в какой-то момент решил его продать холдингу Adevinta. С ними я собеседовался 2 раза и оба раза было взаимное отсутствие симпатии. Я им рассказывал, что ценю творчество и R&D, в ответ слышал что-то типа того что "херачить надо", как если б это не было ложной дихотомией. И вообще даже моя Ph.D.-степень выглядела минусом в беседах с этими ребятами. Проскакивало что-то типа "это бизнес, мы тут о деньгах думаем, это не Ph.D.". Посыл понятен, но до свидания, вообще ни разу не пожалел.
Amazon, Senior Applied Scientist, Люксембург
Вот Amazon прекрасно понимает, что такое Exploration vs. Exploitation, и не только скупает перспективные стартапы, но также содержит немалый штат Applied Scientist-ов. Тут первично слово "applied", характер работы такой, что ты исследуешь тему, ищешь новые решения (например, как завести нейронки для рекомендаций или как с causal inference убедиться, что увеличение кликов по рекламе действительно вызвано нашими изменениями в алгоритме), а потом катишь это в прод. Вплоть до того, что Applied Scientists тоже умеют в продакшн-код. За хвалы Амазона можно кучу хейта схватить, но по моему рисечу и общению с ребятами из европейских офисов Амазона сделал вывод, что в Европе все намного приятней, чем в US, делается поправка на work-life balance, всяких URA (уволить 6% самых слабых) нет и в целом все адекватно, особенно в AWS.
Про собесы в Амазон материалов море, подробно рассказывать не буду. Но вкратце этапы были следующие:
- на первом пара поведенческих вопросов, простые вопросы на ML depth (что такое эмбеддинг, в чем минусы использования сигмоид-активации в нейронных сетях, как из BERT-а получить представление текста), небольшой ML system design (без всяких подвохов, не как у букинга) и кодинг уровня изи-изи (не сильно сложнее подсчета слов в файле)
- техническая презентация про свой проект
- кодинг уровня литкод-изи
- приближенный к жизни кодинг в стиле пройтись по файлу с кликами и БД с показами, посчитать CTR в разбивке по странам
- ML breadth (снова большинство вопросов очень простые, типа чем случайный лес отличается от бустинга или LSTM vs. transformers – какие плюсы/минусы у обоих подходов)
- ML depth
- отдельный behavioral
Все прошел, сказали "красава! но но эту позицию мы уже наняли чела". Предложили Эдинбург, отказался, пошел матчиться с другой командой. Фриз, до свидания, приходи снова собеседоваться через год.
Собесы в 2023 году
Тут было большое количество откликов. Но по собесам воронка 7 -> 0.
Яндекс, ML engineer, Амстердам
С Яндексом я собеседовался по фану, ради опыта, не эмэль инженер я вовсе да и платят мало по мнению зажравшихся нидерландских синьоров.
Как и много лет назад, я не прошел, всему виной литкод. На тот момент я был надежно готов только к задачам уровня изи, а вот медиум уже 50/50. Собственно, на задаче в стиле MinStack (напиши структуру данных с операциями вставки, удаления и минимума со сложностью O(1)) я и поплыл чутка, решил, но "с подсказками интервьюера".
Из плюсов – подробная обратная связь. И первый собес на дебаггинг кода трансформера мне понравился.
Uber, Senior Applied Scientist, Амстердам
Две простые задачи на кодинг уровня "merge 2 sorted lists" и подсчета среднего в растущем списке. Далее вопросы ближе к бизнесу (потом от ex-DS Lift слышал, что все "таксисты" этот вопрос задают) а-ля есть гипотеза, что таксисты, у которых долго нет заказов, уходят оффлайн (то есть заканчивают на сегодня), как это проверить?
Фидбека не дождался, пришел ответ, что саму позицию в Амстере решили не открывать.
eBay, Principal Applied Scientist Gen AI, Амстердам
Тут я пошел по рефералу, причем отзывы о позиции были крутые. Generative AI, да что еще надо.
Звонок с hiring manager понравился, он меня уже почелленжил, как бы еще LLM-ки прикрутить к показу рекламы.
Второй собес с Applied Scientist слегка удивил. Чел гонял меня по своей боевой задаче – всякие bi-encoders и cross-encoders в задаче семантического поиска, а конкретно – рекомендации релевантных ключевых слов для рекламных объявлений. Там много заковыристых вопросов, например, надо ли эмбеддинги ключевых слов обучать отдельно от эмбеддингов рекламных описаний или вместе. Если вместе – то может, с metric learning, если да, то как. А вот вышел Iphone 20, у нас он начал появляться в описаниях, но в базе ключевых слов такого айфона еще нет, что делать? Я слежу за проектом коллег с семантическим поиском, но все же на такие вопросы сложно ответить, если сам руками не пропахал подобное.
Ну и чел ожидал "продакшн-опыт с RLHF", хех. Очень странное ощущение вызвал собес. Во-первых, миддл собеседует потенциального принсипала (должность на 2 ступени выше), во-вторых, спрашивает про такую узкую тему, в-третьих, у него по сути право вето. Да, по продуманности процесса найма им до конкурента Амазона еще очень далеко.
LLM researcher в стартап, Лондон/ремоут
На бумаге описание выглядело очень круто, вилка роскошная. Сделал домашнее задание (оплачиваемое!) по файнтюнингу LLama-2, пообщался с командой, услышал много комплиментов в свой адрес. Пришла отмаза в стиле "ты у нас не будешь счастлив, мы не хотим тебя перетаскивать с насиженного места". Знакомому ответили примерно то же. Осталось впечатление, что верхнюю границу вилки они приукрасили, и вообще не знают, что хотят.
Fun fact: среди собеседующих был мой менти.
HFT фонд 1, ML researcher, Амстердам
Никогда бы не стал туда собеседоваться, если б знакомый из Амазона не скинул контакты эйчара и не озвучил вилку. Космос просто! К тому же не требуют опыта HFT.
Пообщался с hiring manager, почти идеально решил алгоритмическую задачу (там немало HFT-тематики и контест больших данных, надо аккуратно смотреть, что лезет в память, а что нет, но в целом простая задача как вник – на словари). А вот с ML-задачей под конец 4-го часа затупил.
Но жалеть особо не о чем, ребята работают по 50-60 часов в неделю, да C++ снова осваивать – такое я, молодой отец, с большим бы трудом потянул.
HFT фонд 2, DL researcher, ремоут
Довольно известный в узких кругах фонд, head of Deep Learning подключился ко звонку из качалки. Выдали домашнее задание на дебаггинг PyTorch-кода обучения модели в задаче time series. Все сделал, кучу багов нашел, получил фидбек, что я справился, но кто-то справился лучше. Классика. Опять же, это был бы слишком хардкор для меня, так что двигаем дальше.
Снова Amazon, Applied Scientist, Амстердам
История как год назад, с той лишь разницей, что я не прошел :) Bar raiser-у не понравилась пара моих ответов про leadership principles и один технический вопрос про p-value я тоже запорол (проводим кучу экспериментов, каким будет распределение значений p-value при верности нулевой гипотезы?).
Тут я не сильно жалею, поскольку собирались лоуболить до L5 (миддл). Я конечно понимаю, что Амазон крут, но не с принсипала на миддла же идти, кек.
Fun fact: еще один мой менти прошел все собесы, причем на L6, ситуация как у меня в 2022 – успели нанять другого, попал в бэклог.
Заключение
Как поет Би-2, "я двигаюсь дальше". Уж сколько было историй, как в гуглы попадали с n+1-ого раза, надо просто не падать духом и проявлять настойчивость. Ситуация, конечно, непростая. И лэйоффнутых много, и рыночек постепенно поворачивается лицом к работодателю. Но все возможно. Такая вот мотивирующая история фэйлов.
0:62, держи кулаки крепче ;-}
😱 Комментарий удален модератором...
мне зашло, очень познавательно. Не думал, что у амазона могут быть easy leetcode задачи, это ободряет.
В очередной раз задумался, насколько результат собеседования зависит не только от соискателя, но и от продуманности со стороны интервьюера. С разгона закидывать своими задачами соискателя, без должного времени на подготовку и погружения в контекст, идея сомнительная. Но может даже и хорошо, что такой подход красочно дает понять, что происходит в голове у потенциального коллеги или даже команды в целом
Последний раз искал работу 4 месяца,
2:600 (примерно, точно не считал), Сеньер-разраб на плюсах в Лондон
Насчёт "поворота к работодателю" не согласен, имхо эта была клоунада как раз весь 2023й год, в конце года ситуация стабилизировалась на "галерном" уровне: при том, что слышно про децимации в крупных компаниях, начали также и нанимать в тех же объёмах, то есть пошёл большой оборот кадров.
Спасибо за пост, прочитал с удовольствием. Ментально очень помогает осознание того, что даже у таких мастодонтов в ML/DL иногда случаются фейлы на интервью.
Ожидать "продакшн-опыт с RLHF" - это мощно, конечно.
Заметил, что за последние полгода это стало околонормой (как минимум в моем пузыре собеседований) - требовать опыт тюнинга и квантизации LLaMA, деплоя LLMок на сотни TPU кластеров и вот это вот всё.
йоу броу, а ты не смотрел вариант уйти на "фриланс", работая с корпоратами и проч по полугодовым контрактам?
понятно, что и там рынок сейчас тухлый, но при беглом чтении твоей статьи кажется, что фриланс в NL тоже стоит внимания, ведь там ты можешь закалачивать в ~2 раза больше денех при том же наборе скиллов
по крайней мере мне в последние 2 года иногда спамом залетали проекты с NL без требования знать местный язык, из-за чего я думал, что там тоже есть движ, как в DE
или ты пока еще в пути к своему пмж?
Горит жопа с ситуации, что "рынок работодателя" может позволить себе хайринг процесс с уровнем точности как у броска монетки.
Это к последнему Амазону.
Вроде и понятно почему все так, но горение от этого не тушится =)
Ооо, рад видеть на Вастрике. Собес из качалки — это сильно. Кто бы это мог быть?
Может это тонкий знак, что пора создавать что-то своё? Тем более столь мощный опыт :)
😱 Комментарий удален его автором...
А Яндекс - это именно Яндекс был, или тот кусок, что отделяется (Nebius/Toloka?)
Супер пост, спасибо! Удачи в дальнейших поисках!
Небольшой оффтоп) А слак ODS еще существует? или только Singularis остался?
не знал, что ты в клубе) помню проходил твой mlcourse.ai
А в реддит ты не подавался, потому что не знал, что они в амстере нанимают или забил?
Спасибо за крутые истории!
А что с вопросом про p-value отвергнутых гипотез?
Uniform? Или все-таки какое-нибудь lognormal, если принять во внимание, что мы не рандомные варианты тестируем, а осмысленные?