Applied ML Scientist. Юра — Рыночек 0:10

Почитать LinkedIn так все разрывают фаанги и доминируют (если, наоборот, не лэйоффауются). Вот вам в копилку история без хэппи-энда, чтоб selection bias немного поправить.

Характер моей работы

Перед тем как опишу заход по собесам в 2023, расскажу про свою ситуацию. Я живу в Нидерландах, работа есть, более того, довольно крутая – Principal ML Scientist в большой корпорации. Титулы не передадут характер моей работы: чистый applied science, мы работаем над прототипами, дальше, если у идеи есть потенциал – то в кросс-функциональных командах с разрабами, продактами, проджектами деплоим. В каком-то смысле мы белые воротнички, т.к. поддержка решений ложится не на наши плечи – мы прыгаем к следующей идее (сейчас, конечно, скорее всего что-то с LLM). Так, например, родился и процветает проект по Research Integrity (описывал тут и тут).

Но я уже почти 4 года в компании и, несмотря на 2 повышения, хочется выходить на новый уровень, например, в тир-3 из классического поста Gergely Orosz "The Trimodal Nature of Software Engineering Salaries in the Netherlands and Europe". Так что я искал в основном что-то типа Applied Science позиций в топовых корпорациях или стартапах.

Собесы в 2022 году

Трекать свои собеседования я начал только с июля 2022. И за полгода до конца 2022 воронка такая: 13 моих откликов, 4 игнора (2 отклика были с рефералами, 2 – без), 6 отказов на входе (из них было 2 реферала), 1 собес сам завалил (Booking), еще один собес показал взаимное отсутствие симпатии (eBay Classifieds) и только в одном месте успешно прошел все собесы (Amazon). Когда я подбил эту статистику и опубликовал, приятель разразился следующим мемом

Booking.com, Senior ML Scientist, Амстердам

У букинга довольно интересный  ML system design, с ярко выраженной бизнес-компонентой. И хоть я в целом знаю, как проходить собесы такого типа, с Букингом уже два раза завалил. Надо активнее готовиться и вычитывать все истории таких собесов, до которых можно дотянуться. Пример диалога:

- При поиске отеля на стартовой Букинга некоторые предложения подсвечиваются меткой  "Hot" (представьте фильтр с Сицилией в июле). Как это понятие определить и как предсказывать эту метку?
- Порассуждал про деньги, имеющиеся данные, предложил решать как задачу классификации, передумал. Давайте предсказывать время до того, как будут проданы все места в гостинице. Если оно малО, вешаем метку "Hot"
- А как соберем данные конкретно для такой модели регрессии?
- Обсуждаем данные
- Хорошо, вроде понятно. Но вот мы предсказали, что все номера в июле будут распроданы. Но люди ведь также освобождают номера, и в августе метка "Hot" может быть уже нерелевантной.
- Точно! Предлагаю, как учесть сезонность
- А как убедиться, что модель лучше, чем более простая эвристика?
- Описываю постановку A/B-теста, время кончается.

В 2018-ом фэйл был еще более красочный:

- Некоторые предложения в выдаче отелей подсвечиваются меткой "Value for Money". Как это определить и как предсказывать?
-Хм.. давайте посмотрим на два признака: цена и рейтинг отеля на букинге. Введем 2 порога и определим "Value for Money" как относительно дешевый отель с относительно неплохим рейтингом.
- Хорошо. А как это предсказывать будем?
- Берем такие-то признаки отеля и такие-то признаки клиента. Линейной моделью предсказываем бинарный таргет "Value for Money"
- Так, а признаки цена и рейтинг отеля будем включать в модель?
- Да... упс.. правда, они же уже определяют таргет

Вовремя не выкрутился, пришел фидбек, что я не понимаю разницу между обычными признаками (а.к.а. предикторами) и целевым :)

eBay Classifieds, Senior Data Scientist, Амстердам

eBay Classifieds – это не совсем eBay, бизнес скорее похож на Avito, и eBay в какой-то момент решил его продать холдингу Adevinta. С ними я собеседовался 2 раза и оба раза было взаимное отсутствие симпатии. Я им рассказывал, что ценю творчество и R&D, в ответ слышал что-то типа того что "херачить надо", как если б это не было ложной дихотомией. И вообще даже моя Ph.D.-степень выглядела минусом в беседах с этими ребятами. Проскакивало что-то типа "это бизнес, мы тут о деньгах думаем, это не Ph.D.". Посыл понятен, но до свидания, вообще ни разу не пожалел.

Amazon, Senior Applied Scientist, Люксембург

Вот Amazon прекрасно понимает, что такое Exploration vs. Exploitation, и не только скупает перспективные стартапы, но также содержит немалый штат Applied Scientist-ов. Тут первично слово "applied",  характер работы такой, что ты исследуешь тему, ищешь новые решения (например, как завести  нейронки для рекомендаций или как с causal inference убедиться, что увеличение кликов по рекламе действительно вызвано нашими изменениями в алгоритме), а потом катишь это в прод. Вплоть до того, что Applied Scientists тоже умеют в продакшн-код. За хвалы Амазона можно кучу хейта схватить, но по моему рисечу и общению с ребятами из европейских офисов Амазона сделал вывод, что в Европе все намного приятней, чем в US, делается поправка на work-life balance, всяких URA (уволить 6% самых слабых) нет и в целом все адекватно, особенно в AWS.

Про собесы в Амазон материалов море, подробно рассказывать не буду. Но вкратце этапы были следующие:

• на первом пара поведенческих вопросов, простые вопросы на ML depth (что такое эмбеддинг, в чем минусы использования сигмоид-активации в нейронных сетях, как из BERT-а получить представление текста), небольшой ML system design (без всяких подвохов, не как у букинга)  и кодинг уровня изи-изи (не сильно сложнее подсчета слов в файле)
• техническая презентация про свой проект
• кодинг уровня литкод-изи
• приближенный к жизни кодинг в стиле пройтись по файлу с кликами и БД с показами, посчитать CTR в разбивке по странам
• ML breadth (снова большинство вопросов очень простые, типа чем случайный лес отличается от бустинга или LSTM vs. transformers – какие плюсы/минусы у обоих подходов)
• ML depth
• отдельный behavioral

Все прошел, сказали "красава! но но эту позицию мы уже наняли чела". Предложили Эдинбург, отказался, пошел матчиться с другой командой. Фриз, до свидания, приходи снова собеседоваться через год.

Собесы в 2023 году

Тут было большое количество откликов. Но по собесам воронка 7 -> 0.

Яндекс, ML engineer, Амстердам

С Яндексом я собеседовался по фану, ради опыта, не эмэль инженер я вовсе да и платят мало по мнению зажравшихся нидерландских синьоров.

Как и много лет назад, я не прошел, всему виной литкод. На тот момент я был надежно готов только к задачам уровня изи, а вот медиум уже 50/50. Собственно, на задаче в стиле MinStack (напиши структуру данных с операциями вставки, удаления и минимума со сложностью O(1)) я и поплыл чутка, решил, но "с подсказками интервьюера".

Из плюсов – подробная обратная связь. И первый собес на дебаггинг кода трансформера мне понравился.

Uber, Senior Applied Scientist, Амстердам

Две простые задачи на кодинг уровня "merge 2 sorted lists" и подсчета среднего в растущем списке. Далее вопросы ближе к бизнесу (потом от ex-DS  Lift слышал, что все "таксисты" этот вопрос задают) а-ля есть гипотеза, что таксисты, у которых долго нет заказов, уходят оффлайн (то есть заканчивают на сегодня), как это проверить?

Фидбека не дождался, пришел ответ, что саму позицию в Амстере решили не открывать.

eBay, Principal Applied Scientist Gen AI, Амстердам

Тут я пошел по рефералу, причем отзывы о позиции были крутые. Generative AI, да что еще надо.

Звонок с hiring manager понравился, он меня уже почелленжил, как бы еще LLM-ки прикрутить к показу рекламы.

Второй собес с Applied Scientist слегка удивил. Чел гонял меня по своей боевой задаче – всякие bi-encoders и cross-encoders в задаче семантического поиска, а конкретно – рекомендации релевантных ключевых слов для рекламных объявлений. Там много заковыристых вопросов, например, надо ли эмбеддинги ключевых слов обучать отдельно от эмбеддингов рекламных описаний или вместе. Если вместе – то может, с metric learning, если да, то как. А вот вышел Iphone 20, у нас он начал появляться в описаниях, но в базе ключевых слов такого айфона еще нет, что делать? Я слежу за проектом коллег с семантическим поиском, но все же на такие вопросы сложно ответить, если сам руками не пропахал подобное.

Ну и чел ожидал "продакшн-опыт с RLHF", хех. Очень странное ощущение вызвал собес. Во-первых, миддл собеседует потенциального принсипала (должность на 2 ступени выше), во-вторых, спрашивает про такую узкую тему, в-третьих, у него по сути право вето. Да, по продуманности процесса найма им до конкурента Амазона еще очень далеко.

LLM researcher в стартап, Лондон/ремоут

На бумаге описание выглядело очень круто, вилка роскошная. Сделал домашнее задание (оплачиваемое!) по файнтюнингу LLama-2, пообщался с командой, услышал много комплиментов в свой адрес. Пришла отмаза в стиле "ты у нас не будешь счастлив, мы не хотим тебя перетаскивать с насиженного места". Знакомому ответили примерно то же. Осталось впечатление, что верхнюю границу вилки они приукрасили, и вообще не знают, что хотят.

Fun fact: среди собеседующих был мой менти.

HFT фонд 1, ML researcher, Амстердам

Никогда бы не стал туда собеседоваться, если б знакомый из Амазона не скинул контакты эйчара и не озвучил вилку. Космос просто! К тому же не требуют опыта HFT.

Пообщался с hiring manager, почти идеально решил алгоритмическую задачу (там немало HFT-тематики и контест больших данных, надо аккуратно смотреть, что лезет в память, а что нет, но в целом простая задача как вник – на словари). А вот с ML-задачей под конец 4-го часа затупил.

Но жалеть особо не о чем, ребята работают по 50-60 часов в неделю, да C++ снова осваивать – такое я, молодой отец, с большим бы трудом потянул.

HFT фонд 2, DL researcher, ремоут

Довольно известный в узких кругах фонд, head of Deep Learning подключился ко звонку из качалки. Выдали домашнее задание на дебаггинг PyTorch-кода обучения модели в задаче time series. Все сделал, кучу багов нашел, получил фидбек, что я справился, но кто-то справился лучше. Классика. Опять же, это был бы слишком хардкор для меня, так что двигаем дальше.

Снова Amazon, Applied Scientist, Амстердам

История как год назад, с той лишь разницей, что я не прошел :) Bar raiser-у не понравилась пара моих ответов про leadership principles и один технический вопрос про p-value я тоже запорол (проводим кучу экспериментов, каким будет распределение значений p-value при верности нулевой гипотезы?).

Тут я не сильно жалею, поскольку собирались лоуболить до L5 (миддл). Я конечно понимаю, что Амазон крут, но не с принсипала на миддла же идти, кек.

Fun fact: еще один мой менти прошел все собесы, причем на L6, ситуация как у меня в 2022 – успели нанять другого, попал в бэклог.

Заключение

Как поет Би-2, "я двигаюсь дальше". Уж сколько было историй, как в гуглы попадали с n+1-ого раза, надо просто не падать духом и проявлять настойчивость. Ситуация, конечно, непростая. И лэйоффнутых много, и рыночек постепенно поворачивается лицом к работодателю. Но все возможно. Такая вот мотивирующая история фэйлов.