Applied ML Scientist. 2 тайм. Юра — Рыночек 2:16

Вторая часть захода по собесам, первую часть описывал тут, закончилась она со счетом 0:10. Опишу не только вторую часть, но еще статистику по всем ~50 собеседованиям на Applied Machine Learning Scientist и схожие позиции, полезные ресурсы и, куда без этого, нажитые мудрости да советы тем, кто сейчас в погоне за оффером. Это расширенная версия постов из моего канала "New Yorko Times". Времена и правда новые, поскольку забег по собесам закончился со счетом 2:16 и принятым оффером на стаффа в гугл (сказать, что я охренел от того, как все закончилось – ничего не сказать).

План

• Первая часть захода по собесам
• Вторая часть захода по собесам
• Статистика по 48 собесам на Applied ML Scientist
• Ресурсы в помощь
• Суть собесов: марафон, гигиена кукухи и контролируемая лотерея

Первая часть захода по собесам

Пост "Applied ML Scientist. Юра — Рыночек 0:10". tl;dr: отказы от Booking.com, eBay Classifieds, eBay, Amazon x2, Яндекс, Uber, двух HFT-фондов и LLM- стартапа.

Заключение первой части:

Как поет Би-2, "я двигаюсь дальше". Уж сколько было историй, как в гуглы попадали с n+1-ого раза, надо просто не падать духом и проявлять настойчивость. Ситуация, конечно, непростая. И лэйоффнутых много, и рыночек постепенно поворачивается лицом к работодателю. Но все возможно. Такая вот мотивирующая история фэйлов.

Вторая часть захода по собесам

Apple Music, ML Researcher for Recommender Systems, Лондон

Отказали после первого собеса, наняли моего бывшего коллегу, который уже в Лондоне да с большим опытом в рекомендашках. Fair enough.

Aiforia, ML Team lead – выходцы из Алисы и Sber Devices, сейчас на Кипре

Прошел HM-a (смесь бихейв/технического), далее kaggle-грандмастер Влад Крамаренко погонял меня по “основам эмэль”, что было легким троллингом, таких заковыристых вопросов я давно не видел. Некоторые начинались с промпта “я сам не знаю тут ответ”. Но в целом нужен был опыт с голосовыми технологиями, которого у меня совсем нет, так что без вопросов, не прошел.

Replika

Увидел их пост тут клубе, что ищут фронтендеров, но можно писать и просто так. Написал CTO, пообщались. Не то чтобы прекрасный матч, ребятам нужны рисечеры с большим уклоном в инжиниринг. Для себя сделал вывод, что как бы я ни хотел подсветить Applied Science, не стоит допускать фразы типа “копаться в конфигах” 🙂

Nvidia, Senior Applied Scientist

Боль и позорище, меня просто укатали в асфальт. Не failed, а failed miserably.

Знакомство сразу типа «че, порох нюхал?» на чем DPO гоняешь? Как distributed model parallel делал? Не, не делал, только DDP? А, че 70b модели не трогал? Интервьюер китаец и очень вежливый, но вайб примерно такой.

Дальше неплохо. Трансформер, NLP, все дела. Архитектуру трансформера вообще почти все спрашивают. Правда, чел лихо делал отсылки ко всяким статьям типа Retro, начитанный. Но я вроде норм поддержал беседу.

Посыпался я на первом же вопросе про инжиниринг. В чем отличие хранения переменных в стэке от кучи? И как это связано с локальными/глобальными переменными? Я не то что забыл, думаю, я никогда даже не изучал это. Я вопрос-то распарсил со второго раза. Максимум мог промямлить, что стэк появляется при рекурсии. Апогеем собеса стал вопрос №24:

И алгоритмы: задача «8 ферзей». Классика, 101, по словам интервьюера. Код писать не надо было, только решение описать. Но я что-то начал лепить то dynamic programming, то бэктрекинг. Хоть сложность факториальную правильно оценил, но все же четко не расписал решение с DFS. Думал это простая задача, база, а это хард.

NVIDIA ищет единорогов, крутых и в рисече, и в инженерии. Могут себе позволить, в описании вакансии Senior Applied Scientist вилка для US 180-333k, и это только base. А акции потолок пробивают. Так что все нормально.

Cohere, Member of Technical Staff

C этими ребятами прям все понравилось, очень адекватные собесы. Мелкое тестовое на оптимизацию питонячего кода (тут попалась та же задача, что мне Влад Крамаренко давал, так что не зря с ним собеседовался, хех). Вместо литкода –  ML coding, надо было реализовать сэмлирование из упрощенного LLM-декодера (жадное, top-k, top-p). ML system design был прямо про систему оценки LLM, над которой Cohere прямо сейчас работает. Полагаю, они немало идей черпают у кандидатов. И обзор статьи на выбор, тоже про LLM evaluation. В финале бихейв с большим боссом, и как-то искры не проскочило, получил не фидбек, а отмазу какую-то типа “lacked the level of adaptability and speedy execution”

Snorkel AI, Staff Applied NLP Scientist

Вот к этому варианту я прямо эмоционально прикипел (хоть и совет: не делать так до оффера). Стартап, основанный 5 пхд из Стэнфорда, бурно развивается, единорог. Видение у них довольно стройное: компаниям не нужны монстры с 1.8T параметрами, им нужны специфичные модели под свой домен, затюненные на своих данных (YC согласен: ”Request for startups”: small fine-tuned models as an alternative to giant generic ones). Snorkel топит за подход с programatic data labeling, который экономит время экспертов на разметку, а также вовсю юзает LLM для soft labels. Плюс дистилляция/квантизация – получаем мелкие и мощные модели, в блоге Сноркела полно таких историй (пример).

Тут тоже были очень адекватные собесы: сразу бихейв, потом ML coding, ML system design и презентация про рисеч-проект. И вот за последнее я словил фидбек “has shown too much leadership”. Причем, все остальные собесы – отлично. Шо бля? Я, конечно, сначала негодовал, но потом понял: “Юпитер, ты сердишься - значит ты не прав” (вики). Надо было уточнить у эйчара, какой архетип стаффа им нужен. Я техлид, а они, видимо, искали решалу, который может в одиночку рвать лидерборды и тащить проекты. Вот так, на горьком опыте, я добавил себе +1 вопрос к эйчарам/HM.

LLM-стартап, VP AI (оффер)

Стартап ноунейм, пресид, зато позиция аж VP, можно было бы пойти 6-ым сотрудником, с целым 1% компании. Заманчиво, но я трус и стартап не делаю.

Собес был довольно необычный – мне заранее прислали док с ~20 вопросами про все что угодно. "Мы LLM-стартап, почему нас не убьет следующее обновление OpenAI?", "Галлюцинации в нашем деле критичны, что с ними будем делать?", "Как будем встраивать отдел рисеча в структуру компании?". И вплоть до такого: "Сейчас все гоняются за GPU; может, мы будем умнее и посмотрим на новые чипы?". По всем вопросам предлагалось поделиться своим вижном. Пожалуй, самый интересный собес. Изначально CTO хотел потратить полчаса на литкод, но по ходу разговора такой: "ладно, не будем фигней страдать, хорошо беседа идет. high-bandwidth conversation".

Google Cloud, GenAI Field Solutions Architect (оффер)

В Гугл я зашел с реферала, наконец не заигнорили. По иронии, реферила меня девушка, которой я сам помог уйти из Гугла ("Она в Мистрале, а ты – нет").

Гугл постепенно сошелся к формату 4-х собеседований (это раньше могло быть и по 15-20). У меня были следующие раунды:

• leetcode + system design
• Role-related knowledge
• leadership & googleyness
• General Cognitive Ability
• “casual” беседа с менеджером

В первом раунде литкод показался простым, а дизайн – сложным. Дизайн я грокал основательно (к слову о том, что с собесами успех - это на 50% усилия и на 50% удача, все же ни к одной компании я не готовился так долго). У бигтеха можно попросить пару недель на подготовку, обычно к этому нормально относятся. И моки оказались очень полезны, особенно учитывая, что до этого я ни разу не проходил дизайн-интервью.

Role-related knowledge - это про LLM и консалтинг, было немало вопросов о том, как описать LLM для клиентов, топ-менеджеров, инженеров. Технические вопросы показались не сложными (курса “Generative AI with LLMs” и своего опыта с LLM хватило), а вот для вопросов про бизнес-смекалку и консалтинг не помешала бы практика с бизнес-кейсами, как в big4 проверяют.

Leadership & googleyness – это, считай, бихейв. Несмотря на то, что я сам менторю, я прошел 4 мока, узнавал, что именно хотят услышать при собесах на стафф позиции в гугле. Это было дико полезно. По итогу я довольно основательно перелопатил свой story bank. Благо, на собесе не было вопросов с подвохом типа “tell me how you used data to modify your strategy”, было более-менее понятно по вопросу, о каких лидерских качествах речь и какие свои истории рассказывать.

General Cognitive Ability – это open-ended вопросы в стиле “друг открыл магазин шоколада, посоветуй ему бизнес-план”. Тут есть четкий фреймворк, легко ботается. Мне очень помог вот этот ютуб канал (там же и про переговоры целый плэйлист). Дополнительно я брал консультацию с небольшим моком, где мне посоветовали говорить медленнее.

Ну и “casual” беседа с менеджером – никакая не casual, надо рассматривать как бихейв. О жизни можно потом трепаться, как наймут, на собесе смотрят на сигналы, готовился как к бихейву, заготовил самые крепкие истории.

В целом оцениваю вклад бихейва примерно в 80%. Ага, сам не ожидал, что с гуглом такое может быть. Но тут все же позиция в Sales трек, а не SWE, очень много с клиентами и топ-менеджерами надо будет общаться, поэтому и такой уклон.

Отвечая на самый предсказуемый вопрос «чё? скока?»: 40 ч/нед.

Статистика по 48 собесам на Applied ML Scientist

Типы собесов

По типу собеседований из 48 событий распределение такое:

• Поведенческое - 13.5
• Кодинг – 8.5
• ML в ширину – 6
• ML в глубину – 5
• ML-кодинг – 4
• Рисеч-презентация – 4
• ML дизайн – 3.5
• Домашнее задание – 3
• System design – 0.5

Тут, конечно, надо оговориться, что поведенческие – это что угодно, от бесед за жизнь с менеджером (”ну, что делал?”) до амазоновских “tell me about a time you took an urgent decision without data”. Кодинг – не только пресловутый литкод, больше было даже другого: попарсить данные, посчитать CTR + из области scientific computing (оцени Пи, посчитай доверительный интервал бутстрепом).

И профиль - Applied Scientist, а не SWE, уровня синьор+, поэтому так мало систем-дизайна и так много бихейва.

Лиды

Еще меня немало спрашивали про лиды, то есть как я заходил на первый собес. Тут такая стата:

• Реферал – 7
• Холодный отклик – 4
• Написал напрямую HM – 4
• Рекрутер/HM сам написал – 3
• OpenDataScience/Singularis.ai – 2

По моему опыту, рефералы все еще работают, хотя на реддите конечно сетуют, что раньше было лучше. Холодный отклики у меня тоже иногда работали, и в целом поработать над резюме надо, но универсально это сложно советовать. Какие-либо борды кроме LinkedIn я почти не смотрел – попробовал пару, показалось мусором.

Из креативного – иногда писал напрямую рекрутерам или нанимающим менеджерам, тут дело случая, где-то фаундер читал доклад у нас в компании – написал, тут в Вастрике регулярные треды "Ху из хайринг", туда Реплика заглянула с вакансиями на фронтендеров, но написали “если не фронтендер, но хорош – пиши. обсудим”. В-общем, помимо скролинга ленты LinkedIn фантазию надо подключать.

По источникам рефералов: хорошая экселька висит в синулярисе в career, вижу треды с рефералами в Blind и slack Rands – можно попробовать, но кажется, спрос на рефералы там огромен, а о предложении сложно судить.

Что спрашивали

Хотел еще стату подбить по вопросам, что вообще спрашивали. Но я все-таки не все логировал. Из того что запомнилось:

• кодинг на позиции Applied Science – в целом уровня изи, это порадовало, медиум всего один раз (с Яндексом), хард тоже один раз, но код не надо было писать (Нвидиа)
• раза 4 на ML breadth спрашивали про p-value, это надо и зазубрить, и понимать
• на ML breadth с уклоном в NLP почти все лезут в устройство трансформера и внимания
• бихейв заковыристый только у Амазона. С другим бигтехом тоже было много поведенческих собесов, но ни разу вопросы на ставили в тупик. В большинстве случаев это все же “расскажи про проекты, которыми гордишься”, могут спросить еще про фэйл или конфликт
• ни разу (!) меня не спросили про слабости. Показалось даже, что важность вопроса переоценена либо у меня bias и повезло с собеседующими.

Ресурсы в помощь

Поведенческие собеседования

Тут главное – расписать story bank (не пожалеть на это времени) и пройти моки. Вот хороший пост.

• IGotAnOffer – блог со статьями от подбора вопросов на MLE в Мету до “Why Amazon?” и как рассказывать про свои фэйлы и конфликты
• Если посидеть, спокойно послушать, почему все это важно – видео Jackson Gabbard
• Гайд от interviewing.io – вольный пересказ Amazon Leadership Principles
• И главное – моки и реальные собесы. Причем моки могут быть полезнее – тебе расскажут прям про подноготную, на реальных собесах еще поди получи внятную обратку. Я приставал напрямую к людям из желаемой компании, но есть и платформы: та же interviewing.io (писал как-то кулстори про brilliant jerk, который не мог ни один бихейв-собес пройти, а сейчас в OpenAI), еще слышал хорошие отзывы про Exponent.

Кодинг

Казалось бы, что тут нового скажешь. Я тоже писал, как пстра освежить литкод. Neetcode roadmap и Leetcode Premium – это да. Но я повторюсь про моки. Live-coding это вообще непростое дело: надо думать, писать код, слушать и складно говорить. А все одновременно! Такое надо практиковать. Вот правда, люди не могут внятно озвучивать свой код - идет аа…эээ… ууу.. и прочие бабуинские хмыкания. Для моков по литкоду – тот же interviewing.io, но есть и вариант для простых ребят – pramp, там peer2peer.

ML в ширину

• mlcourse.ai. Не, серьезно, я как тот дед, читающий свои учебники, перед собесами пролистываю mlcourse.ai. Bias-variance, бустинг vs бэггинг, где там в градиентном бустинге градиенты – все это до сих пор вовсю спрашивают (тот же Amazon на Applied Scientist).
• По NLP есть курс-жемчужина – NLP For You Лены Войты. Плюс посты Jay Alammar про архитектуру трансформера.
• У Дьяконова я подсмотрел вот эти конспекты "Illustrated Machine Learning" + еще подборка Daily Dose of Data Science хороша.
• Наконец, есть драфт книги Chip Huyen “Machine Learning Interviews”, там все от видов специализаций в ML до переговоров и списков вопросов по ML, кодингу и матану.

ML в глубину

Тут особо нечего посоветовать, оно из рабочего опыта все идет. Разве что можно эрудицию развивать чтением блогов а-ля ML in the Wild. У Evidently есть подборка из целых 450 штук (этот же совет и для ML дизайна ниже). Я читаю 2-3 блога о компании, куда собеседуюсь, и еще 2-5 – наиболее близких к описанию вакансии.

ML-кодинг

Специально не готовился, так что все тот же совет – моки.

Рисеч-презентация

Тут тоже каких-то ресурсов нет под рукой. Совет – уточнить у эйчара или HM, что хотят услышать: хардкор по теории, инженерии или еще что. Чтоб не словить “too much leadership”, как я.

ML дизайн

Да, тут есть популярные книги, но реалистично, перед собесом - это не книга нужна. Из всех ресурсов я выделю вот эту репу. Там и шаблон из 9 пунктов, которому можно следовать (problem → metrics → data → etc). И типичные кейсы разбираются, уже форматированные по шаблону.

Домашнее задание

Про take home сколько уже срачей только не было (писал как-то про плюсы-минусы). Я не вставал в позу и 3 домашки сделал. Одна просто классная была на instruction fine-tuning LLM, еще одна очень легкая, 3-я – наоборот, сложная, запорол.

System design

Наконец, system design, не путать с ML-дизайном, собесы совершенно разные. System design я грокал с нуля, за пару недель, часов 30 наверное заложил. Я заботал все перечисленные ресурсы, от и до:

• гайд все тех же interviewing.io
• System Design Primer (классика)
• книга “System Design Interview” – страниц на 200, куча картинок и схем, быстро читается
• курс Neetcode (платно, некоторые видео на ютубе есть)

Суть собесов: марафон, гигиена кукухи и контролируемая лотерея

Списки ресурсов это здорово, но закончить я б хотел на самом важном – психологической составляющей долгосрочного поиска работы. Полно историй на LI/Glassdoor/Blind/etc, как чел страдал-хромал, потом таки устроился в компанию мечты. Часто истории приправлены списками вопросов (или ресурсами, как у меня) – это полезно. Видел хорошие советы, что это лотерея и просто keep going, несмотря на фэйлы. Поддерживаю, но кажется, надо дополнить. И вроде по тем историям, что я читал, недостаточно говорят о психологической составляющей такой авантюры как X собесов с Y компаниями (48/18 у меня). Я не эксперт в чем-либо касающемся психотерапии и mental health, ни разу не выгорал, но все же поделюсь советами, которые помогали мне:

• Марафон: забег по собесам надо сразу рассматриваться как марафон. Да, повезти может и раньше, но на всякий случай лучше настроиться на год и десятки собесов.

• Гигиена кукухи: спорт/медитация - все что помогает. Хоть я и не выгорал по-настоящему, тут с собесами звенели первые звоночки, вся эта хурма лезла в голову, начал посреди ночи просыпаться, обдумывать. Уже даже перестал чай на ночь пить, чтоб не просыпаться и не бежать ссать в 4 утра, чтоб потом валяться бревном, обдумывать это все. Исключайте очевидно нездоровые практики, одна молодая мать с грудным ребенком ботала с телефона в уме медиум-задачки на литкоде, поняла, что оно того не стоит.

• Контролируемая лотерея: крылатая фраза, что собесы – это лотерея и numbers game. Все так, можно душно добавить прилагательное: контролируемая. То есть за счет упорной работы все же можно повышать вероятность того, что тебе в этой лотерее повезет. Мне кажется, называть собесы просто лотереей неконструктивно – снимает с тебя ответственность и имеет некий вайб фатализма. Нет, все же собесы, это на 50% удача, на 50% – твоя усердная работа.

• (тяжело) не привязываться эмоционально к потенциальному варианту, пока не получил оффер. Очень сложно представить себя уже “там”, обломаться и возвращаться к своим баранам и тем же задачам, даже если они интересные. Сам это нарушил со Snorkel, как-то взял да настолько поверил в этот вариант, что лишка привязался.

• (не универсальный совет): я сразу верил в лучшее. Когда видишь, что отваливаются крутые варианты на самом последнем этапе, невольно думаешь о той самой лотерее и что не может все время не везти. Рано или поздно повезет. Совет не универсальный, так как есть куда более тяжелые ситуации, чем моя, например, срочный поиск работы для визы, клиническая депрессия от постоянных неудач или фатальное отсутствие приглашений даже на разговор с эйчаром. Кстати, один психологический трюк мне папа подсказал, пока еще был жив, а я на физтехе учился. Перед типичным экзаменом на завал, допустим, по теорфизике, я ботал днями напролет с ощущением, что лох и все равно завалят на первом же вопросе. Папа давал такой совет: “Смотри, ты нормальный парень, значит, лет через 5 нормально закончишь физтех. Каждый год его заканчивают тысячи ребят, ты ничем не хуже. Значит, отматывая назад, завтрашний экзамен ты нормально сдашь. Ну, может, с пересдачи, но сдашь”. Эдакий working backwards, только за много лет до книжки Амазона, которую каждый попугай прочитал. Это аналогия, у меня она работала скорее на подкрепление в стиле “в конечном счете мне повезет, значит, это вполне может быть и этот вариант с ядреным завтрашним собесом”.

• Не запариваться с фидбеком. “Во мне что-то не так”, “почему они взяли другого” – вот тут можно очень глубоко и надолго провалиться в ненужную рефлексию. Да, они взяли другого, это нормально. Может, у него опыта больше, может еще что, да банально по локации взять туземца – типичное дело. Как пример, Apple отшил меня после первого собеса, который я, как казалось, отлично прошел. Вакансия в Лондоне была, и в итоге они взяли моего бывшего коллегу: он уже в Лондоне и с чуть большим опытом в рекомендашках, лучше фит. Ну и стоило ли мне днями-ночами рефлексировать, почему меня не позвали дальше. Нет (благо, на тот момент я уже это понял и просто двигал дальше).

Заключение

Надеюсь, в моих советах не так много survivorship bias, как в меме про лотерейные билеты.

В целом да, рыночек тяжелый, но я видел уже очень много хэппи-эндов (как-то было даже неловко, когда мои менти успешно меняли работы, а я нет).

Удачи! Keep tossing a coin and never give up!