Воронеж, аутсорс и стартапы, веб, конференции. Лондон, Meta, инфра, опен-сорс. Москва, Сколтех, вторая магистратура, первые публикации. Обратно в Лондон, Mistral AI и Revolut, индустриальный AI рисерч, постоянное чувство собственной тупости и предвкушение кучи приключений впереди. Впрочем, обо всем по порядку.
В прошлых сериях
Шел 2024 год. Нет, 2023. Может быть, что-то между. Я работал синьором-помидором в лондонском офисе Meta уже третий год. Успешно перекладывал JSONы с целью порадовать наших мобильных разработчиков и сделать разработку приложений чуточку удобнее. После череды экзистенциальных страданий, так или иначе связанных с разводом, и, как следствие, поиском новых жизненных ориентиров, я пришел к тому, что надо рвать когти из веба и бежать в ML. Бежать вчера. Да еще и в рисерч. Без меня AGI не сделают. Точнее, сделают - и без меня! Беда!
Если вам интересно как я вообще попал в Лондон из Воронежа, то об этом тут
Учиться в параллель с работой не получилось. Скорее всего, я просто плохо пытался, но, если отставить спекуляции о причинах, надо было признать провал. И что-то поменять. Что ж, если не получается учиться самому, то надо найти коллектив. С дедлайнами и палкой над головой. Когда морковка спереди перестает работать, надо присмотреться к морковке сзади.
Прикинув стоимость обучения и жизни в Лондоне и грустно посмотрев на циферки на счетах, я начал искать альтернативы. Посовещавшись с кукухой, порядочно придавленной разводом, решил двинуть поближе к родным и друзьям - в Москву. Да-да, после Лондона Москва кажется дешевой! Вдобавок, тут можно было получить бесплатное образование в крутейших технических школах.
Поступал везде: ШАД, Сколтех, ВШЭ, ИТМО (был готов на Питер). Успешно завалил ШАД еще на самом первом этапе - мне не хватило чертовой половинки балла! Поплакал, собрался, поступил в Сколтех. Также пришел оффер по конкурсу портфолио в ИТМО, но к тому моменту я уже успел посмотреть на кампус Сколтеха и недюжинно пропереться. К тому же на вступительных я успел познакомиться с ребятами. Вокруг сплошь и рядом были олимпиадники-физтехи-супер-умники, которые хоть и приводили моего внутреннего самозванца в ужас, но также обещали заряженную атмосферу в душном (правильно душном!) гиковском кружочке. Продано!
Сколтех
Учеба началась не совсем с учебы, а симулятора стартапа - Innovation Workshop. В первый месяц студентов на целый день загоняют под одну крышу без разбивки на специальности, рассказывают кучу бизнесовых штук и кулстори из стартапов, и в добровольно-принудительном порядке организовывают нетворк. Перезнакомились все со всеми. Даже самые стеснительные не остались в стороне. Попутно было несколько однодневных кросс-дисциплинарных воркшопов, а в конце командный спринт, где мы на коленке собирали полуработающие прототипы из скотча и соплей.
Плюс в копилку настроения и весело проведенного времени. А вот дальше началась настоящая учеба. Сложная учеба. Первое же задание по ручному расчету какого-то монструозного градиента подвесило меня почти на целый день. В домашней работе таких градиентов было пять. А потом еще парочка доказательств. И это только один предмет из трех. Начали закрадываться смутные сомнения в том, что мой бекграунд софтварного инженера как-то поможет.
Пожалев себя пару недель, я не нашел ничего лучше, чем начать что-то делать. Что-то одно. Забил на все дополнительные активности кроме спортзала (штанга - святое). Забил на все технические долги. Забил на все текущие пары кроме одной. И... Что-то начало получаться.
Дальше добавил научную работу в лаборатории. Опять же, без желания успеть все и везде. Пришел туда с весьма расплывчатым запросом понять, почему вообще модели такие, какие есть. Мой руководитель помог сформулировать намного более узкий вопрос об измерении сложности данных и предложил первое направление исследований. И снова что-то получилось. Не идеально, но ведь получилось!
Как я завалил все собесы. Ну, почти
Еще зимой после первого семестра жизнь проехалась по моему ЧСВ пачкой отказов на летние стажировки. Я послал около 100 заявок в бигнеймы в Лондоне. Отказали все.
Понадеявшись что дело было по большей части в локации (как можно догадаться, Москва нынче пугает 146% зарубежных рекуртеров еще на стадии беглого просмотра резюме) и вооружившись первой опубликованной статьей, я отправился в Лондон искать первую работу на месте.
Смена локации прокатила. Меня стали звать на собесы. Не очень часто, но это было уже намного лучше, чем зимнее гробовое молчание.
К сожалению, моим первым же собесом оказались Isomorphic Labs. И первые собесы, как водится, заваливают. Как и вторые, и третьи. Таким образом, мимо меня проскочили еще Huawei и AISI. Было чертовски обидно, но к четвертому разу я наконец раздуплил, где у меня пробелы в знаниях и что от меня вообще хотят услышать. Плотненько поботав и выбросив 20 на удачу, вырвал оффер на стажировку в Mistral AI!
Как мне кажется, со мной вообще стали говорить из-за того, что в резюме была Meta. И рекрутеры даже не разбирались, что в Мете я занимался совсем не ML. Так что капитанский совет всем будущим вкатунам - вам будет сильно проще жить, если в резюме будет бигнейм. Неожиданно, правда?
На стажировке, увы, не получилось поработать над тренировкой моделей. Дали задачу писать инфру для генерации синтетических данных. Из плюсов - познакомился с кучей умнейших людей, проникся атмосферой в топовой индустриальной лабе, в очередной раз осознал, какой я воробушек и как много еще предстоит узнать. Из минусов... А их и не было! То есть, да, я бы очень хотел поработать над архитектурой модели и самому прогнать какие-то эксперименты, но как бы грешно жаловаться на возможность поработать над фронтиром, пусть и в инфре. Особенно, когда я еще даже не закончил второй год магистратуры.
Стажировка пролетела стремительно. Пришло время снова искать работу. Мистраль в резюме обеспечил куда большую воронку собеседований. Я пытался залететь во фронтир большого AI: FLAIR в Oxford/Meta, Deepmind, Waymo, Anthropic, Reflection AI, россыпь более мелких стартапов. В этот раз у меня даже получилось первыми поставить те собесы, куда я хотел меньше всего. Это помогло в большинстве процессов дойти до финала.
Увы (снова увы!), я опять получил россыпь нет. Где-то не справился с нервами, но в большинстве случаев банально не хватило опыта. Мало хорошо пройти собесы. В больших лабах всегда будет несколько кандидатов, успешно прошедших все этапы. Надо еще и обладать опытом, релевантным позиции. У меня за плечами было 10 лет инженерного опыта, пара публикаций (одну даже взяли на EACL) и продолжающаяся магистратура. У моих конкурентов было 10 лет опыта в ML, россыпь публикаций на A* конфах и зачастую PhD. Выбор очевиден.
Светлое будущее настоящее
Мне нужен был менеджер, который готов брать риск. Команда, которая готова взять человека с нетрадиционным бекграундом, но горящими глазами. Другими словами, нужно было небольшое чудо.
Почти к самому дню рождения оно случилось - я получил оффер в новую небольшую рисерч команду в Revolut. Ребята только-только выпустили foundation model для финансовых транзакций и стремительно набирали обороты. Лучшего нельзя было и ожидать! Скилловые ребята вокруг - как мотиватор для роста, но небольшой размер - значит возможность брать столько ответственности и объема задач, сколько буду способен унести.
Интереснее всего то, что изначально я вообще не думал про Revolut. Не ожидал, что в банках могут тренить свои модели с нуля. Но в личку пришла знакомая (спасибо, Таня!) и скинула LinkedIn-пост о найме в команду - и понеслось! Так что еще один важный урок - обрастайте нетворком, господа.
Итак, куда мы приплыли? На сегодняшний день я успел выкатить PRAGMA в прод, податься с командой на EMNLP, а теперь разбираюсь с графовыми моделями и следующим поколением PRAGMA. В параллель закончил Сколтех. Планирую продолжать академический рисерч парт-тайм (part-time PhD), но уже с одним из лондонских вузов - хочу копать mechanistic interpretability of uncertainty. Все еще чувствую себя очень тупым, но это хорошо. Значит, вокруг меня правильные люди. Значит, впереди много сложной "правильной" работы - той самой, которая в конце приносит подлинное глубокое удовлетворение.
Советы вкатунам
- Попробуйте сделать переход в ML внутри компании - даже если сначала вы будете в команде работать над инфрой с опцией брать MLные таски. Это сильно проще. Вы сохраняете доход. Жертвуете скоростью перехода и возможностью застрять в инфре. В Мете у меня не получилось.
- Если вам, как и мне, проще учиться в коллективе, то магистратура - отличный вариант! Только поступайте в вуз той страны, где хотите потом работать. Мне было бы проще получить стажировку в Лондоне, если бы в CV был не Сколтех, а тот же UCL.
- Ищите своего научника и начинайте с ним работать как можно раньше. Пожалуй, самое ценное, что я вынес из Сколтеха, - это работа с руководителем лаборатории, Алексеем Зайцевым, и нетворк с другими студентами.
- Люто нетворкайте. Создавайте ридинг группы, ходите на хакатоны, ботайте вместе в библиотеках. Самые заметные сдвиги в мышлении у меня происходили после общения с одним из PhD-студентов Сколтеха (спасибо, Никита!)
- По поводу собесов почитайте этот пост. Лучше я не напишу.
- Попробуйте залететь в одну из рисерч программ.
- Морально готовьтесь к тому, что вам будут говорить "нет" много-много раз. Будет тяжело. Я думал, что готов, но "прожить" и "думать" оказались фундаментально разными вещами.
- Ну и удачи! Она вам пригодится!
Андрей, спасибо за пост! Я сам с января этого года ушел из менеджмента и классической бэкенд-разработки в компанию, где сейчас занимаюсь платформой инференса LLM и инфраструктурой вокруг AI. Совершенно новая для меня область, приходится многое изучать самостоятельно. Нахожусь в состоянии от «вроде понятно куда копать» до «миссия не выполнима, может вернуться в одну из прежних ролей, чтобы быстрее переехать». В бигтехе я никогда не работал, хорошего CS образования как такового нет, в олимпиадах по математике / информатике не участвовал, а в новой области куда не плюнь – все крутаны, импорстер синдром в свои 36 вырос до гигантских размеров. Тем не менее, понимаю что именно такой сложной инженерной работой я всегда хотел заниматься.
Поэтому, крайне уважаю твой bold move по возвращению в РФ для учебы и сменой специализации. Удачи!
Люблю читать твои посты и спасибо за новый :) Интересно про выгорание почитать лет через пять что ли. Я сам переходил с БД в iOS разработку и тоже в начале так нравилось - все новое и интересное, а последнии года 3-4 тоже самое чувство что и с БД когда уходил, все надоело, все скучно, хаха) Интересно как у тебя будет через n лет с ML.
Ну и в любом случае удачи :)