История

Наверное, это можно назвать проектом с натяжкой, но наверняка вы в Твиттере видели большое количество коллективных аккаунтов серии "under hood" - например, старый добрый https://twitter.com/abroadunderhood , который чуть ли не один из старейших. Также есть подобные же тематические ленты от менеджеров, маркетологов и прочих товарищей. Подобную же историю запустили дата саентисты - https://twitter.com/dsunderhood . Но Data Science и Data Engineering - это таки две довольно разные вещи. Поэтому, раз инженерного аккаунта пока не было, я его взял и сделал - встречайте, https://twitter.com/deunderhood .

Тематика

Когда стал хайпить датасаенс, моя реакция на это была типично ворчливой - надо же, миллениалы наконец-то научились компы правильно использовать для целей, для которых они создавались - процессить данные. Люди толпой повалили на курсы, где их обучали строить регрессии и писать на коленке MapReduce джобы для Hadoop'а.

И все бы ничего, только вот между тем, чтобы построить у себя в Jupyter модельку в Scikit-Learn, и тем, как эта моделька встроится в бизнес-процесс и начнет приносить мало-мальскую пользу, внезапно образовался довольно большой прогал. Применять для дела линейную алгебру, играть с learning rate и строить многослойные сетки - это дико интересно и захватывающе, но чем глубже ты в это идешь - тем больше уходишь в математику и фундаментальщину. А это область, так скажем, сильно отличная от прикладного инжиниринга.

Поэтому из программирования пришли инженеры и архитекторы, которые начали превращать эти модельки в пайплайны и продукты. Вот тут в первой половине я на митапе рассказываю базово, кто такие дата инженеры и зачем они нужны в современном мире.

Как оно работает

Раз в неделю доступы к аккаунту передаются очередному автору, который перенаправляет в него свой поток сознания. По сути, ведется обычный твиттер, с минимальной поправкой на то, что тебя теперь читает довольно тематическая аудитория. Но личное мнение и набросы приветствуются. Разве что совсем открытая и наглая реклама - не очень.

Есть шикарный манифест, который написал Егор Толстой (Егор, ты есть в клубе?), там все довольно подробно. Он для DSUnderHood, но вообще во всех сообществах идея примерно одинаковая.

Что дальше?

Как видите, на этой неделе авторю проект я, до меня была Злата Обуховская из NVidia (могу познакомить, если кто хочет), есть еще несколько человек, которые вполне с энтузиазмом готовы принять на себя авторство в ближайшие недели.

Поэтому, если вы инженер и не знаете, с кем обсудить все эти крутые книги, видео, закладки в браузере и каждодневную войну с Матрицей - пишите, поговорим насчет авторства и будем ковать качественный микроблог-контент вместе.