Agile Hardware. Как сократить время релиза хардверного продукта до недели

 Публичный пост

Для тех кто со мной хоть чуть-чуть знаком не секрет, что я фанат системной инженерии, системного мышления и, вообще, счастливый прихожанин Школы Системного Менеджмента.

Так же для многих не является секретом тот факт, что край науки системной инженерии проходит по вашей айтишечке. Поэтому даже разработчики «железных» систем посматривают на гибкие методы разработки и используют их у себя.

Совершенно точно это не является секретом для Илона Маска, с его то бэкграундом в Zip2, X.com и PayPal. Поэтому в его нынешних компаниях активно работают комитеты по внедрению Agile, Scrum, etc., которые так и называются Agile @ Tesla, например.

Именно от ключевого сотрудника комитета Agile @ Tesla вы и увидите доклад по ссылке.

Меня поразил тот факт, что длительность спринта в Тесле длится 3 часа! Не полгода, не месяц, не неделя. 3 часа. Но и результаты потрясающие, это до 27 изменений в продакшене за неделю у Теслы. Автомобиля из алюминия, стекла и резины. Это удивительно.

Явным образом нигде не встречал (Но и не искал, буду рад если кто поделиться ссылкой), но не удивлюсь если существует и комитет Agile @ SpaceX. Это бы многое объясняло в скорости выкатки очередных SN для RUD («Rapid Unscheduled Disassembly»). (И однозначно объясняет потогонку, которая в SpaceX царит)

Анатолий Игоревич Левенчук — руководитель «Школы системного менеджмента» и директор по исследованиям Русского отделения INCOSE (Международного совета по системной инженерии) очень любит приводить примеры Теслы и СпейсИкс в материалах Школы, поэтому я обратился к нему за комментарием, как же удаётся совмещать Agile и старые кондовые водопады аэрокосмической (да и автомобильной) промышленности?

Мне показалось полезным поделиться с вами его ответом:

Общий ответ на этот вопрос в создании двух потоков работ: 
1. «Как надо в жизни», оформляется стандартами предприятия. Продукты получают статус "рабочих продуктов".
2. «Как надо регулятору» — самые низкооплачиваемые сотрудники просто формулируют результаты конечных работ «как надо в жизни» в соответствии с тем, «как надо регулятору». Никакой разработки, готовые результаты сдаются как итоговые в архив (но в жизни не используются, в жизни используются свежие информационные модели).

Это дороже, чем один поток работ, но не вдвое (ибо «как надо регулятору - это просто оформление, а не разработка»). Такое даже за рубежом используют (я уточнял в INCOSE), когда надо не просто оформить, но чтобы ещё «и летало, и не падало».

Это SoTA инженерии по госконтрактам.

Это на 100% подтверждается моим опытом работы в аэрокосмической промышленности. 100 лет в обед все конструкции делают в Solid'е и обмениваются с подрядчиками 3д-сборками, но как результат заказчику сдаются КД оформленные по ЕСКД.

Надеюсь кому-то будет полезно, и я не против от дискуссии и прохладных историй о применении гибких методов разработки в «железных» проектах у вас.

PS
А хотел просто ссылочкой поделиться. 😏

Связанные посты
36 комментариев 👇

Посмотрел я доклад, но это же реально жопа и горячка какая-то!

  • 12 часовые смены
  • постоянное употребление кофе как наркотика, т.к. нужно восполнять энергию
  • любой может пойти поприсоединять детали к машине на линию, когда захочет
  • любой может купить что хочет

И в придачу это все работает на том, что хомячки Маска закрывают глаза на отстойное качество, согласны быть бета-тестерами сырого продукта и покупаются на рекламу от Мессии.

Но суть то в том, что все эти законы и требования безопасности, на которые эти ребята кладут с высоты трехчасового спринта, написаны кровью погибших в катастрофах и авариях. С эти то что делать?

Плюс китайцы вот вроде объявили крестовый ход против Теслы. А уж они точно очень хорошо умеют работать в стиле 9-9-6 и класть на меры безопасности и авторское право. Срочно запасаемся попкорном.

Сам доклад интересный и может принести полезные мысли. Хотя так вкалывать, как они вкалывают, я пас, пожалуй. За 3 часа ты даже расчет нормально не проведешь, куда там деталь разработать!

  Развернуть 1 комментарий

@MartAlex, "любой может пойти поприсоединять детали к машине на линию, когда захочет" - это вообще не Маск изобрел, а еще в 50х в отделе экспериментальных разработок Lockheed Martin (также известном как Skunkworks), когда им надо было за полгода разработать шпионский самолет который был по характеристикам на порядок круче чем все что тогда существовало, и главный инженер начал с того что выкинул нахрен всю бюрократию, собрал небольшое количество крутых инженеров в шатре во дворе завода и предоставил им полную свободу.
Вот хороший доклад про это:

  Развернуть 1 комментарий

@LexsZero, не, ну чо - я так ребятам из производства помогал первые образцы сразу на линии прокачивать... 😁

  Развернуть 1 комментарий

@LexsZero, согласен! вот тут круто про это:

https://habr.com/ru/post/434884/

  Развернуть 1 комментарий

@litovskih, книжка очень хорошая. Аджайл во все поля в середине века, да еще и со сложнейшим оборудованием.

  Развернуть 1 комментарий

В SpaceX пошли дальше и некоторые сотрудники работают 9-9-7:
«Salaried employees end up working a ridiculous amount of hours in many cases. I have worked for weeks on end between 70 and 85 hours, though I would say on average employees mostly work between 50 and 60 hours, which is quite typical for a tech company.» © Glassdoor.com
Готов?

  Развернуть 1 комментарий

@MartAlex, во-первых, меня туда не взяли, потому что я русский. :D
А, во-вторых, сейчас я работаю иногда и больше, чем 80 часов в неделю. 🤷‍♂️
В-третьих, я все таки хотел не SpaceX обсуждать, а гибкие методы разработки в Hardware проектах.

  Развернуть 1 комментарий

@VBodrov, ну как бы все возможно че. Вопрос чем при этом приходится жертвовать.

  Развернуть 1 комментарий
Maximus Электрический инженер 27 мая 2021

Еще не смотрел, но первая же мысль: "А там всеобъемлюще и в каждом уголочке спринт идёт три часа - или как с определением << Автопилот>>" ? 😋

  Развернуть 1 комментарий

@Maximus, говорит, что вот буквально, ставят палатку на место будущего цеха, и прям пока вокруг них идет стройка, спринтят нужно ли покупать следующий участок. Вот еще запись подкаста, где уже конкретно про Теслу говорят:

  Развернуть 1 комментарий

@VBodrov, ну выглядит он так себе, надо сказать. Все-таки так вкалывать это сложно. Можно почитать по теме Dying for a Paycheck.

  Развернуть 1 комментарий

@MartAlex, ну он так и говорит, что ушел, потому что ритм не для него. Но при этом Agile у себя тоже использует, но судя по стендапам на канале с недельным спринтом.

  Развернуть 1 комментарий

@VBodrov, в недельные спринты охотно верю.

  Развернуть 1 комментарий

@MartAlex, потому что недельные спринты у нас на заводе были еще до того, как придумали слово Agile. :)

  Развернуть 1 комментарий

@VBodrov, именно! 🤣

  Развернуть 1 комментарий
Programistich Mobile Developer Команда Клуба 28 мая 2021

Но и не искал, буду рад если кто поделиться ссылкой

https://cliffberg.medium.com/spacexs-use-of-agile-methods-c63042178a33

  Развернуть 1 комментарий

@Programistich, Nice. Спасибо!

  Развернуть 1 комментарий
Аватар Programistich Programistich 28 мая 2021 Команда Клуба

@VBodrov, вот еще, я перевел
https://telegra.ph/SpaceX--Agile-05-28

  Развернуть 1 комментарий

Никогда не слышал про Rapid Unscheduled Disassembly, так что в голос!

  Развернуть 1 комментарий

@MikhailKorobko, по-русски называется "хуяк, хуяк и в продакшен"

  Развернуть 1 комментарий

@Cooch, нет, RUD слуается позже

  Развернуть 1 комментарий

Весьма интересно.

Как я понял, всего этого сверх-быстрого деливери они добиваются за счёт строго оговоренных интерфейсов между разными узлами. Над каждым узлом работает маленькая и гибкая команда, а деливерят они тем быстрее, чем мельче разбиение всей машины на узлы.

Вот что не могу у себя в мозгах уместить. Как им удается поддерживать стабильность (неизменность) интерфейсов при таком мелком разбиении на узлы/команды, если сами узлы меняются раз в три часа, а стабильность интерфейсов - главный залог того, что всё это успешно сынтегрируется в одну работоспособную машину?

  Развернуть 1 комментарий

@greemster, абсолютно верно! При разбиении на модули, зная что интерфейс не изменился, можно относиться к модулям как к чёрным ящикам. В дополнение к этому, чётко формализованные процессы верификации. То есть если у тебе прикатил модуль, и он точно отмечен как верифицированный, ты не думаешь а подрубаешь к интерфейсу.

Так вот если кто-то по какой-то причине изменяет интерфейс, он тут же меняет и процесс верификации. Я не помню в каком из видео это объясняется.

Но как они в таком режиме работают я себе представить тоже не могу. Весь наш аджайл ограничивается, ну минимум недельными спринтами, когда можно какое-то видимое изменение внести хоть куда-то )

  Развернуть 1 комментарий

@VBodrov, с одной стороны понятно, что в видео он в лучших традициях качественного американского пиара описывает скорее мир розовых пони, к которому они хотят прийти, чем суровую реальность.

Но есть стойкое ощущение, что к какому-то балансу между скоростью поставки и затраханностью тех, кто следит за интерфейсами (а значит и программами на роботах, которые чекают Definition of Ready) они действительно пришли. Вот прям реально интересно, как у них в реальности выглядит этот баланс.

  Развернуть 1 комментарий

@greemster, вот где он говорит про DoD и DoR, это он уже про свой стартап, и там у него, вроде не трехчасовой спринт.

А так тоже очень интересно.

Самая актуальная презентация по инженерии SpaceX, что у меня есть датируется 2012 годо, я уверен, что это уже каменный век у них.

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

@greemster, сами они делают хорошо, если 30% от всей машины и всех узлов. ;)

  Развернуть 1 комментарий

@Maximus, да там так все расплывчато рассказано, что под 3х часовые спринты можно подписать все что угодно.
В основном, как я понял, кузовные детали имелись ввиду, которые можно самому печатать и пресовать как захочется. Я глубоко сомневаюсь что они мотор или батарею раз в неделю усовершенствывают.

  Развернуть 1 комментарий

80 часов (рабочая неделя в Tesla) разделить на 27 ("коммитов" в продакшн в неделю) = 3 часа ("на спринт")

Он и сам говорит на девятой минуте что три часа это "в среднем". А что там в реальности? Пластиковый шильдик по пять раз на дню перекрасить, например, и вот уже 27 "железных коммитов" в неделю.

С такой занятной математикой он ещё удивляется что совет директоров Даймлер не идёт работать на завод и таскать там 20-килограммовые заготовки, как делают все в Святилище Всея Автомобилестроения. Ведь это же ЭФФЕКТИВНО!

  Развернуть 1 комментарий

@greemster, и эти интерфейсы немцы-распиздяи зачем-то все прописали добитово в мегабайтах справочников по AUTOSAR... ;)))

  Развернуть 1 комментарий
Maximus Электрический инженер 27 мая 2021

@VBodrov вот тебе комментарий примерно четырехлетней давности от инженера в power electronic в американском отделе Тесла.

Немцы тоже уже давно и много где так делают. :)))


Да, это как автоваз — поддерживай отечественное, т.е. NI ;-) Мы сейчас пытаемся сообразить что-то похожее на Xilinx Zynq, эквивалентное типичной NI платформе, вроде как руководство поддерживает.
Не могу сказать про все ECU и все компоненты. Но достаточно часто используется Robot Framework для Python, особенно для HIL. Иногда HIL полностью автоматизированный — т.е. ты пушишь свою ветку в Git, и он автоматически ставит ее в очередь на HIL. Если SIL — то пытаемся оформить как юнит-тесты, которые периодически крутятся на Jenkins. Если в SIL используется модель из Simulink — то она компилируется как shared library. MIL — как я сказал Simulink.

  Развернуть 1 комментарий
Maximus Электрический инженер 28 мая 2021

@VBodrov а вот тебе вопрос на засыпку: как и кем в "серийных" спутниках прокладываются кабели связи, питания и пр. в теле самого прибора? ;)

  Развернуть 1 комментарий

@Maximus, мне стыдно признаться, но я ничего в твоем вопросе не понял. Внутри отдельных приборов обычно кабельную сеть не прокладывают, чаще используют кросс-платы или стеки с проходными соединителями. А кабельную сеть аппаратов делает разработчик спутника. 🤷‍♂️

  Развернуть 1 комментарий

@VBodrov, вот, в этом направлении, да.

Смотри: а в автомобилестроении - везде, но возмём просто для примера "Теслу" - конечному автопроизводителю от поставщиков-изготовителей кабельных решений на конвейер приходят уже готовые жгуты кабелей, готовые к укладке в технологические ниши и туннели в корпусе авто, где их местами закрепят, местами просто покладут в нишу, соединят с запланированными контактными точками автомобильной электроники - и всё готово. :)

То есть сама технология современного автопроизводства уже много десятилетий - сама по себе весьма "агильно-линовая". Просто ребятам из "Теслы" не влом (да и обязаны они, скорее всего :)
продавать снег эскимосам.

  Развернуть 1 комментарий

@VBodrov, кстати, хочу тебе напомнить, что самым передовым agile-государством в XX веке был СССР с его спринтами-пятилетками и сдачей проектов к дате сверхспринта (помнишь же, концу какого спринта вывели на орбиту стартап "Sputnik"? ;))

Мало того - в Союзе уже почти 100 лет назад появилось и своё скрам-движение, с массой признанных лидеров и вдохновителей (по ссылке :):

https://ru.wikipedia.org/wiki/Стахановское_движение

  Развернуть 1 комментарий

😱 Комментарий удален автором поста...

  Развернуть 1 комментарий

@AleksandrLiadov, я сам люблю к месту хороший мемас прикрутить, но в данном случае он совершенно бессодержительный и не добавляет ничего к дискуссии.

  Развернуть 1 комментарий

@VBodrov, бессодержательный ;)

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб