Что такое Dark Office
Dark Office — это вещь, которая приходит из dark stores, dark kitchens и всяких таких фабрик. По сути, это места, где нет традиционного офиса, где агенты выполняют задачи, и человек остаётся просто как human in the loop (в лучшем случае), а в идеале вообще ничего не делает.
Человек уехал, а агенты остались
Администрация всегда была для нас большой болью. Никто из нас, кофаундеров, не хотел этим заниматься, и мы постоянно это откладывали. А это вещь, которая на самом деле позволяет твоему бизнесу работать.
Наш коллега, который занимался нашей администрацией, переехал в Австралию. Мы наняли другого человека, он поработал какое-то время, но большую часть этого времени мы потратили на онбординг. Потом он ушёл, не закончив испытательный срок, по личным причинам.
На время поисков нового соискателя мы заткнули самые большие дыры агентами. Потом мы добавляли новые и новые автоматизации и поняли, что да, действительно, нам уже не нужен человек для этого.
Уже больше года у нас нет никого, кто ведёт нам администрацию.
Счета, потом саппорт
После того как мы, в принципе, закрыли часть нашей администрации, мы поняли, что следующая часть, которая занимает большую часть нашего времени, — это саппорт. Для начала мы просто подключили один саппорт-чат, который является просто групповым чатом в WhatsApp. Мы начали отвечать там, потом подключили больше чатов, и впоследствии мы просто пустили всё на автоматизм. Потом, естественно, мы всё это немножко изменяли с учётом гардрейлов и проблем, с которыми мы сталкивались. Ну и в итоге пришли к системе политик.
На сегодняшний день на агентах большая часть разработки, которая касается багфиксинга. Мы перевели наш observability-стек на агентские циклы. Также мы сейчас активно переводим sales и работаем в этом направлении.
Мы команда из трёх человек, все разработчики, делаем автоматизацию LinkedIn. Сегодня агенты создают около 700 тикетов в месяц. Большинство из них — это конкретные фиксы или конкретные действия по отношению к клиентам. Только 10% из них доходят до нас, большинство закрываются автоматически. Мы практически больше не смотрим на саппорт, и каждый занимается своими задачами.
Как работает саппорт
В самом деле являются обычными вопросами, где люди спрашивают, как сделать что-то, и все ответы есть в этой Q и в других секциях. Но, естественно, кто это не читает, они постоянно приходят к нам снова и снова. Для начала мы сделали тему, которая отвечала просто на такие вопросы. Это уже разгрузило нас во многом, но при этом все равно приходилось отделять зерна от плевел, искать вопросы, которые были заданы на другую тему, и читать чаты. Соответственно, наша задача впоследствии была не читать чат вообще, и для этого нам нужно было сделать так, чтобы система могла работать с багами и с пожеланиями клиентов.
Допустим, в саппорт приходит человек, говорит: «У нас не отправляются сообщения». Агент берёт это поведение, создаёт тикет, воспроизводит баг. Потом ему нужно понять и принять решение, является ли это новым инкрементом или нет. Для этого агент делает ревью на изменение поведения системы.
Если это баг, то агент может автономно зафиксить его и поставить его в очередь на деплоймент.
Очень стандартный кейс: недавно мы начали работать с людьми из разных стран, и появились клиенты с именами с определёнными спецсимволами, которые раньше система игнорировала. Такой фикс агент спокойно зафиксил и задеплоил, и предупредил пользователя о том, что фикс был задеплоен.
Если поведение изменилось, то это не может быть просто багфиксом, и такую вещь должен заапрувить человек. При этом агент обычно описывает, что изменилось и почему, так что апрув занимает довольно немного времени. Большую часть времени мы делаем это с телефона, сидя в бэк-офисе.
Когда агент ошибся
У нас случались факапы. Иногда клиенты на самом деле просили фичи, и агенты полностью проходили весь цикл. Один раз клиент в саппорт-чате попросил исправить поведение, которое не понравилось его клиенту. Это было что-то связанное с порядком отправки сообщений. Но другие клиенты используют систему в том виде, к которому они привыкли. Изменив это поведение, агент изменил его для всех пользователей системы.
Мы просто прочитали чат саппорта и увидели, что там была имплементирована фича. Естественно, мы потом всё это откатили, и нам повезло, что мы вовремя это заметили. После этого как раз мы придумали новые политики для решения того, можно ли брать эту задачу в работу или просто создать тикет в бэклоге.
Агентам нужен менеджмент
Отсюда самая интересная часть: в конечном итоге нам пришлось завести процессы для агентов, как это делается в обычном менеджменте.
Мы поняли, что у нас есть разные виды агентов: support, development, sales, legal. У каждого из этих агентов есть определённый набор политик: что он может делать и что он не может делать. Исходя из этих политик, он принимает решения. Допустим, development-агент всегда должен проверить, изменилось ли поведение. Если поведение изменилось, то он не может автоматически заапрувить стори на деплоймент, и её должен заревьюить человек.
У нас есть issue tracker для задач, есть CI/CD-трекер для деплойментов, и, помимо этого, есть sales-трекер с календарём и информацией для sales.
В какой-то момент у нас появилось огромное количество фиксов, в том числе от security review и других циклов. Соответственно, нам пришлось переработать нашу очередь деплоя и то, как мы работаем с CI/CD.
Мы используем agent judgment, чтобы решить, может ли текущая задача отправиться в деплой или нет и нужен ли экстренный деплой. Насчёт экстренного деплоя решение всегда принимает человек. Остальные задачи могут деплоиться по расписанию.
Как выглядит офис без офиса
Для большинства людей Dark Office — это сайт, на котором ты можешь посмотреть свои истории. Это не сильно отличается от стандартной Jira или Linear: ты приходишь, смотришь на свои таски, смотришь, на каком агенте какие таски висят и нужно ли где-то твоё участие. Интерфейсы остались примерно те же самые. Также мы добавили чаты для текстовых коммуникаций.
Когда нужен человек, агент присылает уведомление в чате. Сегодня многие из наших разработчиков, и я в том числе, построили дополнительную агентскую систему поверх всего этого, которая покрывает именно наши конкретные операции. Мой агент читает сам Dark Office, дашборды, чаты в WhatsApp, Intercom, почту и Sentry. Для меня это чат в Telegram.
Самые частые мои сообщения — это статус репорты. Мы занимаемся скрейпингом, и нам нужно знать, что наш движок постоянно up-to-date и все проверки проходят. Мне приходит сообщение о том, что чеки пройдены и всё хорошо. Или что автоматический логин был успешный и такие-то страницы встретились на пути.
Что пока не сработало: sales
Если честно, мы заметили, что в sales иногда агенты уходят в какие-то странные циклы. Sales-агент, который автономно ведёт переписку в LinkedIn или в имейлах, просто пытается поддерживать диалог. Он не склоняет человека к покупке, к встрече или к чему-либо подобному. Соответственно, у этого не такая высокая ценность. Я думаю, тут проблема в промптинге.
Наш собственный funnel, который мы построили для компании, — это набор запланированных сообщений и порядок. Он работает лучше, чем просто свободный агентский чат. Сейчас мы переводим наших sales-агентов на наш собственный funnel.
Что стало с людьми
Новый вид работы создаёт новые челленджи. Раньше я мог спокойно заниматься разработкой, брать новые задачи из бесконечного бэклога. А сегодня:
- Я меньше стараюсь разрабатывать, потому что мне кажется, суть не в этом.
- Все наши разработчики в итоге переходят в sales и занимаются продажами. Естественно, это было очень сложно, и до сих пор мы не всегда понимаем, что нам нужно делать, но мы видим похожие процессы у конкурентов. И если даже сегодня этого не происходит, мы понимаем, что рано или поздно появится условный солофаундер, который будет заниматься всем этим и экономить на команде и всем остальном. Он сможет просто задавить нас ценами.
По сути, каждый из нас сегодня развивает свой собственный бренд внутри нашего продукта. Мой личный опыт: я начинал как технический кофаундер, а сегодня я создал своё собственное агентство, где я пытаюсь продавать наш продукт на новый рынок.
Как начать свой Dark Office
Самое главное — это валидация. И начинать стоит с того, что действительно болит. Для нас это была администрация: в какой-то момент мы сели и начали просто автоматизировать её как approval-процесс.
Что я советую: всегда строить систему, где сначала ты получаешь все действия агента и вручную каждое из них апрувишь или деклайнишь. И сохраняешь лог обо всём этом. Потом можно посмотреть, какие действия ты постоянно апрувил, а какие постоянно изменял, и поменять поведение системы исходя из этого. Если какой-то flow постоянно приходит к тебе и ты постоянно его апрувишь, этот flow может быть полностью автоматизирован и отдан агенту.
Что дальше
Сейчас мне не нравится, что во многом это построено на Claude Code и их харнесе. Я бы хотел более универсальную систему.
При этом наша система работает довольно-таки неплохо. Проблема в подписках: на сегодняшний день всё это работает на одной Max-подписке. В тот момент, когда мы не сможем использовать Max-подписку, это может стать довольно дорого. Я бы хотел быть готовым к этому заранее, чтобы спокойно поменять модель, поменять харнесс и не чувствовать зависимость от вендора.
Человек пока что остаётся нужен всегда, потому что человек принимает решения, у человека есть видение.
Мне интересно, как обстоят дела у других людей и компаний на этот счёт. Что для вас работает, что не работает? До чего я ещё не дошёл, где стоят проблемы, о которых я ещё не знаю? Поделитесь мнениями и опытом.