Расскажите о себе и сути проекта?

Привет! Я хочу поделиться проектом Sketch2scheme, который я разработал за три недели вечерами и с помощью фрилансера за 600 долларов. Этот проект распознает связанные диаграммы, такие как flowcharts, нарисованные на салфетке, и преобразует их в цифровой редактируемый формат. Пока что он работает только с такими диаграммами, хотя запросы на другие типы уже поступали.

Как появилась идея? Что вдохновило?

Идея родилась много лет назад, когда мы на работе часто рисовали схемы на вайтборде и затем переносили их в документацию вручную. Я загорелся идеей создать инструмент, который бы распознавал нарисованные диаграммы. В 2019 году я потратил около $3000 на специалиста по OpenCV, но результат был нулевой. В 2024 году, с осознанием, что ChatGPT может обрабатывать изображения, я решил попробовать снова.

Что вошло в прототип и сколько времени на него было потрачено?

Потратив $600 на фрилансера, который написал первичную структуру проекта по моему техническому заданию, я получил неплохой MVP. Я работал над проектом пару часов каждый вечер в течение нескольких недель, пока ребенок спал, чтобы довести его до более-менее рабочего состояния.

Какой технологический стек вы использовали? Почему?

Под капотом используется OpenAI с тюнингованным Prompt и парой захардкоженных логик. Для вывода и рендера сначала планировалось использовать JSON + ReactFlow, но результат не удовлетворил. Затем я попробовал генерировать XML для Draw.io, но OpenAI генерировал его с ошибками. В итоге я остановился на Mermaid, так как он наиболее компактен и LLM реже ошибается при небольшом выводе.

Как вы запускались и искали первых пользователей?

Я запустил проект на ProductHunt без особой подготовки. Получился неплохой трафик: два десятка регистраций, ноль платежей :)

С какими самыми неожиданными трудностями пришлось столкнуться?

Основная трудность заключалась в генерации XML для Draw.io через OpenAI, так как модель делала множество ошибок, начиная с неправильного распознавания соединений блоков и заканчивая синтаксическими ошибками. Но переход на Mermaid сильно улучшил качество результата - начало получаться хоть что-то.

Сколько потратили и заработали? Есть идеи как это можно монетизировать?

На проект было потрачено $600. Пока что это просто сайд-проект, который, возможно, принесет немного денег на жевачку. В будущем, возможно, удастся монетизировать через подписки или платные функции.

Какие планы на будущее?

В проекте очень много багов, получил много репортов, и это нормально. Я адепт release early, fail early, то есть быстро сделал и показал что получилось.
Планирую улучшать качество распознавания диаграмм и ждать выхода новых моделей OpenAI, типо gpt-5-whatever, чтобы повысить точность. Также рассматриваю возможность добавления поддержки других типов диаграмм или UI wireframes.