Мы устали мучить pandas ради CSV. Поэтому сделали локальную SQL-песочницу в браузере

Когда ноутбуки стали быстрее серверов пятилетней давности, а браузеры научились исполнять WebAssembly почти как родной код, странно, что для анализа одного CSV всё ещё нужно ставить Postgres, DBeaver или хотя бы Jupyter. Это все хоть и утрированно (как и заголовок поста), но речь конечно же про большие файлы.

Зачем гонять данные туда-сюда, если можно дать браузеру делать то, на что он уже давно способен - локальный анализ? Без серверов. Без учёток. Без отправки данных «в облако». Просто открыть вкладку и написать SELECT * FROM my_file.

Когда тебе в сотый раз скидывают CSV «посмотри быстренько», а ты каждый раз думаешь: ну ладно, открою Jupyter, pandas, импортну файл или, того хуже, пойду импортировать в БД - что-то в тебе ломается.

Я захотел инструмент, который не требует установки, ничего не сохраняет в облако, не трогает мои данные, а просто работает. Как блокнот, только для SQL. Так у меня и моих друзей родился PondPilot - open-source SQL-песочница, которая работает прямо в браузере, полностью локально, без серверов и учёток.

TL;DR

• PondPilot - SQL-редактор, работающий локально прямо в браузере
• Никакой регистрации, никакого бэкенда, всё остаётся у тебя
• Загружаешь CSV/XLSX/Parquet/JSON и сразу пишешь запросы
• Всё open-source: github
• Веб-апп: app.pondpilot.io
• БОНУС! Импортируешь лёгкую JavaScript библиотеку в свой блог и в одну строчку даешь интерактивный SQL-редактор пользователям, как здесь.

От боли к идее

Я занимаюсь аналитикой и продуктами, и мне постоянно приходится работать с локальными данными: экспорт из админки, выгрузка по запросу, какой-нибудь .parquet, который никто не может открыть.

Обычно workflow такой:

• файл скачал
• Jupyter запустил
• pandas read_csv()
• потом query() или df[df.column == x]
• потом забыл, закрыл, потерял

Мне надоело. Я хочу просто писать SQL. Без окружений и библиотек. Просто загрузил файл и сразу SELECT * FROM file LIMIT 10.

WASM + DuckDB = магия

В какой-то момент мы наткнулись на duckdb-wasm. Это была любовь с первого SELECT. DuckDB в браузере, локально.
Решено! Надо обернуть это во что-то.

PondPilot: как работает

• Загружаешь файлы drag-n-drop
• Видишь их схему в сайдбаре
• Пишешь SQL - получаешь результат
• Всё в вкладках, всё сохраняется в localStorage
• Можно открыть сессию и продолжить с того же места

Бонус: можно вставлять интерактивные SQL-блоки в HTML. Пример:

<pre class="pondpilot-snippet">
SELECT * FROM your_data;
</pre>

И он станет редактируемым SQL-виджетом. Можно прям в статьях или туториалах давать живой код, а не скриншоты. Вот тут видно, как это работает.

Note: сначала надо импортировать легкую библиотечку через <script src="https://unpkg.com/pondpilot-widget"></script>

Возможности PondPilot

• SQL-песочница с полноценной поддержкой SELECT/CTE/JOIN/AGG и т.д. - пишите и запускайте SQL-запросы к вашим файлам прямо в браузере — с подсветкой синтаксиса и базовой автодополнением.
• Загрузка файлов с локального диска и экспорт результатов в локальные файлы.
• Состояние рабочей среды сохраняется между сессиями браузера - продолжайте работу с того места, где остановились.
• Поддержка нескольких вкладок. Вкладки помнят своё состояние даже при перезагрузке страницы или переключении - как в полноценной IDE.
• Шаринг скриптов по ссылке. Делитесь SQL-скриптами с коллегами и сообществом через простую ссылку в один клик
• Автоматическое обновление данных. Если локальный файл изменился вне PondPilot, приложение обнаружит это и обновит данные, как полноценное десктоп-приложение.
• Работа с папками. Можно добавлять целые папки с файлами — они автоматически подгружаются в проект, ускоряя работу с множеством источников данных.

Мы не строим из этого SaaS. Это просто удобный инструмент для себя и таких же людей, которым лень настраивать всё ради пары запросов. Захотелось удобства, которое «просто работает». Делюсь:)

Что дальше?

• Генерация SQL через AI-хелпер (уже готово, тестируем)
• Автоматический расчет разных метрик/распределений/графиков, чтобы облегчить анализ данных
• Классный интерфейс для просмотра схемы БД

Всё это в бэклоге и скоро будет. Если есть еще идеи - welcome.

Все ссылки в одном месте

Наш лендинг: pondpilot.io
Веб-апп вот тут, а информация про виджет тут.
Исходники: github
Локально поднимается в пару строк:

docker run -d -p 4173:80 --name
pondpilot
ghcr.io/pondpilot/pondpilot:latest

и потом пользоваться приложением по адресу http://localhost:4173

Пробуйте, бейте, шерьте. Надеюсь, наша уточка сэкономит вам пару часов жизни:)

PS: если у вас есть идеи, с кем можно сделать коллаб по встраиванию нашего виджета - дайте знать, кажется, что учиться SQL должно стать приятнее.