Расскажите о себе и сути проекта?

Как написано в моем профиле, я изучил русскую письменность самуже во взрослом возрасте и из-за этого я делаю достаточно часто глупые/забавные ошибки. Пишу по слуху: путаю «тся/ться», «о» и «а» там где не под ударением (малако вместо молоко), «ну» вместо «но». Всю жизнь за меня это подчищали автозамены и редакторы, а как только пишешь что-то серьёзное сам, ошибки моментально всплывают.

Суть проекта заключаеться в добавление русского языка в Apple Intelligence Writing Tools, ну по краней мере копирование функцие Writing Tools. То есть выделяешь текст, жмёшь «Проверить», и оно прямо на устройстве (без интернета, без отправки твоего текста на чужой сервер) чинит грамматику и предлагает переписать поаккуратнее. Назвал Грамота.

Опыта в ML на тот момент было ровно ноль. Начинал на M1 Pro с 16 ГБ оперативки, и с такой памятью многое из того, что нужно было сделать, просто не выходило: обучение падало по памяти, модель не влезала. Часть прогресса застряла на месте, пока не дождался M5 Pro с 64 ГБ.

Как появилась идея? Что вдохновило?

Когда нейронки только выпустились у меня появилась идея: а почему бы не воссоздать Apple Intelligence только для русского? Частная модель которая бы сразу-же бы проверяля и редактровала мою писменность. Дождался до Айос 26 и понял что для русского языка поддержка не скоро придет. Английский, немецкий, французкий есть, а русского нет и по планам Эпла непохоже что появиться. Ну ок, значит делаю сам.

Что вошло в прототип и сколько времени на него было потрачено?
Прототип был очень прост, давай возьму YandexGPT-8B квантизирую и установлю на айфон. И буду посылать текст и промпт через Shortcuts.

Быстро провалилась идея. Оказывается, айос жестко контролируюет качество UX и если что-то начинает забирать слишком много памяти, то он жестко убивает приложение. 8B даже сжатая это больше гига в оперативке, а расширению (там где живут Writing Tools) айос дает совсем чуть-чуть и прибивает мгновенно. Спасибо алгоритму ютуба за это видео обясная проблему:

Тогда и стало понятно что 8B это неправильный инструмент. Использовать 8-миллиардную модель чтобы поправить грамматику в сообщении это как гонять грузовик в Леруа за парой досок. Дальше вся работа свелась к одному вопросу: как ужать это до размера, который айфон потянет на фоне.

*Может есть способ оптимщировать, но я вайб кодер и промпт мастер, а не разработчик Swift (

Какой технологический стек вы использовали? Почему?

ChatGPT — мои первые попытки писать приложение были с ним (версия ГПТ 4). Я просто брал код и копировал, ничего не понимая.
Claude Code — обожаю, действующий код выкладывает, реально держит контекст всего проекта а не одного файла. Сейчас основной инструмент.
Codex — когда usage с Claude Code заканчивается перехожу, явно лучше чем Chat, ну все-равно так себе в сравнение с Claude Code.
MLX — для того-чтобы локально модели работали и тренировались прямо на Mac
Yandex-GPT — для создания тренировочного корпуса. Своих чистых пар «ошибка → правильно» на русском почти нет, поэтому генерил их учителем: беру правильное предложение, прошу модель наделать в нём типичных ошибок, и получаю пары для обучения.
Python — весь training и обработка данных.
Swift — само приложение.
CoreML — оптимизация под Apple Neural Engine, чтобы всё крутилось на устройстве и не жрало батарею.

Как вы запускались и искали первых пользователей?

LinkedIn и друзья, проект еще в стадии MVP. Пока это точечно: скидываю билд знакомым, пишу про прогресс в LinkedIn, ловлю обратную связь от тех кому небезразличен русский текст. Большого запуска ещё не было, сначала хочу довести качество модели до состояния, за которое не стыдно.

С какими самыми неожиданными трудностями пришлось столкнуться?

Баги в скриптах, на которых терял по несколько дней:

• Модель не знала когда закончить. Забыл правильно проставить конец последовательности (EOS), и вместо того чтобы починить предложение и остановиться, она чинила его и продолжала генерить дальше какой-то бред. Выглядело как будто модель сломана целиком, а проблема была в одном токене.
• «Оценка 100» на любом тексте. В режиме Редактора приложение уверенно ставило текст «идеальным» даже там где ошибки были очевидны. Оказалось дело вообще не в модели, а в том как я разбил текст на куски по переносам строк: двойной перенос ломал разбивку, до модели долетала пустота, и она честно отвечала «тут всё хорошо». Классика: винишь нейронку, а виноват твой же цикл.
• Модель, которая сама себя раскачивала. В одном из экспериментов добавил вспомогательную голову, и она завела петлю обратной связи, обучение шло нестабильно и результаты скакали. Раскопал что это она, но на качество итоговой версии это в итоге не повлияло.

Но самая большая трудность это не баги, а то что не так уж и много людей в OpenSource занимаються маленькими моделями для русского языка. Для английского готовых датасетов, статей и чекпоинтов навалом. Для русского, да ещё и маленького размера под устройство, приходится многое собирать и делать с нуля.

Сколько потратили и заработали? Есть идеи как это можно монетизировать?

Потратил в районе $5000, из них $4400 на новый компьютер и $600 на подписки и апи. Заработал пока $0, приложение ещё не в продаже.

По монетизации думаю в сторону простой модели: базовая проверка бесплатно, а продвинутый Редактор (на macOS) и режим репетитора по разовой покупке (в районе $15, без подписок, чтобы не бесить).

Какие планы на будущее?

Сейчас тренирую V3, улучшаю качество исправлений и стараюсь, чтобы модель поменьше «переписывала» там, где достаточно просто поправить.

Также стараюсь добавить функцю репетитора, чтобы можно было бы работать над ошибками. Идея простая: приложение запоминает какие ошибки ты делаешь чаще всего (те самые «тся/ться», «о/а»), и потом подсовывает упражнения именно на твои слабые места, а не абстрактную школьную программу. Не просто исправить и забыть, а чтобы со временем ты сам переставал их делать.

Нужны ли какие-то советы или помощь Клуба?

Да. Загрузите приложение пожалуйста, дайти знать как оно работает, особенно если оно на вашем тексте лагает или наоборот переписывает то, что и так нормально. Такие примеры для меня золото, я их прямо в корпус добавляю.

И если среди вас есть те, кто копал маленькие русские модели или знает где живут нормальные русские датасеты под GEC (исправление грамматики), напишите, буду очень благодарен.

Какой совет вы бы сами могли дать идущим по вашим стопам?

Сейчас отличное время делать что-то сложное, реально так много ресуросв есть сейчас чтобы творить. Я зашёл в ML с нулём опыта, копируя код у ChatGPT, и всё равно доехал до работающей модели на устройстве. Инструменты уже вытягивают тебя гораздо дальше чем твой стартовый уровень, так что не ждите пока «дорастёте», начинайте на том что есть.