Проект: Fluently. Учим английский нихрена не делая  Публичный пост
6 июля 2023  4659
Я не плачу... Держи долор
Fluently. Учим английский нихрена не делая
https://getfluently.co/

Пару слов про меня

Меня зовут Юра. В студенческие годы я катался по стажировкам в Google, Nvidia, Lyft и Amazon. Потом два года строил стартап Myna Labs, где мы создавали AI Celebrity Digital Clones и собирали миллионы просмотров на видосах в TikTok. Затем я ушел и запустил пару инди проектов со своими друзьями: вот, вот и вот.

Сейчас я делаю Fluently - приложение, которое помогает людям совершенствовать английский давая им обратную связь на их повседневные звонки. Что-то типа Grammarly, но только для видеоконференций.

Скриншот с лендинга.
Скриншот с лендинга.

Как появилась идея?

Я прожил больше года в штатах, где прокачал свой английский до advanced уровня (по крайней мере, я так считаю, хех). Да и почти всю информацию, включая книги, потребляю только на английском.

Но не смотря на это, за последние 4 месяца жизни в Лондоне, где я проходил акселератор Entrepreneur First, заметил, что иногда люди все еще меня переспрашивают, и я вижу по их лицам, что они ничего не поняли (хах, такое сложно скрыть).

Самая забавная ситуация приключилась, когда один парень из Латвии подошел ко мне и тихо сказал на ушко: “Юрец, ты вместо vague произносишь wagyu”. Первое слово переводится как неясный или расплывчатый, а вот второе - это японское мясо. Да, не самые близкие слова по значению… зато объясняет недоумение на лицах слушателей.

Вообщем, я еще раз почувствовал желание прокачать свой английский язык. Хочу быть как нейтив - хочу любую мысль доносить четко, понятно и красиво. Вариант “да пофиг, и так поймут, я ж не местный” меня совсем не устраивает.

При этом ходить по репетиторам сложновато. Во-первых нужно выделить время на занятия. Во-вторых, хорошие репетиторы стоят дорого. В-третьих, объема обратной связи после часового занятия не очень то и много на неделю.

Да, если у вас нет англоязычной коммуникации, это точно решение. А что если она у меня уже есть? Что если я работаю в англоязычной компании или питчу свой проект зарубежным инвесторам?

Хочу виртуального репетитора, который органично впишется в мою повседневную рутину и выведет мой английский язык на новый уровень. Вот. Так все и началось.

Прикол. Так и что делали?

Первым делом я решил потратить недельку, чтобы посмотреть интересно ли это кому-нибудь еще.

Поэтому пошел собрал лендинг, где можно записаться в вейтлист, а на самом сайте простенько накидал основные ценности продукта. На текущий момент сайт пока еще не менялся.

Затем прошелся с этим лендингом по моим знакомым фаундерам с заходом “ой глянь, что нашел”, чтобы посмотреть, как они отреагируют и что скажут. Не очень этично, признаю 😌

На удивление 2/3 проявили интерес к приложению и записались в лист ожидания на сайте. Остальные либо хорошо владеют английским (по крайней мере, они так считают, хех), либо им пофиг (ок, хозяин барин)

После этого было решено собрать первую версию приложения под MacOS, которая бы давала обратную связь только по произношению. Например, у тебя закончился англоязычный зумчик, и ты получаешь 10 карточек с самыми грубыми ошибками, которые допустил. На самих же карточках можно послушать и себя и то, как правильно.

На эту часть ушло еще 3 недели, поскольку она далеко от тривиальной: начиная от технологии детекции ошибок произношения, заканчивая автоматическим определением начала и конца звонка у пользователя.

Тю, так надо было сайт бахнуть!

Да, давайте объясню, почему все же приложение под MacOS, а не веб-сайт или плагин для зума. Причин на это было много:

  • Во-первых, я не верю во все решения, где пользователь должен пойти и сам что-то сделать: пойти на сайт и загрузить аудио или зайти в приложение и начать запись. Почему? Да потому что почти все будут забывать это делать. Нужно решение, которое будет работать без всякого фрикшена.
  • Во-вторых, люди часто пользуются различными сервисами для видеозвонков, включая Zoom, Meet и Skype. Поэтому делая плагин только для одного из них мы сильно режем свою потенциальную аудиторию. Поэтому решили начать с десктоп приложения.
  • В-третьих, мы планируем, что все работало локально. Так и нам не нужно платить за серваки, да и данные пользователей никогда не покидают девайс. Privacy! А учитывая производительность новых процессоров M1/M2, первым делом это все заработает на Mac.
  • Ну и в-четвертых, у меня самого Mac 😂

На чем код то писали?

Поскольку приложение под MacOS, то решил написать клиент на Swift. Конечно, еще можно было посмотреть и на Electron, но нейтив приложения имхо всегда ощущаются лучше. Да и если придется лезть во что-то низкоуровневое, то думаю быстрее будет решать вопросики на Swift.

И да, конечно же, сам Swift я не знал. Благо, что язык оказался приятным, и голова на плечах есть. Отдельно кайфанул от верстки на SwiftUI. Спасло еще то, что за последний год я научился собирать приложения на React, на который SwiftUI уж очень похож.

SwiftUI должен напоминать React.
SwiftUI должен напоминать React.

Сейчас приложение детектирует начало звонка и начинает анализировать аудио пользователя небольшими кусочками обрабатывая их на сервере. При этом анализируется только речь самого пользователя, а речь собеседника приложение даже и не слышит (не считая некоторых случаев, когда громкий разговор без наушников)

Бекенд написан на многим любимом питончике, а ML модельки на pytorch. Сервер получает аудио и детектирует ошибки в произношении, которые отправляет обратно в приложение.

В детали реализации самого пайплайна вдаваться не буду, поскольку там на отдельный пост. Будет время - напишу! Если упрощать, то все утроено следующим образом: аудио распознается в текст, текст переводится в фонемы, а отдельная моделька смотрит на сколько они соотносятся с произнесенными звуками на аудиозаписи.

Вот так вот выглядят карточки с произношением.
Вот так вот выглядят карточки с произношением.

Разумеется, сами записи мы не собираем, а только сохраняем статистику по ошибкам. Privacy! Да и не то, чтобы нам нужна была англоязычная речь с русским акцентом. Я вам такое и сам записывать часами могу!

И как? Пользуется кто-нибудь?

Когда появилась первая версия приложения, то я поделился коротким демо видео в своем телеграм канале, а пару друзей сделали еще и репост у себя. Таким образом в вейтлист набежало больше 200 человек.

Поскольку приложение еще сырое, то не имеет смысла запускать туда сразу всех. Очень важно сначала пустить небольшую группу пользователей, которые активно дают обратную связь, чтобы приложение можно было быстро улучшать.

Моя почта в те дни.
Моя почта в те дни.

Чтобы лучше понять, кто записался в лист ожидания и что им нужно, я решил провести короткие 15-минутные интервью. Итого за 2 недели я поговорил больше чем с 60 людьми.

Вот их сейчас потихоньку и запускаю в продукт.

Так, а заработать то получилось?

Вообще планируется монетизировать приложение подпиской по $20/месяц. При этом сейчас самой цели заработать нет. Куда более важнее проверить, есть ли у людей потребность в таком продукте и готовы ли они за него платить.

Поскольку продукт еще далек от идеального, то сейчас я предлагаю людям купить подписку за $10/месяц. Пока мы впустили только 18 человек и собрали ~$360 (есть те, кто решили купить лайфтайм за $99). Еще два десятка в очереди.

Неплохо. Что дальше?

Пока исправляем баги и неожиданные проблемы, которые вылезли у людей в процессе пользования продуктом. Некоторые из них оказались на столько не тривиальными, что пришлось написать свой аудиодрайвер.

Вот, например, учим людей правильно смеяться. Просто нужно было громче…
Вот, например, учим людей правильно смеяться. Просто нужно было громче…

Класс! Могу чем-нибудь помочь?

Да в целом все хорошо - серваки крутятся, а продукт мутится.

Единственное, если у вас есть англоязычная коммуникация (репетитор на том же скаенге считается) и потребность в нашем продукте, то можете оставить заявку по ссылке, а я к вам вернусь 🫡

Сейчас вот выходит новая версия, куда завезли еще и грамматику.

Заключение

Кайфую, что работаю на продуктом, который решает мою же проблему. Делать крутое решения для чужих проблем однозначно сложнее.

Постарался рассказать вам про наш проект как можно живее. Надеюсь, что вам понравился пост, и вы оставите свой апвоут 🔼

Также буду рад видеть вас в своем канальчике в телеге, где я подробней рассказываю про свои проекты.

Аватар Юрий Ребрик
Юрий Ребрик @rebryk
FounderFluently
📍Тбилиси, Грузия

Строю Fluently - приложение-коуч, дающее фидбек по произношению, грамматике и новым речевым оборотам после каждого звонка🤘

Кайфую от общения с умными и амбициозными людьми 😊

💬 Telegram · 🦆Twitter · 💌 Substack · 📽 YouTube · 👨‍💻 Github

Связанные посты
45 комментариев 👇

Я считаю это просто гениально!! Моя лень ликует, я снова могу ничего не делать))

Заявку оставила)

  Развернуть 1 комментарий
  Развернуть 1 комментарий

@wllrsvlcff, получилось попользоваться?

  Развернуть 1 комментарий

Юра крутой, впечатляет, как ты быстро собрал мвп!

  Развернуть 1 комментарий

@murfel, спасибо :3

  Развернуть 1 комментарий

Расскажи про то, откуда берешь фонетику? Там же куча исключений должно быть: как борешься со всякими забавными корнер кейсами вроде смеха, может ли оно имена собственные править?
Я вот в случае всякой стремоты иду на youglish.com - очень помогает.

  Развернуть 1 комментарий

@matasoff, youglish.com крутая тема

  Развернуть 1 комментарий

@matasoff, Исключения пока идут лесом! Сейчас самые понятные и частые юзкейсы

  Развернуть 1 комментарий

@rebryk, Японское мясо-то хоть правит? :D

  Развернуть 1 комментарий

@matasoff, да. такие грубые и куда менее ошибки, правит

  Развернуть 1 комментарий

@matasoff, так 90% ошибок у всех совсем тривиальные

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий
Валентин Раушенбах Старший Данные Учёный 6 июля 2023

В-третьих, мы планируем, что все работало локально. Так и нам не нужно платить за серваки, да и данные пользователей никогда не покидают девайс. Privacy!

Сейчас приложение детектирует начало звонка и начинает анализировать аудио пользователя небольшими кусочками обрабатывая их на сервере

Чой-то я запутался... :) Сервер - это типа локально поднятый контейнер или что? Или прайваси ушла в режим стелс? :)

  Развернуть 1 комментарий

@fntquie, сейчас обработка идет на серверах.

в лонг терме хотим делать локально. чтобы а) не платить за серваки и б) юзера проще спалось

  Развернуть 1 комментарий

@fntquie, просто с наскока локально это сложно сделать, а уходить в диптех сейчас не имеет смысла

  Развернуть 1 комментарий
Vlad Bokov чиню неонку у ней внутри 6 июля 2023

Я сейчас ради такого же эффекта часто прошу включить запись и транскрипцию командных созвонов в google meet под видом "ну понадобится же", а сам смотрю на то как мой английский распознался :)

  Развернуть 1 комментарий

Идея крутецкая!
Напрашивается недельный триальчик или условно-бесплатная версия с Х минут в неделю/месяц.
Пошел заявку писать.

  Развернуть 1 комментарий

@komposter, спасибо! да когда-нибудь будет, но просто не сейчас

  Развернуть 1 комментарий

@komposter, и недельный триальчик и условно-бесплатная версия есть у Pronounce ;) Продукта, в котором есть тот же функционал, что и у fluently, только в значительно более продвинутом виде. А также там можно разговаривать с AI и читать вслух.

Здесь можно почитать подробно: https://vas3k.club/project/20567/
А здесь посмотреть сам продукт: getpronounce.com

  Развернуть 1 комментарий

@sukholentseva, За персональный таргетинг — респект 🙂
Попробую и прононс, спасибо.

  Развернуть 1 комментарий

Классная идея!
Были бы интересны две вещи:

  • еще более глубокий взгляд на приватность. Пока очень сомневаюсь, что бигтех легко даст слушать свои звонки… может быть, есть механизм обхода этого? Вот ты пишешь, что приложение на макось удобно разными вещами, но есть подозрение, что плагин к миту проще провести через всякие аппрувалы. Не то чтобы на бигтехе сошелся свет клином, но мне кажется, это довольно большая доля ЦА (опять же, bias в сторону того, что лично мне это надо)
  • не знаю, есть ли выгрузка данных, но это первое, что бы пригодилось - для анкидрочеров и всех
  Развернуть 1 комментарий

@sooobus, может быть, пока до конца непонятно. При этом, если все работает локально, то думаю это облегчит получение апрува. Но может и нет... Скоро узнаем

  Развернуть 1 комментарий

О, внезапно! Я год назад делал Entrepreneur First в Париже, а еще меня в Лондон на ReForm тогда же занесло. И тоже работал над языковым приложением - хотел сделать виртуального учителя языков (чтоб можно было голосом, и сразу на многих языках). Не сложилось найти кофаундера.

Хитрая идея с лендинговой страницей! У нас тоже была, но мы её показывали, как свою - даже нашел её https://tension-receive.unicornplatform.page/. Названия даже схожи :)

Отдельный респект за раннюю монетизацию.

Желаю удачи! Приятно удивлюсь, если в 2023 получится сделать новое успешное приложение для изучения языков :)

  Развернуть 1 комментарий
metya Applied Deep Learning Researcher 12 июля 2023

Привет!
А так и задумывалось, что записаться на early access нельзя без реги в airtable?))

  Развернуть 1 комментарий

@metya, разумеется

  Развернуть 1 комментарий

@wllrsvlcff так нужно как минимум иметь коммуникацию на англ! Вряд ли это можно сделать, ничего не делая, хах

  Развернуть 1 комментарий

Исключения пока идут лесом! Сейчас самые понятные и частые юзкейсы

  Развернуть 1 комментарий

Идея офигенная. Можешь подробнее рассказать про модельку и на чем ее тренировал?

  Развернуть 1 комментарий

@stepaha, там сейчас не самый тривиальный пайплайн из разных предобученных моделек и еще алгоритмов. планируется позже натренировать свои сеточки, чтобы качество вывести на новый уровень

  Развернуть 1 комментарий

@stepaha, первые версии продукта же. важнее проверить жизнеспособность юнит-экономики

  Развернуть 1 комментарий

@rebryk, понимаю. Удачи с продуктом, надеюсь взлетит.

  Развернуть 1 комментарий

@stepaha, спасибо!

  Развернуть 1 комментарий

@stepaha, я осмелюсь предположить, что звук в текст переводит Whisper от OpenAI, а вот выделять фонемы и считать расстояние между произнесенным и правильным можно было бы кучей способов. Но я немного не сварщик

  Развернуть 1 комментарий

@fntquie, да, whisper у нас тоже есть

  Развернуть 1 комментарий

@rebryk, получается что бы уйти в локальную версию, надо заменить все эти внешние распозновалки в свои локальные?

  Развернуть 1 комментарий

@Zoktog, Нужно ужать и перенести все модельки на локалку, да

  Развернуть 1 комментарий
Георгий Перепечко старший красильщик кнопок 10 июля 2023

Идея очень крутая 👍

Но на вебе, записав аудио, получил "Cannot read properties of undefined (reading 'score')" 😵

  Развернуть 1 комментарий

@merelj, какой странице?

  Развернуть 1 комментарий

@rebryk, сюда тыкнул на start recording !

  Развернуть 1 комментарий

@merelj, лол. я случайно поломал нашу ссылку getfluently.co
пофиксил, спасибо
это старая демка, которую не поддерживаем.

  Развернуть 1 комментарий

эх, пошел дочитать статью дальше описания идеи и ссылки 😅

  Развернуть 1 комментарий

Привет!

Спасибо за пост дико интересно. И моя субличность продакта просто ликовала. Успехов тебе с продуктом!

  Развернуть 1 комментарий

@vlsh, Спасибо!

  Развернуть 1 комментарий

Привет!
Оч крутой и, что самое главное, понятный (на первый взгляд, но интересно поюзать) продукт)
С большим интересом оставила заявку! И присоединяюсь к коллегам, чьи души продактов ликуют

  Развернуть 1 комментарий

Очень классный проект! Оставил заявку, жду доступ!

  Развернуть 1 комментарий
Семён Титаренко It's all Code,Man. Frontend Developer, TS,React 20 июля 2023

Классная идея! Успехов в реализации.
Пинганите, когда виндоводы смогут потестить

  Развернуть 1 комментарий

@Maktakin, виндоводы могут пока потестить Pronounce :)
Приложение доступно в форматах web app и chrome extention.

В продукте можно смотреть фидбек на свои диалоги по грамматике, выбору слов, произношению, точности формулировок, скорости речи, длительности и правильности расстановки пауз и т.д.

А также можно общаться с AI-собеседниками (у нас их 16 с разными характерами и акцентами + каждому можно менять скорость речи, чтобы подстроить диалог под свой уровень языка) на любые темы и читать вслух встроенные тексты, либо свои.

Здесь можно почитать подробно: https://vas3k.club/project/20567/
А здесь посмотреть сам продукт: getpronounce.com

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб