Проект: SpeakGPT.club — длинные беседы голосом с ChatGPT  Публичный пост
7 марта 2023  3001
Держи долор
SpeakGPT.club - длинные беседы голосом с ChatGPT

Привет!

Итак SpeakGPT.club - это сервис для длительных голосовых бесед с ChatGPT.

Его можно использовать для подготовки к собеседованиям, практики иностранного языка, тренировок общения и т.д.

Вы определяете как именно ИИ должен общаться с помощью "промпта". Примерно как в ChatGPT. Но потом ссылкой на такого собеседника можно поделиться. И можно не раскрывать при этом самого ценного - текст "промпта".

Вот инструкция, которую я записывал для клиента. Она должно дать понимание как все работает.
ссылка на ютуб

От чего у меня бомбило? В чем заключается проблема?

Итак мы имеем умнейший ИИ, обученный на всем интернете, но при этом сервисы для разговоров с ним (это в основном для практики языков) - предлагают крайне плоские диалоги, в духе "Where is the bathroom?"

Кстати, про bathroom - это прямая цитата из видео, которое было в анонсе OpenAI три дня назад.

https://player.vimeo.com/video/803286588?h=0070d10757

Разве не круто было бы использовать для разговоров всю мощь ИИ? Чтобы создавать интересные и специализированные беседы под каждого отдельного человека.

В этом проекте я попробовал такое реализовать )

Фичи

1. Открытый промпт

В SpeakGPT каждый пользователь может задать себе собеседника индивидуально.

И поскольку создать интересный промпт не просто, пользователи могут делиться удачными собеседниками друг с другом. При этом текст промпта по ссылке можно скрыть, чтобы получатель мог только непосредственно беседовать. Так что если вы потратили неделю на полировку промпта - давать им попользоваться другим людям - не обидно.

Так, например, преподаватели могут скидывать такую ссылку на интересного собеседника как дополнительную ценность к своим услугам.

2) Почти 100%-е распознавание речи с помощью Whisper от OpenAI

Сервис Whisper работает невероятно хорошо. Просто новый уровень по сравнению с распознаванием в Телеграме диктовкой на iOS/Android, к которому мы привыкли.

Можно сконцентрироваться на беседе и быть уверенным что система все равно поймет, что вы хотите сказать. Вы можете говорить громко или тихо, быстро или медленно, делать длинные паузы или использовать сленг.

3) Запрос к модели через английский

ИИ лучше всего работает на английском языке. Поэтому в SpeakGPT если вы обратились к нему на русском, система переведет сообщение на английский для запроса, а ответ обратно в русский. DeepL - почти безошибочно делает перевод.
Это немного дольше, но беседы получаются глубже и интереснее.

Разработка

Сбор приложения был не сложным, это по-сути бутерброд из разных АПИ. Но из приключений - пришлось уговорить знакомого из Австрии поделиться кредиткой для регистрации в API переводчика DeepL. Из Украины или с картой Payoneer сделать это нельзя. Я был тем самым другом который пишет - скинь номер карты... да да и те три цифры на обратной стороне.

Первые пользователи

Когда приложение было готово, я закинул его в чат поклонников ChatGPT, и люди начали им пользоваться.

Как пример, мне написала девушка психолог, которая обучает других психологов. Она хочет создавать собеседников, которые бы вели себя как человек с депрессией или тревогой, чтобы давать их своим студентам для практики.


И проявила желание платить за сервис.

Личный опыт

На следующий день после публикации у меня было важное и напряженное собеседование. Я сделал себе искусственного интервьюера и специально прописал ему, что он должен задавать каверзные и спорные вопросы по теме.

Так вот, во время беседы с ботом была ситуация, которая, наверное, знакома каждому: наступает твоя очередь говорить, но все мысли вдруг вылетают из головы.

Я застопорился примерно на 20 секунд, пытаясь вспомнить мысль, потом наконец поймал снова нить беседы и продолжил. Сервис позволил получить такой опыт в безопасной обстановке и меньше волноваться на реальном собеседовании.

В другой раз мне показалось, что бот задал один и тот же вопрос дважды. Но когда я указал на это, он объяснил, что вопрос касался других деталей. Вот так я обучался быть внимательным к вопросам на интервью.

Сайд эффект

В качестве побочного эффекта, когда я загрузил этот проект на конкурс стартапов Pioneer.app, я получил 6 из 6 еженедельных голосов (два раза подряд). С предыдущим проектом я обычно получал не более двух голосов.

Что хочу от сообщества?

Качество промпта - это то что определяет, интересная ли получится беседа, или нет. И чем больше людей будет обмениваться информацией о создании собеседников - тем ценнее будет беседы.
Собственно поэтому и выбран домен .club

Говорить голосом легче и приятнее чем печатать, поэтому длинна диалога с ИИ становится значительно больше. За счет этого мы можем исследовать все больше закоулков этой машины и получать еще больше пользы от нее.

Направления, которые на вскидку можно исследовать:

  • Поговорить с ученым, глубоко разбирающимся в какой-то теме.
  • Учитель английского, который учит тебя формулировать фразы более литературным и продвинутым языком
  • Учитель истории с которым можно обсудить событие в прошом

и т.д.

Велком попробовать и присоединяться к сообществу. В будущем я сделаю пейвол чтобы оплачивать расходы с АПИ, но для первых пользователей из клуба он открытый и бесплатный.

UPD: добавил Немецкий, Испанский, Французский, Польский, Итальянский

UPD2: После первого фидбека от клубчан хочу сфокусировать приложение на практике языков и сделать беседы более интересными.
Новый вариант - дискутирование с ботом о твоих твитах, для практики языков.
Пользователь указывает свой твиттер, приложение показывет его ленту, пользователь выбирает твит по которому можно по-дискутировать и беседует о нем с ИИ.
Бот при этом приводит контраргументы чтобы беседа получилась интересной. Каждый день юзеру будет приходить емейл с предложением обсудить такие-то твиты из его ленты.

Берем Твиттер - тк это источник тем которые интересны конкретному пользователю, вместо широких рассуждений “о спорте”, “о политике”.

Если хотите попасть в беталист на новую версию - пишите в телеграм t.me/igorbeaver
А то что есть - можно использовать уже сейчас.

Связанные посты
35 комментариев 👇

Звучит интересно.
Но на iPad в Chrome не завелось, при нажатии на кнопку микрофона она окрашивается в синий с иконкой релоада и всё… больше на нажатия не реагирует.

  Развернуть 1 комментарий

@ZaraThustra, Жаль. Там все сложно с запуском плеера под разные устройства, пока не починил нормально. На десктопе должно работать

  Развернуть 1 комментарий
Maxim Kоbetz JavaScript Software Engineer 7 марта 2023

Идея потрясающая!
Но у меня что-то не заводится
На фразу "Hello! How are you?" выпадает ошибка
Win 10, последний Chrome, разрешение на микрофон дано

  Развернуть 1 комментарий

@MaximmV, Спасибо! Посмотрю что может быть. Перезагрузка страницы не помогает?

  Развернуть 1 комментарий

@igor-beaver, увы, нет

  Развернуть 1 комментарий

@igor-beaver, Похоже проблема решена. Возможно помогли дропбоксы с выбором языка ввода

Просьба: есть ли возможность добавить минимальную поддержку горячий клавиш? Например пробел на включение-выключение микрофона

  Развернуть 1 комментарий

@MaximmV, О, отлично. А подскажи как бы ты хотел его использовать, чтобы я понимал? Для тренировки языка, или еще какие-то кейсы есть?

  Развернуть 1 комментарий

@igor-beaver, Да в основном для тренировки английского под конкретные ситуации. Аэропорт, аренда жилья, общение в банке, в налоговой и т.п.

  Развернуть 1 комментарий

@igor-beaver, Кажется в проекте что-то сломалось. Есть вам удобнее - может мне лучше отправлять сообщения в какой-то багтрекер?

  Развернуть 1 комментарий

Проверил, распознавание действительно очень хорошо работает.

  Развернуть 1 комментарий

Очень круто! А насколько сложно прикрутить другие языки, например немецкий? Сейчас попробовал немного, вроде бы фразы на немецком расшифровываются, но чатгпт мне отвечает на английском. Или это промтом можно задать?

  Развернуть 1 комментарий

@5BSTJ547Q3WfDZqY, О, спасибо за наводку! Да, сейчас немецкий не поддерживается, но включить его легко. Надо мне добавить несколько строчек.
А тебе было интересно общаться именно для практики немецкого?

  Развернуть 1 комментарий

@igor-beaver, да, хотел бы использовать чатгпт для тренировки разговоров на бытовые темы и разные темы из учебников. Готов делиться удачными промтами :)

  Развернуть 1 комментарий

@5BSTJ547Q3WfDZqY, добавил по-быстрому еще 5 языков, в том числе Немецкий. Чтобы лучше распознавалось - надо выбрать язык из выпадающего списка )

  Развернуть 1 комментарий
Саша Дихтяренко фронтенд разработчик 7 марта 2023

Очень крутая штука, я сейчас сидел тренировался общаться с hr-ом на английском языке. Иногда происходят ошибки, приходится перезагружать страницу, и начинать все по новой, ибо нельзя повторить попытку отправки моего сообщения, блокируется интерфейс.

  Развернуть 1 комментарий
Елена Кочева языковой коуч и ментор 7 марта 2023

Заебись!
Кажется, надо расчистить себе аж прям целый день, чтобы вдоволь с таким наиграться.

Респект, бро!

  Развернуть 1 комментарий

@kocheva_lena, Пасиб ) Тебе интересно практиковаться в иностранных языках, или просто поболтать с ИИ?

  Развернуть 1 комментарий

@igor-beaver, ну я занимаюсь консалтингом в сфере языков, поэтому это буквально что может стать рабочим инструментом (пока не оч понимаю кейсы и адекватность, поэтому надо тестить). Но выглядит прям оч рабоче.

Ну и для себя тоже, немецкий учу. Но для меня это скорее второстепенно)

  Развернуть 1 комментарий

@kocheva_lena, Окей, понял. Интересно. Я пока тоже не до конца нащупал идею, так что можешь писать если че, найдем способы которым оно будет полезным )

  Развернуть 1 комментарий

@kocheva_lena, добавил Немецкий и еще 4 языка. Надо выбрать из меню чтобы точно распознавалось )

  Развернуть 1 комментарий

А чем это отличается от mycharacter.ai?

Там есть и озвучка текста и ввод голосом. Кажется, что даже в создании персонажей они продвинулись дальше - с генерацией аваторов, созданием коллекций и таким же их шерингом как у тебя описано.

Предполагаю, что они это делали давно и просто свою LM'ку заменили с выходом чатгпт на апишку, но тем не менее выглядит очень круто у них.

  Развернуть 1 комментарий

@shoguuun, спасибо за пример!

Не хочется становится в позицию защиты и говорить чего у них нет, что есть. У каждого проекта есть своя специализация.
Конкретно этот - это крипто-стартап. Такие проекты как правило живут в своем крипто пузыре и не пересекается с проблемами обычных людей.

Кроме того - кажется они не использут АПИ. Я задал ему быть учителем истоории, а он меня начал учить грамматике. Такое поведение не похоже на OpenAI

В плане внешнего вида - да, полезно посмотреть как они сделали интерфейс.
В этом смысле, мне еще этот проект понравился https://www.producthunt.com/posts/chat-d-id

В моей версии - я хочу концентрироваться на полезности и глубине бесед и это сделать отличием от других.

  Развернуть 1 комментарий

Классный проект!

Ещё и комплимент от бота получил, дивно :D

  Развернуть 1 комментарий

@IvanGulyaev, Спасибо! Да, забавно что результат может выдать вконце )

  Развернуть 1 комментарий

Попробовал вчера и сегодня, классная штука с учетом недоступности OpenAI по российским номерам.

Не получилось только настроить AI как персонаж женского пола (возможно из-за перевода eng-rus) и вообще AI ответил что не имеет чувств (печально, я явно попросил в промпте отыгрывать роль). Но, предполагаю, это все относится больше к самому OpenAI.

Голосом общаться конечно можно, но я бы предпочел иметь текстовый режим как опцию.

Еще страдает код, то есть он не только не форматируется, но и переводятся наименования переменных в коде.

Спасибо за проект и доступ!

  Развернуть 1 комментарий
Михаил Семиколенов разработчик электронной бюрократии 9 марта 2023

Крутой проект, попробовал сделать учителя китайской истории :)

А какой используется Text-to-Speech движок? По-английски вообще хорошо говорит, не только понятно, но и смысловые ударения многие на месте. Это Amazon Polly?

  Развернуть 1 комментарий

@TepMex, Спасибо! Это Microsoft Speech. Это сейчас стандарт для подобных продуктов. Китайский кажется сейчас не поддерживается, но могу включить )

  Развернуть 1 комментарий

Спасибо за проект, тоже думал над таким.

Попробовал пообщаться на японском, китайском и нидерландском. Бот не осилил, выдает ошибку распознавания.

Английский и простые вопросы на немецком и французском щелкает как орешки.

Можно дополнительные три языка подключить? Интересно, как он будет с тонами работать и различными диалектами

  Развернуть 1 комментарий

Классная идея

Скажите, какого вида данные храните у себя на сервере? Или не храните вообще ничего и это чисто обертка на api?

  Развернуть 1 комментарий
Gleb A. Lantsman Преподаю IELTS, делаю онлайн-курсы 13 марта 2023

Выглядит крайне интересно! Как можно присоединиться к тестированию проекта?

Преподаю английский на высоких уровнях, готовлю к IELTS, учу писать и говорить логично)

  Развернуть 1 комментарий

Крутая идея! Буду рада присоединиться к тестированию продукта.

Сейчас на https://app.speakgpt.club/login после входа через twitter ничего не происходит. В консоли разработчика видно, что вываливаются данные с токенами авторизации twitter, то есть авторизация вроде как успешно прошла.
В чём может быть проблема?

UPD: в продукт вносятся изменения, ждём обновления

  Развернуть 1 комментарий

Мне очень понравилось, для такого социофобушка как я разговаривать голосом с компом хоть не так страшно ...
Думаю, было бы полезно и удобно поставить кнопочку которая бы проигрывала твою речь в записи. Это полезно, чтобы слышать свое произношение

  Развернуть 1 комментарий

А там пока есть возможность общаться на 3 за ранее предоставленные темы? Нет возможности свою тему задать и использовать как в примере, с интервьювером, например?

  Развернуть 1 комментарий
Maxim Kоbetz JavaScript Software Engineer 24 мая 2023

Плюсую

  Развернуть 1 комментарий
Александр Элеазер Поддерживаю контентные проекты 20 июня 2023

Правильно понимаю, что сербского языка не будет, поскольку он не поддерживается DeepL?

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб