Уже больше года развиваю своего очередного бота с gpt. За это время случилось уже несколько витков эволюции ИИ сервисов, как на локальном Российском рынке, так и в мире.
Начну с того, что создать чат бота на API нереально просто. Потребуется сам ChatGPT, 5 минут времени и умение запускать python код. И из-за такого низкого порога входа телеграм быстро заполнился кучей GPT ботов.
На самом деле, иметь нейронку в мессенджере очень удобно. Можно не идти в гугл, который выдаст рекламные статьи с кучей воды, а написать боту и получить быстрый краткий ответ, задавая уточняющие вопросы, если потребуется. Это как написать всезнающему другу.
С недоступностью ChatGPT в россии так и появилась идея проекта. Зачем включать каждый раз VPN и ждать пока прогрузится сайт, когда можно просто написать боту.
Нейронка для студентов
Я позиционирую проект как универсальный помощник в учебе и изначально он так и продвигался.
Учась в ЮФУ, я привязал к боту авторизацию через корпоративную почту университета и выдавал подписки своим корешам студентам.
Из интересных историй: чтобы заявить о себе, я решил спарсить все почты в домене университета и разослать сообщение о своем боте. На удивление, через Outlook это сделать оказалось не сложно. Я получил базу из 20 000 почт студентов, в Outlook в одном письме можно указать 500 скрытых копий. За день я разослал 10 000 писем и уперся в лимит писем в сутки. На следующее утро я заметил, что не могу зайти в тимс - админы снесли мне корпоративный аккаунт 🥲
Но письма в почте у всех остались
Благодаря этому выкрутасу я за день собрал 2 тысячи юзеров 🤗
Фичи
Диалог по реплаям - каждое новое сообщение боту это новый диалог. Чтобы бот запомнил цепочку, надо просто отвечать на его сообщения. Таким образом можно делать разветвленные диалоги, удобнее, чем в любом веб интерфейсе. Если нейронка ответила какую-то фигню и тебе надо перефразировать свой вопрос, то можно просто снова тегнуть предыдущий ответ. Никаких команд для сброса истории и так далее. Лично для меня это удобнейшая фича.
Распознавание изображений - внедрил сразу как гугл дал API к Gemini. Боту можно отправить картинку и он поймет что на ней изображено. Можно, например, спрашивать что за сорт кактуса стоит на подоконнике у моей тещи.
Чат по PDF - Новинка™️ - добавил на прошлой неделе, разработка заняла очень много времени. По сути, это обычный RAG. Ты отправляешь боту документ, он преобразует его в markdown и разбивает на чанки, с которыми потом работает нейронка. Фича есть уже много где, но для студентов это как раз имба. Можно скормить мануал по дебильному микроконтроллеру и кидать боту вопросы с лабника, чтобы не забивать себе голову этим ассемблером (извините, накипело)
Что под капотом?
Разработка это отдельная история. Из простейшего мини бота проект перерос в полноценный движок для нейронок. Все написано на Python, для бота библиотека aiogram 3.
Нейронки: Gemini Flash и GPT-4o
Для нейронок написан самопальный коннектор, мы с корешом изобрали велосипед - написали свой langchain. Хостится это добро на российской VPSке, поэтому поверх еще висит HTTP прокси.
Бд - MongoDB
Мани мани мани
Где деньги, лебовски? - таким вопросом я задаюсь каждый раз, вспоминая, что щас в боте 5 тысяч юзеров и их надо бы монетизировать. Платные подписчики конечно же есть, но выхлопа с такого проекта хватит разве что на шаурму. Тарифные планы минимальные и все уходит на оплату токенов (а мои коллеги с института кушают эти токены вообще бесплатно). Я в общем
open to suggestions, как говориться, если хотите обсудить бизнесовые вопросы и помочь мне стать миллионером (снова, см. мой первый пост в клубе), то пишите в телеграм
Такие вот пироги
Бот - https://t.me/ai_studgpt_bot
Лендос (сам не знаю зачем он) - https://studgpt.ru
Привет!
очень классный проект, а история про 2к юзеров топ xD
я после недавнего комментария в треде о применениях LLM сделал себе тоже в телеге бота по этому репозиторию
https://github.com/yym68686/ChatGPT-Telegram-Bot
там есть кнопка сброса как раз, но мне очень нравится твоё решение — а можешь подсказать, как я могу у себя так сделать? если у тебя код открыт, я бы просто стырил себе нужный кусок...) или это секретик?...
Очень круто, + можно ещё NotebookLM затестировать.
Какое-то время думаю над идеей развития "децентрализованных" сервисов. Может помочь здесь.
Сценарий, который я наблюдал уже не раз: человек X делает сервис Y, этот сервис становится популярным среди его друзей, X может даже начать собирать небольшой доллар, чтобы сделать Y окупаемым/чуть-чуть-прибыльным. Дальше X начинает думать "какой классный сервис я сделал, как же теперь его заставить мне приносить деньги". Тут он попадает в мир проблем, связанных с маркетингом, в котором он не шарит. Он шарит как сделать сервис X классным (definition - его друзья пользуются и платят доллар).
Идея: продавать не B2C, а B2B.
Когда ты шерил с друзьями свой сервис, они были рады что теперь их проблемы решены (тем более провайдер услуг - их друг, а значит +доверие), а ты был рад, что помог друзьям (у тебя +респект). Поэтому такие "продажи" работают.
Теперь, вместо того, чтобы продавать незнакомцам свой сервис (что может быть сложно), дай своим друзьям возможность заработать. Найди несколько дружбалёчков и подними им инстансы их личных StudGPT. Пусть это будут не самые близкие твои друзья (потому что у вас большое число общих друзей и ваши продукты начнут конкурировать), также пусть это будут люди с хорошим нетворком и желанием заработать.
Ты будешь провайдером сервиса, они будут лицом сервиса. Делите прибыль в отношении 1:2, 1:1 или как будет угодно.
Как скейлить дальше?
С таким названием слоган должен быть "Нейросеть между ног"
Идея прикольная!
Ещё я удивлён, что получилось с окупаемосьтью.
Вообще, у GPT 4o токены довольно дорогие. Если вставлять туда куски кода, либо книжки и PDF, то там за вечер может $0.5-$1 набежать.
Т.е. за месяц если грубо прикинуть, то один пользователь может потратить $10-20.
Т.е. видимо находится много пользователей которые обладая платной подпиской тратят крайне мало, и в целом быланс сходится?
А если не секрет, какова цена подписки?
Ещё у меня была идея экономить деньги, более простые запросы делая к модели GPT 4o-mini, где токены стоят копейки.
А распознавать насколько запрос сложный можно попытаться отдельным запросом к той же GPT 4o-mini.
Но попробовать на практике - руки пока не дошли.
Интересная идея с реплаями. Возьму на вооружение. Всегда интересовал вопрос безопасности «чата с pdf» - расскажи изнутри, что происходит с файлами? На сколько безопасно их грузить в таких ботов? Они где-то хранятся? Где-то кешируются?
Очень классная фишка с реплаями! Подскажи, а ты при этом хранишь все диалоги в памяти бота или он каждый раз заново узнает весь контекст, поднимаясь по цепочке реплаев? Получается ли за счет этого экономить на памяти?)