Привет! Меня зовут Антон, не очень давно я рассказывал про свой проект ScrapeNinja для парсинга данных из веба.

Ниндзя поживает хорошо, помогает парсить сайты уже тысячам платных и бесплатных кастомеров (по сегодняшней стате 130 активных юзеров API за сутки), зарабатывает деньги, я благодаря чудовищно слаженной поддержке одноклубников даже забрал бронзовую медальку Product of the Day на Продакт Ханте, да и сегодняшний мой рассказ про продукт, который пользуется ScrapeNinja под капотом.

Давно витала в воздухе идея построить продукт "для людей", а точнее, применить ScrapeNinja для более конкретных практических задач. Подходов было несколько, рассказываю про самый актуальный.

ProspectLens - это мой новый API-first продукт, над которым я работаю сейчас. Цель проекта - создать удобный и недорогой инструмент для сейлзов и маркетологов, который поможет им быстро находить данные о компаниях на основе доменных имен.

Идея пришла ко мне во время общения с коллегами-фаундерами стартапов в сфере B2B. Многие жаловались, что API от Crunchbase слишком дорогой для них 💰 да и CB тупо игнорит запросы на доступ к API, а без информации о потенциальных клиентах очень сложно оптимизировать продажи и выстраивать маркетинг.

Я подумал - а почему бы не использовать технологию веб-парсинга, которую мы разработали для ScrapeNinja, и не создать простой и недорогой сервис для извлечения данных о компаниях? 💡

Технологии

В итоге родился ProspectLens - REST API сервер на Node.js, который умеет делать запросы к API ScrapeNinja и извлекать необходимую информацию с разных сайтов. А затем возвращать эти данные клиенту в удобном JSON формате.

Я специально сделал ProspectLens в виде API, чтобы можно было легко интегрировать его с популярными CRM-системами типа HubSpot. Но я понимаю, что не каждому удобно сразу подключать API.

Поэтому я также реализовал пару демо-версий для быстрого старта. Одна - на основе Google Таблиц и Make, вторая - это скрипт на Node.js и Docker на Github.

Лендинг ProspectLens собрал из Tailwind + моего любимчика 11ty - это такой super-lean представитель jamstack, статических билдеров сайтов. 11ty - отличный вариант для минималистов, если быстро хочется получить сотку по Google Lighthouse по всем показателям, при этом еще и очень быстрый процесс сборки статических страниц получить и скромный размер node_modules (А НЕ КАК В NEXT.JS).
Лендинг далеко не уникален, лейаут стащил с какого-то Tailwind шаблона, и адаптировал под свои нужды.

Как это работает

С помощью ProspectLens можно получать различные сведения о компаниях: краткое описание, общая сумма инвестиций, оценочный трафик сайта (из SEMrush), ссылки на соцсети и многое другое.

ProspectLens лезет в Google, Linkedin, Crunchbase, и на сам сайт, и потом пытается склеить все собранные данные в единую огромную (или не очень) JSON-ку.

Для работы API ProspectLens не нужно точное совпадение домена. Достаточно ввести что-то типа ab.com - и с большой вероятностью система определит, что речь идёт о правильном проекте AbCompany.com.
Если компания не найдется на Crunchbase, но она хотя бы западная, то она с 95% вероятностью найдется хотя бы на Linkedin - это значит, что сет данных будет значительно меньше, но тем не менее можно будет узнать количество сотрудников, фолловеров, что тоже поможет с оценкой размера и потенциала компании.

Буду признателен за любую обратную связь и идеи по развитию ProspectLens!

Кстати, первым покупателем API стал мой знакомый - фаундер стартапа в области облачных решений для кибербезопасности. Он хотел выделить в своей клиентской базе наиболее перспективные компании и персонализировать для них предложения.

После тестирования мы доработали пару нюансов, и в итоге ProspectLens смог корректно обработать около 60-65% контактов из его CRM, и это еще до того как врубили обогащение через Linkedin если проект не нашелся на Crunchbase (с LinkedIn success rate в районе 85%).

Юзкейс

Давайте представим (чисто гипотетически) что у вас есть 10000 зарегистрированных в вашем великолепном b2b-oriented SaaS сервисе ( с большим чеком ), и каждый день регаются по 50 человек. Вы, как уважающий себя фаундер, принимаете только регистрации с company e-mail, т.е. с емейлов вида bob@company.com.

Дальше неплохо бы зарегистрированных порадовать чем-то - письмишком, к примеру.
Представьте, что вместо казенного "Welcome to Our Enterprise Deluxe company" мы можем слать, скажем, через полчаса после реги, plaintext письмо от фаундера (вас): "Hey, I just saw you have signed up on <ваш продукт>. I see you guys are doing exciting things at <компания человечка> in <тут торжество GPT промта которому мы скормили данные о компании подгруженные из ProspectLens>. Would you mind to have a quick Zoom call?

Toby,
Founder of <ваш продукт>
".

Представьте, у какого обращение будет reply rate более интересный..
и это только один из кейсов возможного применения ProspectLens API!

Краткое описание API

Не буду тянуть кота за хвост, расскажу только про один эндпоинт, самый интересный.
/lookup-all?domain=make.com

вернет нам JSON вот такой структуры:

• data
  • cb
    • properties
      • identifier
    • info
      • semrush_summary
      • advisors_summary
      • semrush_rank_headline
      • contacts
      • social_fields
        • linkedin
      • overview_description
      • company_about_fields
        • website
      • frequently_asked_questions_headquarters_location
      • ipqwery_summary
      • overview_fields_extended
        • founded_on
      • еще много всего
  • linkedin
    • type: organization
    • metaDescription: Make | 29,618 followers on LinkedIn. Design, build and automate anything at the speed of your ideas. | Our vision is a world where everyone has the power to innovate without limits. Make is the leading visual platform for anyone to design, build, and automate anything - from tasks and workflows to apps and systems - without coding. Make enables individuals, teams, and enterprises across all verticals to create powerful custom solutions that scale their businesses faster than ever.
    • followerNum: 29618
    • employeeNum: 334
    • logoUrl: https://media.licdn.com/dms/image/C4E0BAQG-Ky4v1uZOPQ/company-logo_200_200/0/1645456009981?e=2147483647&v=beta&t=f-YcrbZSxISke1WsEZ49Urzv0pJctmu6lWCl-al-KBY
    • name: Make
    • url: https://cz.linkedin.com/company/itsmakehq
    • address
    • description: *Our vision is a world where everyone has the power to innovate without limits. Make is the leading visual platform for anyone to design, build, and automate anything - from tasks and workflows to apps and systems - without coding. Make enables individuals, teams, and enterprises across all verticals to create powerful custom solutions that scale their businesses faster than ever. Make powers over 500,000+ organizations around the globe. *
    • slogan: Design, build and automate anything at the speed of your ideas.
    • sameAs: https://make.com
  • metadata
    • info
    • extracted
      • meta
• debugInfo
  • individualLatencies
  • statusCodes

Вот JSON с ответом по компании make.com

Как потестить-то?

ProspectLens можно запустить через RapidAPI и через APIRoad

RapidAPI - это такой огромный маркетплейс для апишек.
APIRoad - мой собственный похожий на RapidAPI маркетплейс апишек, с блекджеком и ассистентками (про APIRoad расскажу как-нибудь тоже, я его уже джва года пилю)

Надо признать, что через RapidAPI потестировать ProspectLens сейчас удобнее - там есть сендбокс для запуска API запросов через браузер.

Работают оба этих маркетплейса одинаково - по-сути, это такой большой реверс прокси демон, который стоит перед апишкой (в моем случае, апишкой ProspectLens), управляет подписками, и маршрутизирует запросы, параллельно складывая их в логгер.

Конкуренты

Самый известный конкурент Apollo.io - монстр на рынке обогащения данных. Продукт классный, сам пользуюсь.
Но у них есть минусы - API это не основное направление, это везде ощущается при попытке его использовать, и то, что даныые далеко не риалтайм, т.е. Apollo спарсил когда-то месяц назад Linkedin и положил себе в БД.
Второй конкурент - ZoomInfo - конкурент не прямой (фокус на том, чтобы достать личный емейл конкретного человека), и очень-очень энтерпрайз ценник на тарифы.

Проблемы и риски

Основная проблема, которую я вижу сейчас - это то, что не всегда возможно оценить точность попадания поиска на нужную компанию на Crunchbase и Linkedin. Мои кастомеры берут домен обычно из емейла зарегистрированного лида, и email домен не всегда совпадает с доменом где расположен, собственно, сайт компании. Но оценить это попадание возможно, я сейчас размышляю над machine learning подходом чтобы выдавать процент вероятности попадания.

Из рисков - что завтра Linkedin и Crunchbase очень сильно усложнят парсинг данных. Но тут ничего не поделаешь, будем смотреть и решать проблемы по мере их поступления!

Нужен ваш фидбек

Очень буду рад пообщаться с одноклубниками, которые заняты в b2b продажах на англоязычный рынок. С меня - бесплатный месяц ProspectLens и ответы на любые вопросы.
Вот еще раз ссылка на лендинг продукта: ProspectLens - не блогодорите!