Проект: ProspectLens — API который выдает все данные о компании, в JSON, по домену  Публичный пост
20 сентября 2023  1159
ProspectLens - API который выдает все данные о компании, в JSON, по домену

Привет! Меня зовут Антон, не очень давно я рассказывал про свой проект ScrapeNinja для парсинга данных из веба.

Ниндзя поживает хорошо, помогает парсить сайты уже тысячам платных и бесплатных кастомеров (по сегодняшней стате 130 активных юзеров API за сутки), зарабатывает деньги, я благодаря чудовищно слаженной поддержке одноклубников даже забрал бронзовую медальку Product of the Day на Продакт Ханте, да и сегодняшний мой рассказ про продукт, который пользуется ScrapeNinja под капотом.

Давно витала в воздухе идея построить продукт "для людей", а точнее, применить ScrapeNinja для более конкретных практических задач. Подходов было несколько, рассказываю про самый актуальный.

ProspectLens - это мой новый API-first продукт, над которым я работаю сейчас. Цель проекта - создать удобный и недорогой инструмент для сейлзов и маркетологов, который поможет им быстро находить данные о компаниях на основе доменных имен.

Идея пришла ко мне во время общения с коллегами-фаундерами стартапов в сфере B2B. Многие жаловались, что API от Crunchbase слишком дорогой для них 💰 да и CB тупо игнорит запросы на доступ к API, а без информации о потенциальных клиентах очень сложно оптимизировать продажи и выстраивать маркетинг.

Я подумал - а почему бы не использовать технологию веб-парсинга, которую мы разработали для ScrapeNinja, и не создать простой и недорогой сервис для извлечения данных о компаниях? 💡

Технологии

В итоге родился ProspectLens - REST API сервер на Node.js, который умеет делать запросы к API ScrapeNinja и извлекать необходимую информацию с разных сайтов. А затем возвращать эти данные клиенту в удобном JSON формате.

Я специально сделал ProspectLens в виде API, чтобы можно было легко интегрировать его с популярными CRM-системами типа HubSpot. Но я понимаю, что не каждому удобно сразу подключать API.

Поэтому я также реализовал пару демо-версий для быстрого старта. Одна - на основе Google Таблиц и Make, вторая - это скрипт на Node.js и Docker на Github.

короткий превью
короткий превью

Лендинг ProspectLens собрал из Tailwind + моего любимчика 11ty - это такой super-lean представитель jamstack, статических билдеров сайтов. 11ty - отличный вариант для минималистов, если быстро хочется получить сотку по Google Lighthouse по всем показателям, при этом еще и очень быстрый процесс сборки статических страниц получить и скромный размер node_modules (А НЕ КАК В NEXT.JS).
Лендинг далеко не уникален, лейаут стащил с какого-то Tailwind шаблона, и адаптировал под свои нужды.

Как это работает

С помощью ProspectLens можно получать различные сведения о компаниях: краткое описание, общая сумма инвестиций, оценочный трафик сайта (из SEMrush), ссылки на соцсети и многое другое.

ProspectLens лезет в Google, Linkedin, Crunchbase, и на сам сайт, и потом пытается склеить все собранные данные в единую огромную (или не очень) JSON-ку.

Для работы API ProspectLens не нужно точное совпадение домена. Достаточно ввести что-то типа ab.com - и с большой вероятностью система определит, что речь идёт о правильном проекте AbCompany.com.
Если компания не найдется на Crunchbase, но она хотя бы западная, то она с 95% вероятностью найдется хотя бы на Linkedin - это значит, что сет данных будет значительно меньше, но тем не менее можно будет узнать количество сотрудников, фолловеров, что тоже поможет с оценкой размера и потенциала компании.

Буду признателен за любую обратную связь и идеи по развитию ProspectLens!

Кстати, первым покупателем API стал мой знакомый - фаундер стартапа в области облачных решений для кибербезопасности. Он хотел выделить в своей клиентской базе наиболее перспективные компании и персонализировать для них предложения.

После тестирования мы доработали пару нюансов, и в итоге ProspectLens смог корректно обработать около 60-65% контактов из его CRM, и это еще до того как врубили обогащение через Linkedin если проект не нашелся на Crunchbase (с LinkedIn success rate в районе 85%).

Юзкейс

Давайте представим (чисто гипотетически) что у вас есть 10000 зарегистрированных в вашем великолепном b2b-oriented SaaS сервисе ( с большим чеком ), и каждый день регаются по 50 человек. Вы, как уважающий себя фаундер, принимаете только регистрации с company e-mail, т.е. с емейлов вида bob@company.com.

Дальше неплохо бы зарегистрированных порадовать чем-то - письмишком, к примеру.
Представьте, что вместо казенного "Welcome to Our Enterprise Deluxe company" мы можем слать, скажем, через полчаса после реги, plaintext письмо от фаундера (вас): "Hey, I just saw you have signed up on <ваш продукт>. I see you guys are doing exciting things at <компания человечка> in <тут торжество GPT промта которому мы скормили данные о компании подгруженные из ProspectLens>. Would you mind to have a quick Zoom call?

Toby,
Founder of <ваш продукт>
".

Представьте, у какого обращение будет reply rate более интересный..
и это только один из кейсов возможного применения ProspectLens API!

Краткое описание API

Не буду тянуть кота за хвост, расскажу только про один эндпоинт, самый интересный.
/lookup-all?domain=make.com

вернет нам JSON вот такой структуры:

  • data
    • cb
      • properties
        • identifier
      • info
        • semrush_summary
        • advisors_summary
        • semrush_rank_headline
        • contacts
        • social_fields
          • linkedin
        • overview_description
        • company_about_fields
          • website
        • frequently_asked_questions_headquarters_location
        • ipqwery_summary
        • overview_fields_extended
          • founded_on
        • еще много всего
    • linkedin
      • type: organization
      • metaDescription: Make | 29,618 followers on LinkedIn. Design, build and automate anything at the speed of your ideas. | Our vision is a world where everyone has the power to innovate without limits. Make is the leading visual platform for anyone to design, build, and automate anything - from tasks and workflows to apps and systems - without coding. Make enables individuals, teams, and enterprises across all verticals to create powerful custom solutions that scale their businesses faster than ever.
      • followerNum: 29618
      • employeeNum: 334
      • logoUrl: https://media.licdn.com/dms/image/C4E0BAQG-Ky4v1uZOPQ/company-logo_200_200/0/1645456009981?e=2147483647&v=beta&t=f-YcrbZSxISke1WsEZ49Urzv0pJctmu6lWCl-al-KBY
      • name: Make
      • url: https://cz.linkedin.com/company/itsmakehq
      • address
      • description: *Our vision is a world where everyone has the power to innovate without limits. Make is the leading visual platform for anyone to design, build, and automate anything - from tasks and workflows to apps and systems - without coding. Make enables individuals, teams, and enterprises across all verticals to create powerful custom solutions that scale their businesses faster than ever. Make powers over 500,000+ organizations around the globe. *
      • slogan: Design, build and automate anything at the speed of your ideas.
      • sameAs: https://make.com
    • metadata
      • info
      • extracted
        • meta
  • debugInfo
    • individualLatencies
    • statusCodes

Вот JSON с ответом по компании make.com

Как потестить-то?

ProspectLens можно запустить через RapidAPI и через APIRoad

RapidAPI - это такой огромный маркетплейс для апишек.
APIRoad - мой собственный похожий на RapidAPI маркетплейс апишек, с блекджеком и ассистентками (про APIRoad расскажу как-нибудь тоже, я его уже джва года пилю)

Надо признать, что через RapidAPI потестировать ProspectLens сейчас удобнее - там есть сендбокс для запуска API запросов через браузер.

Работают оба этих маркетплейса одинаково - по-сути, это такой большой реверс прокси демон, который стоит перед апишкой (в моем случае, апишкой ProspectLens), управляет подписками, и маршрутизирует запросы, параллельно складывая их в логгер.

Конкуренты

Самый известный конкурент Apollo.io - монстр на рынке обогащения данных. Продукт классный, сам пользуюсь.
Но у них есть минусы - API это не основное направление, это везде ощущается при попытке его использовать, и то, что даныые далеко не риалтайм, т.е. Apollo спарсил когда-то месяц назад Linkedin и положил себе в БД.
Второй конкурент - ZoomInfo - конкурент не прямой (фокус на том, чтобы достать личный емейл конкретного человека), и очень-очень энтерпрайз ценник на тарифы.

Проблемы и риски

Основная проблема, которую я вижу сейчас - это то, что не всегда возможно оценить точность попадания поиска на нужную компанию на Crunchbase и Linkedin. Мои кастомеры берут домен обычно из емейла зарегистрированного лида, и email домен не всегда совпадает с доменом где расположен, собственно, сайт компании. Но оценить это попадание возможно, я сейчас размышляю над machine learning подходом чтобы выдавать процент вероятности попадания.

Из рисков - что завтра Linkedin и Crunchbase очень сильно усложнят парсинг данных. Но тут ничего не поделаешь, будем смотреть и решать проблемы по мере их поступления!

Нужен ваш фидбек

Очень буду рад пообщаться с одноклубниками, которые заняты в b2b продажах на англоязычный рынок. С меня - бесплатный месяц ProspectLens и ответы на любые вопросы.
Вот еще раз ссылка на лендинг продукта: ProspectLens - не блогодорите!

Связанные посты
12 комментариев 👇

Молодец, хороший продукт.

  Развернуть 1 комментарий

@lmrvsk, спасибо, Роман!

  Развернуть 1 комментарий

Красота!

А как ты матчишь домен со страницей в Кранчбейзе и Линкедине?

Если тупо "в лоб" искать Make.com, то находится много компаний и сам Make.com не первый:

  Развернуть 1 комментарий

@zahhar, благодарствую! беру первый из выдачи Google, так релевантность обычно хорошая

  Развернуть 1 комментарий

@pixeljetter, есть подозрение, что для доменов с распространенными словами в нем, могут быть вопросики и выдача чего-то с первой страницы гугла вперемешку
Пример: bigdata.by

  Развернуть 1 комментарий

@sergeiruzki, да, ну тут всегда можно подстраховаться - проверить URL указанный в профиле компании на Crunchbase / Linkedin с доменом поиска. Раньше я это делал сам на стороне API ProspectLens, и выкидывал 500ые ошибки, но потом выяснилось что для реальных кастомеров это не очень удобно, слишком жесткая проверка получается - ведь домен почты и домен компании зачастую разный. Но есть мысли как это еще улучшить.

  Развернуть 1 комментарий
Egor Zotov Ищу смысл жизни 22 сентября 2023

Огонь!
где-то трекшн свой выкладываешь по продуктам?

  • интересно как такое продвигать?
  Развернуть 1 комментарий

@egorzot, спасибо Егор! Обычно пишу о своих проектах в телеге https://t.me/saas_founders и в линкедин https://www.linkedin.com/in/anthony-sidashin

  Развернуть 1 комментарий

Как человек, работавший в SEMrush и использовавший данные из Crunchbase, рекомендую прикрутить в том или ином виде тип/категорию компании 🙂 По идее с помощью того же chat gpt можно это вытаскивать из текстового описания компании, в SEMrush по домену похожие данные есть.

  Развернуть 1 комментарий

@slam3085, если говорить про очень общую категорию бизнеса, там есть такое - в .data.cb.info.overview_fields_extended.categories, выглядит вот так:

 [
            {
              "uuid": "5c4e6926-5ff7-b188-0892-c8eb036c5ace",
              "value": "SaaS",
              "permalink": "saas-5c4e",
              "entity_def_id": "category"
            },
            {
              "uuid": "c08b5441-a05b-9777-b7a6-012728caddd9",
              "value": "Software",
              "permalink": "software",
              "entity_def_id": "category"
            }
]
  Развернуть 1 комментарий
Evgeniy Petukhov Фулл-стек TypeScript разработчик 21 сентября 2023

Вход через гугл не работает..

  Развернуть 1 комментарий

@evgeniyp, попробуйте еще разок пожалуйста. Мой телеграм @pixeljetter - пишите если будут вопросы или увидите баги.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб