Собственный интернет архив

 Публичный пост

Photo of a laptop with 404 http error
Photo of a laptop with 404 http error
photo by Erik Mclean
BookMark'и сломаны и не работают, потому что через год или два ссылка будет сломана из-за обновления движка, из-за того, что сайт закрылся, пользователь решил удалить свои посты или интернет-газета теперь доступна только по ежемесячной подписке в 10 долларов.

Расскажите как вы храните знания, полученные в интернете, как формируете свой ReadItLater и в каком виде потом это используете.

Сам я перепробовал многое: и Pocket, и Instapaper, и EverNote, и Raindrop. Сейчас я пришёл к использованию Joplin: развернул свой сервер, использую его под разнообразные заметки, web-clipping и быструю/временную публикацию чего-нибудь.

Конечно же, как всегда, у OpenSource продуктов - сплошные блеск и нищета одновременно, но я для себя решил, что сохранность данных - это исключительно моя забота и доверия внешним сервисам никакого нет.

ScreenShot of Joplin Desktop app
ScreenShot of Joplin Desktop app

ScreenShot of Joplin Published Note
ScreenShot of Joplin Published Note

Связанные посты
25 комментариев 👇

Как базу знаний (да еще и ежедневник) использую Obsidian с их облачной синхронизацией. Отличный редактор, куча плагинов и неплохое мобильное приложение. Есть расширение для хрома, которое собирает страницу в Markdown для импорта. Это не Web Clipper, конечно, но мне вроде хватает.

По поводу синхронизации здесь есть 2 варианта:

  • Использовать их облако за деньги (удобно, работает и обновляет быстро и бесшовно)
  • Либо синхронизировать через файловую систему (всё хранится в виде md-файлов) и хранить резервную копию где угодно.
  Развернуть 1 комментарий

@DanilSmirnov, плюсую. Гибкий и удобный инструмент. Больше всего мотивирует граф — нравится его заполнять и устанавливать связи.

Просто кидаешь заметки, а потом ловишь инсайт, что только что просмотренное аниме связано с Agile-подходами, приходишь на работу и такой РЕБЯТА ЕСТЬ ГЕНИАЛЬНАЯ ИДЕЯ...

За синхронизацию через файловую систему готов расцеловать, это же так просто и открыто, все бы так делали.

  Развернуть 1 комментарий

@st9ler, вот никогда не пойму как люди проставляют эти связи в заметках. Это ж сколь у вас свободного времени!

  Развернуть 1 комментарий

@DanilSmirnov, я сделал git commit каждые 10 минут, для текста отлично работает.

  Развернуть 1 комментарий

@DanilSmirnov, а что за расширение собирающие markdown?

  Развернуть 1 комментарий
Kirill Snezhko Вращатель Деревьев 1 февраля 2023

Если надо просто сохранить веб-страницу локально и потом больше никогда не открывать, то есть: https://archivebox.io/

  Развернуть 1 комментарий

@argz,

и потом больше никогда не открывать

Я решу эту проблему за 0 байт кода и 0 байт на диске!

  Развернуть 1 комментарий

Я недавно попробовал Readwise Reader - аналог Pocket/Instapaper, "for power users".

Они только выкатили public beta, поэтому на мой взгляд еще есть шероховатости в интерфейсе, но с точки зрения функциональности меня полностью устраивает.

В общем, советую попробовать, у них сейчас бесплатный триал, кажется на 30 дней.

UPD: не раскрыл про "что делаете потом" - Readwise все мои заметки с цитатами из Reader синхронизирует в Obsidian их стандартным плагином.

  Развернуть 1 комментарий

@shmavon, плюсую за Readwise reader. С пометкой, что тоже пока early adopter, продукт новый. Чем еще цепляет, помимо описанного - подчеркнутая ориентация на гиков. Шорткаты на все, настраиваемый формат импорта, подчеркнутая сырость интерфейса. Цепляет.

  Развернуть 1 комментарий

Есть еще self-hosted замена Pocket - wallabag

  Развернуть 1 комментарий

Пользуюсь расширением для браузера https://github.com/gildas-lormeau/SingleFile - сохраняет страницу целиком и полностью в единственный html файл. Кладу их себе в папку и пока всё. Костыльно конечно.

Раньше использовал Scrapbox в файрфоксе - тоже можно было сохранять страницы с полной разметкой + был поиск по содержимому, можно было удалять ненужные части страницы через визуальный редактор, но после закручивания гаек для плагинов такого-же удобного пока не нашёл (есть последователь - WebScrapBook, но у него нет удобного интерфейса просмотра сохранённых данных).

  Развернуть 1 комментарий

Недавно узнал, что "грабить" сайты можно при помощи wget. Пример:

wget -E -H -k -K -p -e robots=off "https://vas3k.club/question/18212/"

Получается что-то такое:

  Развернуть 1 комментарий

Расскажите как вы храните знания, полученные в интернете

Записываю в Obsidian. Стремлюсь следовать принципам цеттелькастена - не копипастить, а писать своими словами. Это не относится к инструкциям и прочим рецептам - их просто копирую.

как формируете свой ReadItLater и в каком виде потом это используете.

Написал небольшого бота в телеге. Ему можно скормить ссылку, указав категорию. Можно потом сказать "дай ссылку по такой-то категории". Развлекательное читаю в транспорте или когда устал. Вдумчивое обрабатываю каждый день понемногу.

  Развернуть 1 комментарий

@glader, а можешь ботом поделиться плз? как раз такого хотел найти или написать

  Развернуть 1 комментарий

@skywinder, https://gitlab.com/glader/perslinksbot
если надо будет пояснить, как деплоить или как пользоваться, пиши в телегу.

  Развернуть 1 комментарий

@glader, спасибо
скопировал, списались (важно, дополню для тех кто еще будет копировать - этот бот работает на aws и завязан на нем) - если вас это не смущает - go for it. я буду переписывать под свой сервачок. и видимо сделаю связку сразу с obsidian, a не просто БД в телеграме.

в любом случае, спасибо что поделился! 🙌

  Развернуть 1 комментарий

Выкачиваю страницы в свой notion с помощью плагина для хрома

инструкция от самого notion
https://www.notion.so/Web-Clipper-ba54b19ecaeb466b8070b9e683c5fce1

ссылки на плагины chrome, safari, firefox
https://www.notion.so/web-clipper

  Развернуть 1 комментарий

Мне не совсем зашло, но Memex работает как нечто нужное: сохраняет все, что ты смотришь через браузер, локально с возможностью поиска и аннотации

  Развернуть 1 комментарий

@foobar, Мне нравится концепт "грабь всё, что видишь", но не нравится, что он предлагает это куда-то там отсылать.

  Развернуть 1 комментарий

@foobar, а есть ли возможность наладить Мемекс так, чтобы он на удалённый сервер сгружал всё просмотренное, а не локально? Типа, с расширением понятно, хочется иметь подконтрольную и серверную часть тоже

  Развернуть 1 комментарий
Anton Zhornikov Metal 3d print, Wi-Fi, LTE developer 3 февраля 2023

Если делать совсем по хардкору, то есть такая технология как кеш сервера https://networkencyclopedia.com/cache-server/ , в основном используются для спутникового интернета - сохраняют всю информацию, проходящую в обслуживаемую подсеть, и если другой пользователь из этой подсети хочет получить ту же страничку, то подсовывается она из кеша, чем экономится интернет трафик и ускоряется отклик.
Получается если её поставить как pi-hole промежуточным звеном на выход в интернет, то туда можно добавлять флаг какой-то - о, а вот это сохрани, а всё остальное по истечении условных 10 дней будет зачищаться.

А у меня вопрос наверно ко всем комментирующим выше - а вот эти плагины и расширения, они же наверняка не идут по ссылкам (например приложен файл прошивки устройства в виде ссылки на гуглдиск) и встроенным видео например, а сохраняют информацию только ту что есть на самой странице - картинки и текст.
Таким образом получается всё равно нужно заморачиваться и прокликивать всё что нужно сохранить из страницы.

  Развернуть 1 комментарий

@storm21110, Учитывая, что те же файлы прошивок лежат, как правило, непойми где - тындекс.диски, рапидшары, гуглодрайвы и прочие облака мэйлру и алибабы, на автоматику я бы особенно не рассчитывал.

В Joplin можно (уже скачанные) файлики запихивать прям в статью и она приложится аттачем, но, думаю, остальные решения тоже так умеют.

  Развернуть 1 комментарий

Zotero тоже может выгружать веб-страницы на комп

  Развернуть 1 комментарий

поддерживаю, у Zotero есть коннекторы для браузера, которые могут архивировать страницы в Zotero (используют SimpleFile, который уже упоминали выше).

/shameless plug

Я пользовался этим способом архивирования какое-то время (сейчас реже) и написал плагины для Zotero и Obsidian чтобы линковать сохраненные страницы к заметкам.

  Развернуть 1 комментарий
Gleb Reys Автор и технический консультант 12 мая 2023

pinboard.in, кстати, уже несколько лет как умеет за небольшие деньги сохранять копии страниц по твоему списку букмарков.

получается двойная польза - я и так этим сервисом пользуюсь для букмарков, а тут ещё и старые заметки сохраняются как раз на случай, если они внезапно исчезнут в оригинале.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб