Как организовать бэкап на неограниченном, но не безопасном облачном хранилище?  Публичный пост

У меня есть бесконечное хранилище в google.drive, которое:

  • В любой момент может исчезнуть, хотя предпосылок для этого сейчас нет. Исчезнуть == у меня пропадет доступ.
  • Технически может быть просмотрено некоторыми другими людьми.

Я хочу использовать это хранилище чтобы хранить реплику моего домашнего архива (фото, видео, прочего хлама). Текущая идея: создать borg-ом запароленный клон архива, периодически rclone-ить его в gdrive.

Как бы вы решали проблему создания бэкапа с бесконечным хранилищем "с нюансами"?

10 комментариев 👇
Alexey Nekrasov, пхд иеродьякон 3 декабря 2020

borg + rclone звучит максимально логично, мне кажется очень хороший вариант

  Развернуть 1 комментарий

Настроил себе эту связку, спасибо за совет, максимально Linux-way

  Развернуть 1 комментарий
LexsZero, Embedded Software Engineer 3 декабря 2020

Решения не знаю, но все равно расскажу КАК Я ВИЖУ:
Я джесять лет хочу тулзу, суть такова: сетевой сторадж backed by халявные файлохостинги.
То есть некий демон, работающий на моем локалхосте и предоставляющий интерфейс файловой системы (типа FUSE или 9p или что там нынче модно). При записи туда файла он режется на чанки, чанки криптуются твоим ключом и разливаются по файлопомойкам с большой избыточностью. Индексы всех чанков хранятся аналогичным образом. Можно прикручивать всякие многоуровневые кэши, приоритеты для разных бэкинг-стораджей, етц.
Собственно от стораджей нужен минимальный интерфейс "записать блоб по ключу" и "прочитать блоб по ключу". В теории можно хоть пейстбины и каменты на порнхабе использовать для размазывания своих байтиков по интернетам тонким слоем.

  Развернуть 1 комментарий

@LexsZero, знакомый когда-то написал подобное, примитивно, для архивного хранения данных в бесплатных емкостях Облако Mail.ru :)

  Развернуть 1 комментарий

ArqBackup - сам шифрует и поддерживает разные.. хм.. хранилища. Как раз под такую задачу.

  Развернуть 1 комментарий

Хороший вариант. К сожалению, у них пока нет решения под линукс

  Развернуть 1 комментарий

Афигеть, я думал, ответом будет «НИКАК».
А тут посоветовали решения. Круть. * записал в книжечку *

  Развернуть 1 комментарий
Nick Skinkys, дата-скарабей 4 декабря 2020

С rclone можно настроить ремоут для Google Drive, затем для него настроить оверлей ремоут crypt, который будет шифровать всю иерархию заданным ключом.

Так храню массивы условно восстановимых данных в Drive некоторой организации, которая не должна удалить мой аккаунт без предупреждения.
Для загрузки сжатых файлов бекапов подойдет также.

Ничто не мешает в любое время скачивать отдельные куски иерархии ремоута.
Также можно монтировать с FUSE (WinFsp для Windows) прямо в систему с различными настройками кеширования и прочего.

Если хочется инкременты и снапшоты, то с rclone в качестве бекенда умеет работать утилита бекапа restic.
Обе утилиты работают с Linux, BSD, Mac и Windows.
Года два назад жаловались на ненадежность restic, сейчас вроде норм.
Использую для бекапа самой системы.

  Развернуть 1 комментарий
Миша Гусаров, Инженегр-погромист 3 декабря 2020

Я когда-то использовал duplicity с шифрованием.

  Развернуть 1 комментарий

https://www.duplicati.com/
Одно время юзал, когда надо было хранить 600гб бэкапов
В облаке лежит бд с мэппингом файлов к зашифрованным кускам. Это позволяет делать инкрементальные бэкапы и тянуть только нужные файлы (плюс оверхед до размера блока).
Хранил на 200рублевом терабайте Яндекса через webdav
Минусы - если что-то пойдет по пизде - достать данные будет сложно (хотя у них там есть функция восстановления бд, вроде)

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб