Как организовать бэкап на неограниченном, но не безопасном облачном хранилище?
Публичный пост
3 декабря 2020
741
У меня есть бесконечное хранилище в google.drive, которое:
- В любой момент может исчезнуть, хотя предпосылок для этого сейчас нет. Исчезнуть == у меня пропадет доступ.
- Технически может быть просмотрено некоторыми другими людьми.
Я хочу использовать это хранилище чтобы хранить реплику моего домашнего архива (фото, видео, прочего хлама). Текущая идея: создать borg-ом запароленный клон архива, периодически rclone-ить его в gdrive.
Как бы вы решали проблему создания бэкапа с бесконечным хранилищем "с нюансами"?
borg + rclone звучит максимально логично, мне кажется очень хороший вариант
Решения не знаю, но все равно расскажу КАК Я ВИЖУ:
Я джесять лет хочу тулзу, суть такова: сетевой сторадж backed by халявные файлохостинги.
То есть некий демон, работающий на моем локалхосте и предоставляющий интерфейс файловой системы (типа FUSE или 9p или что там нынче модно). При записи туда файла он режется на чанки, чанки криптуются твоим ключом и разливаются по файлопомойкам с большой избыточностью. Индексы всех чанков хранятся аналогичным образом. Можно прикручивать всякие многоуровневые кэши, приоритеты для разных бэкинг-стораджей, етц.
Собственно от стораджей нужен минимальный интерфейс "записать блоб по ключу" и "прочитать блоб по ключу". В теории можно хоть пейстбины и каменты на порнхабе использовать для размазывания своих байтиков по интернетам тонким слоем.
ArqBackup - сам шифрует и поддерживает разные.. хм.. хранилища. Как раз под такую задачу.
С rclone можно настроить ремоут для Google Drive, затем для него настроить оверлей ремоут crypt, который будет шифровать всю иерархию заданным ключом.
Так храню массивы условно восстановимых данных в Drive некоторой организации, которая не должна удалить мой аккаунт без предупреждения.
Для загрузки сжатых файлов бекапов подойдет также.
Ничто не мешает в любое время скачивать отдельные куски иерархии ремоута.
Также можно монтировать с FUSE (WinFsp для Windows) прямо в систему с различными настройками кеширования и прочего.
Если хочется инкременты и снапшоты, то с rclone в качестве бекенда умеет работать утилита бекапа restic.
Обе утилиты работают с Linux, BSD, Mac и Windows.
Года два назад жаловались на ненадежность restic, сейчас вроде норм.
Использую для бекапа самой системы.
Афигеть, я думал, ответом будет «НИКАК».
А тут посоветовали решения. Круть. * записал в книжечку *
😱 Комментарий удален его автором...
https://www.duplicati.com/
Одно время юзал, когда надо было хранить 600гб бэкапов
В облаке лежит бд с мэппингом файлов к зашифрованным кускам. Это позволяет делать инкрементальные бэкапы и тянуть только нужные файлы (плюс оверхед до размера блока).
Хранил на 200рублевом терабайте Яндекса через webdav
Минусы - если что-то пойдет по пизде - достать данные будет сложно (хотя у них там есть функция восстановления бд, вроде)