Своё домашнее облако, с чего начать?
Публичный пост
14 июня 2020
6044
Вообщем вопрос в заголовке, какие подводные камни, если я хочу поднять своё облако?
Не хочу каждый месяц платить никому :D
Есть ли какое адекватное решение в пределах 200 евро?
Лучше брать готовое решение или поднимать на малинке и цеплять к ней жёсткий диск?
На что обратить внимание?
Если у Вас уже есть собственное хранилище, поделитесь, пожалуйста, опытом (:
https://github.com/nextcloud/vm — ставил и вручную до этого, но экспириенс с VM был лучшим
Я для себя решил этот вопрос тривиально: самому хранить на нескольких устройствах свои же данные.
У меня в семье на данный момент 3 ноутбука (1 жены, 1 мой и 1 старый постоянно работает выполняя частично околосерверные функции и для игр в контру) и 2 смартфона. Смартфоны берем специально с каким-то адекватным колиеством памяти: точно не помню, но вроде минимум 128 ГБ.
Для синхронизации использую https://syncthing.net/.
Решение полностью устраивает:
В итоге "облако" получается просто использованием той техники, которую итак бы купил себе.
Начать нужно с расчёта финансовой выгоды. У меня получалось, что готовое облако дешевле. Учитывая стоимость железа, его замену и стоимость электричества.
Ну, 200 евро - это 200 гигабайт на 7 лет на диске Гугл, у других облачных решений цены примерно те же, фото там безлимитные,если хранить не в максимальном разрешении. За эти же деньги можно взять готовое решение от Synology, но нужно решить ещё вопрос с доступностью данных, это либо платный доступ через сервера разработчика решения, либо аренда внешнего IP у провайдера, и как минимум два диска для обеспечения минимальной сохранности данных. Ну а если ещё учитывать возможность перебоя в сети электропитания и перебоя канала у провайдера, то деньги отобьются лет через 10, при условии, что ни один из компонентов не выйдет из строя.
Seafile на малинке с Raspbian достаточно для начала. Его посложнее настроить, чем какой-нибудь Nextcloud, но по моему опыту он намного стабильнее (и позволяет делать очень клевые ништяки вроде подключения нескольких хранилищ).
Пользовалась такой штукой лет, наверное, 5. За символическую доплату провайдеру можно избавить себя от геморроя с динамическими днс.
Что можно сделать в будущем:
Использую Resilio Sync.
Есть мобильный клиент на iOS, в отличии от Syncthing.
Разбросил данные по разным компам, есть возможность хранить зашифрованные папки на "недостоверных" источниках.
Основное из минусов, о чем постоянно задумываешься - как держать инстансы постоянно включенными, чтобы данные синкались. Но уходить на гугл дропбокс или что-то подобное не хочется. Здесь полный контроль. Дела у ребят из Resilio идут как-то с трудом, но софт более-менее развивается. Да, бывают задержки с обновлениями или выкатка версий, которые крешаться на старте. Но т.к. софт юзаю только для синка, всегда можно откатить на предыдущую версию.
Из плюсов - есть сборки под все платформы. Работает очень сносно. Пробовал пользоваться Synchting - непонравилось, Resilio для меня лучше.
О, это отличный вопрос, и я прошел через кучу итераций в нём. В разное время пропагандировал разные подходы.
2010-2013 — домашний сервер
Бурная юность. Жужжащая коробка с Арчлинуксом под столом, набитая старыми HDD. Там же в те годы хостился и сам vas3k.ru.
✅ Плюсы: настоящая мощь, можно считать нейросетки прямо под боком, полный кастом, хоть роутер делай, хоть телеприставку. Центр гиковской жизни дома.
❌ Минусы: не мобильно, через полгода даже самый дорогой тихоходный кулер начинает жужжать и мешать спать, дорого пиздец (не окупится никогда), постоянно требует внимания. То там что-то отвалится, то здесь. Без белого IP смысла тоже не имеет.
2014-2016 — покупной NAS
Я как раз переехал в Литву, а сервер продал другу, ибо тащить с собой не было никакого желания.
Время было смутное, потому решил взять что-то маленькое и готовое, чтобы мозги не ебало. Тогда на пике популярности был WD MyCloud EX2. Докупил в него отдельно 2 x 4 Tb HDD и переезжал с ним по трем квартирам.
✅ Плюсы: дешево, просто, экономит электричество, не занимает место, много готовых приложений, поставил и забыл.
❌ Минусы: всё собрано из говна. Очень хуевое железо, особенно CPU. Когда на коробке пишут ОДИН ГИГАБИТ — по факту всегда будет максимум мегабит двести и соси жопу. Производители NASов не особо заинтересованы делать вам красиво и чтоб на века, потому любой модный сегодня NAS через 2-3 года можно выбрасывать.
Мой WD сначала перестал обновлять приложения и они больше не работали на маке. Потом в них нашли критическую уязвимость (в админку пускало под рутом с паролем abc123 — ОХУЕННО!), которую WD не фиксил целый год. Всем насрать на вас, короче. Кастомных прошивок нормальных тоже не завезли, дали тебе BusyBox и ебись как хочешь.
2016-2019 — облакаааа
Потом я переехал в Германию — страну, где даже у канцлера нет белого IP. А доступ к файлам мне нужен отовсюду, так что пришлось искать облака.
Перепробовал дофига. Google Drive, Dropbox, Resilio Sync, покупал отдельные Storage Box'ы на Hetzner'е с доступом по sftp/samba, в последний год сидел на ебучем pCloud даже.
Мне надо было хранить 1-2 Тб, что обходится примерно в $10/месяц. В принципе, лишь немногим дороже покупки NAS + нормальных HDD к нему.
✅ Плюсы: удобно, красиво, безопасно, условно дешево, доступно откуда угодно, не привязано к твоему домашнему интернету, отличное решение для диджитал-номада 2025!
❌ Минусы: боль, страдания, вендорлок. Захотел Dropbox отрубить мне симлинки — взял и отрубил. И похуй, что у меня через них всё 10 лет работало (с 2008 аж года!), иди в жопу, ты ссаный 1% юзеров.
Потом я переехал на pCloud, который просто случайным образом начал проябывать файлы, а если не проябывать, то создавать 100500 файлов CONFLICTED и ебись как хочешь теперь.
2019-настоящее время — Raspberry Pi + RAID HDD + Nextcloud
Все-таки главной проблемой облачных решений для меня было даже не то, что я проебал фотографии с нового года 2011, а их ограниченность с точки зрения фич. Мне хотелось, например, запускать крон-скрипты или делать бекапы своих проектов, чтобы держать их рядом на случай войны. Особенно Клуба :)
Покупать еще один модный NAS, который продержится пару лет, у меня желания не было. Raspberry Pi же сегодня превратился реально в конструктор LEGO — вставил шнурок питания, подождал 10 секунд и вуаля, и у тебя полноценный компьютер. Проще, чем с макбуками!
Не считаю это идеальным решением, но пока на нем.
✅ Плюсы: не жужжит, не жрет электричество, стоит что-то типа $100 за RPi-кит + $25 за HDD Bay -> USB 3.1. Сами HDD можно использовать те же самые старые. Дает полноценный Linux с докерами, на которых можно одной командой запустить NextCloud. RAID настраивается за две команды :)
❌ Минусы: наверняка быстро сдохнет. Наблюдаю.
Бля, надо это в пост оформить.
хм
зашел в тред подумав что имеется в виду прям "домашняя" cloud платформа для запуска всего и вся, но судя по комментам обсуждается больше вопрос хранилища?
сам юзаю мегу, хотя дома и есть rpi4 + ssd к ней.
много кто на /r/homelab и /r/selfhosted юзают nextcloud, советую посмотреть в те сабреддиты и посмотреть в сторону nextcloud если есть желание поковырять самому.
если просто хочется хранилище дома и не парится - какой-то средний по цене NAS от synology.
Почта универа в гугле(оформлена как enterprise и не заблочили после выпуска из универа), личный гугл со сжатыми вариантами, бэкап на съемном жестком диске.
На случай потери того или иного хранилища копия останется. Немобильно, неавтоматизированно, избыточно, надежно.
Я ходил этой дорогой и вот куда я пришел (по граблям).
Коротко: проще купить или арендовать.
Долго:
Сначала я соорудил самоделку на одноплатнике, сумма как раз 180-200$ - OpenMediaVault и ownCloud как плагин к нему. На Дебиане можно было сделать всё, что угодно, поэтому там был заодно и PiHole. Ну и SMB и FTP само собой. Полгода она служила и неплохо, но после возвращения из отпуска я бодро воткнул свою поделку в розетку и она спалила жесткий диск с рабочими проектами жены. Так в стоимость проекта вощел еще один аналогичный жесткий диск на 100+$. Данные я восстановил и убрал одноплатник на полочку.
Следующий заход был на него же, но более питание жесткого диска я ему не доверял. Работал он в похожей конфигурации, только жена была одарена внешним жестким, а из одноплатника образовалась фильмопомойка. Несколько месяцев, моргает свет, умирает sd карта с системой. Повторяем: еще одни выходные на настройку всего. Закрепляем: еще одна погибшая после выключения света sd карта. Одноплатник отправляется в коробку в дальнем углу. Одно радует - активной траты средств не было вообще, sd карты давно валяются россыпью.
С тех пор зарекся колхозить хранилище сам, пусть за меня колхозят китайцы. Для моих целей подошел роутер Keenetic Giga + корпус для внешнего HDD - Transmission, SMB, SFTP, DLNA, при желании еще много чего (OVPN, например), если все-таки лезть в него грязными руками, но на очень ограниченных мощностях. В кругу знакомых есть положительные примеры использования Synology и WD, там функциональность шире, мощность выше, но и цена чуть злее.
Все игрища с домашними серваками и проксированием подзаебали, плачу смешные деньги за дедики в https://kimsufi.com.
Но накрайняк можно купить простенький VDS и проксировать порты. Минус: дешёвых IP-KVM-решений ты не найдёшь (разве что попробуй собрать https://github.com/Fmstrat/diy-ipmi) и если дома всё наебнётся, а ты в петушествии, придётся грустить.
Сейчас «домашний сервер» всё равно есть, для фильмов-музыки и бэкапов (time machine + бэкапы важных данных с дедика).
Хранилищие: mirror двух серверных HDD на 4.5Тб в ZFS.
NAS стоят в пять раз дороже, смысла нет.
USB-HDD не бери ни в коем случае: для данных, которые ты действительно будешь читать тебя заебёт постоянная парковка этой залупы, а если бэкапы, то однажды оно посыпется и тоже пизда (ну или делать mirror USB-дисков, что странно, но не то чтобы мы тут нормальные).
Бэкапы делаю регулярным отправлением ZFS снапшотов из дедика в домашний комп и наоборот, так что если умрёт один, все бэкапы будут на другом.
Почему не попробовать HP Microserver? По-моему это компромис. Малинка с юсб переходником на винт это немного пздц, и уж точно не мощнее всяких синолоджи. Лично у меня стоит ITX боксик с FreeNAS, коммерческая ОС от iXsystems под насы в которой можно крутить джейлы (да это BSD), виртуалки, умеет бекапы Time Machine по сети (чем активно пользуюсь) и тд, ну и фишки zfs, моментальные снепшоты, рейды и тд прямо из sun solaris. Я свой бонусом еще и под кинопаб нагрузил
Много лет пользую Synology. Последние 5 - DS415+ и не представляю почему мне бы захотелось ее сменить на что-то другое (ну ежели не сдохнет). Бэкапы, мыслимые и немыслимые хранилища, куча готовых пакетов, вот это все. Но не 200 евро конечно.
Для домашнего облака использую Intel NUC (самый простой, на celeron) + внешний хард на 1 Тб (Debian, NextCloud) и D-link DNS 325 (2 диска по 1 Тб в RAID 1) для бекапов. NUC + оперативка + хард как раз примерно в 200 евро укладываются.
На NextCloud в основном синкаю фотки с компа и телефона. Для работы облака пришлось купить домен (~2,5к рублей в год), в качестве DynDNS используется bash-скрипт в кроне, который дергает api GoDaddy. Основной минус, что иногда приходится этим заниматься, нельзя настроить и забыть.
У меня, судя по классификации, вариант "2010-2013 — домашний сервер". Материнка без кулера за 150уе, внутри старые и новые диски с двойным бекапированием файлов. Очень тихо, энергопотребление на уровне нуля, стоит в кладовке, не видно не слышо. Реально работает один SSD, все остальные диски просыпаются только на бекап или при проигрывании музыки-фильма из библиотеки.
В докерах крутятся:
Сделал что-то вот такое https://vas3k.club/post/704/
А еще есть vps где работают впн nextcloud пастебин
Вставлю свои "пять копеек".
тоже люблю всякие такие штуки, но надо отталкиваться от задач.
В моем случае было:
Из особенностей:
Из результатов разработана следующая комба:
вывод:
для дома и домашних - чем проще, тем лучше.
для себя - в зависимости от задачи (определи, что реально будешь делать)
У меня что-то среднее между разными вариантами Вастрика. Имею виртуальный сервак в облаке (digitalocean, кто решит регится, за реферрал не обижусь :-) https://m.do.co/c/0cb44bfa2e17). Плачу 5 американских денег за самый слабенький сервак, плюс 3 за допольнительный сторэдж, плюс немецкий НДС, в сумме 9,5 баксов в месяц выходит. Сервак у меня одновременно облако для важных документов и площадка для экспериментов небольших. Там сейчас крутится сервак для RSS и Nextcloud, оба в докер-контейнерах своих, каждый со своей базой на постгресе, тоже в докере. Плюс там еще nginx как обратный прокси для разных доменных имен для этих програм. Мощности самого маленького сервака для этого всего хватает с головой, проц больше 5% не расходует (а когда стояла MariaDB не хватало, о дивись). Засчет докера я это всё могу снести и заного восстановить в момент, теоретически. Статический айпишник, дома ничего не шумит, это как плюсы. Как минус, это конечно деньги какие никакие, 10 баксов в месяц, и про этом памяти кот наплакал в принципе, 25GB локальной памяти на серваке плюс 30GB дополнительно за 3 бакса в месяц. Так что фильмов туда не забекапишь, я там храню исключительно документы и фотки, то что важно и хрен восстановишь если что.