@ultral, не знаю, а каким образом? Что должна делать файловая система, если файл уже побился?

@granovsky, он побился до соверешния системного вызова записи в файл или после?

• если после это дело ФС заботиться о целостности(журналы, срабинг итд) . а задача администратора выбрать ФС которая заботится об этом
• если до то это проблема софта которая пишет на фс

@gumanoid, в более извращенных вариантах, ceph как пример схд(это правда не фс), еще встраивают процессы scrubbing для проверки целостности данных

@ultral, вообще не требуют, что-то тюнить в файлопомойке смысла вообще не вижу, но ymmv как говорится.

@mighty_conrad, в прошлом работал на проекте, где пили СХД свою и по опыту там есть что обновлять

@sphinks, диски локальные есть, я ещё не до конца мигрировал данные, пока только самое важное и критичное, это всякие текстовые данные в основном и книги.

Дальше будет так - загружу весь архив музыки в S3 и буду стримить когда и куда надо. А диск почищу и буду загружать на него новую музыку, потом постепенно синхронизировать, даже автоматизировать пока не планирую, не такие объемы и срочность.

Пока проблема одна остается, как сделать хороший поиск по документам в S3. Нужно чуть больше времени разобраться с OpenSearch (ElasticSearch).

Ещё есть 200Гб фото, вероятно для них нужно будет отдельное облако делать в Google, так как я не знаю как сделать Selfhosted решение с AI поиском, а мне он очень важен.

@ruslanakm, next cloud в базе решает вопрос с фотографиями? мне AI не нужен пока, просто чтобы можно было не файлами смотреть через приложение.

@sphinks, да, медиа в Nexctloud поддерживается хорошо, разных форматов, предпросмотры, есть некоторые возможности редактирования, в разнообразии поддерживаемых форматов медиа, кмк Nexcloud за счет плагинов превосходит все известные коммерческие облачные хранилища. Так же всегда нужно иметь в виду, для того чего нет, можно написать плагин, самостоятельно или на заказ, красота и мощь OpenSource, как раз в этом.

@ruslanakm, мои 5 копеек на тему « Ещё есть 200Гб фото, вероятно для них нужно будет отдельное облако делать в Google, так как я не знаю как сделать Selfhosted решение с AI поиском»

Озаботился пару лет назад аналогичной проблемой: сделать селфхостед архив всех семейных фото с качественным поиском и разметкой лиц - это был длинный путь. «Перепрыгнем вступленье - и к Снарку!»

Финальный сетап на сегодня: в шкафу отдельный Mac Mini и его родная Photos, c подключенным SSD, на котором библиотека фото примерно на 400 Гб, 120+ тыс фоток с разметкой 200+ лиц. Works like a charm! Уровень распознавания лиц очень высокий, фотопризм рядом не стоит. В последней Mac OS добавили даже распознавание домашних животных ;) Остальной поиск стандартный и качественный: по ключевым словам, местоположению, даже по сфотографированному тексту на картинках. И все это селфхостед, только раз в месяц делаю бэкап всей фотобиблиотеки. Конечно, проприетарное решение вносит свои риски, например, два года назад после очередного обновления Photos начал при импорте коверкать имена файлов в свой формат. Это неприятно, но жить можно.

К слову, изо всех сил искал подобный софт для каталогизирования и распознавания лиц на видео. И ничего не нашел даже близко подходящего. Буду благодарен, если кто имеет положительный опыт. Готовая идея для стартапа, если кто ищет - блу оушен. Сейчас есть только дорогущие корпоративные решения в области видеонаблюдения.

@MichaelD, интересное решение. мне нравится. ушел думать.

а какой процесс получается? вот есть шара с кучей, говоришь фотос ее импортнуть. готово. а как туда подгружать новые фотки? вручную? скрипты? как это выглядит?

@ultral, да, первый этап - импортнуть большой объем фоток. И дать маку подумать-переварить-разметить.

Потом с новыми фотками я делаю так.

1. Вся семья научена новые классные фотки сразу сбрасывать на домашнюю синолоджи. Это делается очень просто с телефона через интернет: «поделиться», выбор приложения Drive для синолоджи - а там сделана специальная папка «в альбом». В два клика - как отправить в вотсап.
2. После поездок и ивентов целиком папка с обработанными фотками забрасывается на синолоджи.
3. Стоит напоминание раз в месяц зайти на мак и нажать кнопку «импорт» из папки на синолоджи. Это важно делать в ручном режиме, чтобы сразу перепроверить разметку лиц, например. И поправить, если надо.
4. Раз в 3 месяца стоит напоминание сделать бэкап всей фото библиотеки. Это я предпочитаю делать руками и средствами мака, потому что библиотека - это на самом деле пакет Маковского формата с содержимым, как архив или набор папок и файлов, который мак показывает, как один файл. Чтобы он не поломался по пути, лучше его копировать родными средствами мак ос.

Звучит сложно, но на деле давно привык, времени особо не требует.

@MichaelD, а поделитесь полным сетапом. Я думал Мак используется для всего, как побочный момент - фотки. А здесь оказывается он только для фотографий.

@MichaelD, А почему нельзя всем на сотовый поставить ds file и оно автоматом будет импортить все фотки когда запускаешь приложение?

@sphinks, все так. Отдельный мак мини поставил только для фотоархива. Сетап чуть выше расписал. Из нюансов добавлю, что SSD подключен внешний - так показалось проще и мобильнее. Есть важный момент, с которым служба поддержки эппл разбиралась месяца 4 и не разобралась. Для нормальной работы диск с библиотекой фото должен быть обязательно отформатирован в Mac OS Extended. Вот и весь сетап. И синолоджи дома как хранилка. Пиши, если конкретные вопросы, я мог что-то очевидное для себя упустить.

@ultral, можно. Но по моему опыту он работает менее стабильно, чем Drive. Вторая причина: мне не нужны вообще все подряд фотки с телефонов в домашнем архиве. Я стараюсь вручную держать его чистым, поэтому бэкап телефонов полностью и перекладывание лучших фоток в архив - два разных процесса.

@MichaelD, вопрос про фото, а как с просмотром фото с сервера работает? С владельцами айфонов все понятно, но Андроид телефоны и смарт ТВ?

@sphinks, на самом деле, с айфонами все понятно так же, как со всем остальным - ничего не посмотришь с клиента на телефоне. Айфон бы помог, если бы вся эта библиотека лежала не дома, а в iCloud, что противоречит условию задачи. Увы, никакого чудесного решения я не нашел.
Но оно и не нужно, потому что именно интерфейс Photos на маке позволяет удобно находить людей по лицам, смотреть выборки по поиску и по географии. Просто подключиться с телефона к домашней папке с морем фоток не проблема, только пользоваться этим невозможно.
Поэтому дешево, надежно и практично: на маке стоит AnyDesk, VNC, Splashtop (нужное подчеркнуть) - к нему удаленный доступ откуда угодно, с телефонов и с андроид тв. Запустить на даче на телеке для гостей во время дня рождения слайдшоу всех фоток с именинником и его лучшим другом - бесценно (и легко)! Конечно, было бы круче иметь под любую платформу функциональность приложения Фото с мака и с доступом к локальной библиотеке, но увы. Этого эппл не допустит.

@MichaelD, кстати, а какого мак мини будет достаточно для такой задачи? Смотрю на бу маркете, но опыта в эпл продукции почти нет, поэтому сложно понять что можно взять с рук.

@sphinks, Я пару лет назад брал самый простой новый на М1 с 8гб оперативки. С минимальным винтом, тк библиотека на внешнем диске. Мак Фото очень своеобразно принимает решение, когда индексировать библиотеку. Обычно в состоянии полного покоя и не загружая проц и память. Я на этой конфигурации тормозов никогда не видел, и сомневаюсь, что более мощная машина будет быстрее лопатить библиотеку.

@ultral, вообще там же много всего, мало просто положить в офисную папку, если это действительно ценные фото/доки

Я когда заморачивалась с этим архивом, то узнала, что хранить можно только в безкислотной бумаге (как то, что соприкасается с документом, так и внешняя коробка).
Потом температура и влажность в месте хранения.
Как ты достаешь документы, если хочется их посмотреть или показать.
Как договориться с родственниками где хранятся общие документы. Мне еще повезло, самые ценные документы в семьях, в которых только по одному ребенку. Так что договариваться мне придется только со своей собственной сестрой

и тд. Я подумала, вдруг ты тоже заморачивался именно вот с таким физическим архивом ))

@PolinaFuksman, у меня физических фото нет считай. у родственников мб остались, но после релокации(и еще пары крупных переездов) не представляю как оцифровать фото. цифровой бэкап же копится уже лет 20.

из физических файлов у меня руки только до структуризации документов дотянулись: разложить по папкам, подписать, внтри разделители. щас это дело оцифруется и заезжает на схд так же

@PolinaFuksman, best I can offer is архивные файлы, вакуум и штуку из мира сигар, boveda pack которые. Архивные файлы для пленки как раз из антистатической нейтральной пленки, вакуум решит проблемы долгого архива, те boveda pack сигарокуры юзают как раз для поддержания нужной влажности, я не уверен, что для бумаги и пленок сухота самое хорошее хранение.

UPD: https://www.filmpreservation.org/preservation-basics/good-storage-practices

Холодильник, 20-50% влажности (последний совет отпадает, таких сухих пачек не бывает) это best practice.

@chmnk, добавлю свой опыт:

• оказывается, для фотографий айфон или фотоаппарат способны дать результат сравнимый со сканером. Иногда лучше. Сравнивал лично.
• сейчас отдал в оцифровку старые негативы и слайды - по 5 руб за штуку с цветокоррекцией и digital ice 3 (программно-аппаратное удалено царапин и пыли). Это точно дешевле профессионального сканера (который после упражнения никогда не понадобится).

@MichaelD, ага, хорошие варианты! Думаю, что папа просто хотел новый сканер и хобби на полгода в виде сортировки пленки :)

@MichaelD, а как iphone оцифровывает фотки? через приложение камеры или как?

из лайфхаков пока что нашел это через приложение заметки сканировать документы(notes -> camera -> scan document) получается вполне себе приемлимое. с фото старыми так же?

@ultral, без специальных программ обычной камерой. Я пробовал разные, чтобы автоматом выравнивались и обрезались фото, но режет криво и хуже качество (на глаз). После сьемки просто камерой иногда минимально обрабатываю в приложении фото или в Lightroom - цветокоррекция и на старых фотках чуть добавляю резкости - контролирую при увеличении по глазам, чтобы чуть четче стали.

@chmnk, хорошая опция - штатив + любая камера, лучше только будут индустриальные сканеры типа fuji frontier или барабанные сканеры, которые могут сотни мегапикселей из слайдов выжимать. Свой сетап - это мой OM-5 на штативе в hi-res моде снимает пленку, подсвеченную при помощи lomography digitaliza+, если тебе не нужно сканить средний и большой формат, отличнейший процесс. Остается только взять софт для обработок фотки, отнормировать баланс белого на борту пленки и инвертировать кривые, чтобы получить снимок. Касаемо софта, много видел хвалебных отзывов о negative lab pro, но это плагин к лайтруму и он сам сотэн стоит.

@mighty_conrad, в каждом альбоме меньше 5к. А если считать все, то это проблема. С учётом сетевого лага.
Хотя по описанию приложение должно нарезать мини эскизов и хранить метаданные где-то рядом.

@mighty_conrad, странно. Я закачивал примерно 120 тыс фоток, все работало без проблем (хостил на убунту). Мы не подружились только из-за совсем слабого распознавания лиц, а скорость работы и стабильность вопросов не вызывали.