Fluxo de backup para fotógrafos

Como reduzir pontos de falhas

É comum ter uma preocupação com as imagens e com o backup necessário para protegê-las contra desastres, aqui vou colocar uma arquitetura para reduzir e mitigar a possibilidade de perdas.

É possível diversas configurações e para o caso de uso é necessário backup de 250GB de imagens em RAW com crescimento atual de 100GB por ano.

Sistema de backup local

Duas opções são as mais utilizadas: FreeNAS ou Synology DSM. O Synology é um opção melhor e mais cara, não será coberta nesse tutorial.

FreeNAS

4 Discos de 1TB em RAIDZ2 que permite a falha de dois discos sem perda de dados

2 Disco de 4TB em mirror para movimentação e clonagem de dados: espelho do que é enviado para sistema de backup offsite, histórico de arquivos do MAC/Windows/Linux e replicação dos dados mais importantes do pool de 4 discos

  • 32GB de memória ECC
  • 240GB SSD para cache de leitura
  • O FreeNAS não exige muito processamento, um processador de entrada é mais do que suficiente
  • Invista na melhor placa mãe possível e na mais recente geração de processadores, por enquanto DDR3/L é aceitável desde que a qualidade da placa mãe seja ótima

Com essa configuração é possível um crescimento linear teórico de 17 anos, não linear de 5 anos.

Google Drive

O sistema em nuvem mais integrado (no linux é possível com InSync) e barato do mercado.

Preço: $9 por mês

InSync

Ferramenta importante para permitir realizar sincronização do Google Drive na rede.

Preço: Pagamento único de $30

Amazon Glacier

Deve ser seu sistema para backup offsite, deve-se manter até 3 backup’s completos a cada 4 meses, com um vault para cada backup em uma região do mundo diferente, garantindo um backup completo em caso de catástrofe.

Preço: $0,004 por GB/mês

Yahoo Flickr

Com 1TB gratuito é possível armazenar o resultado das imagens como um backup em caso de desastre, a desvantagem é de não armazenar os arquivos RAW.

Preço: 1TB gratuito

Adobe Stock

Suas melhores imagens podem ficar armazenadas em alta qualidade e disponíveis para venda, sendo uma garantia de backup de desastre e uma forma de faturamento.

Preço: Gratuito

Configurações

  • Crie um pool com os 4 discos de 1TB, crie share para sua estrutura de organização das imagens. Configure um snapshot por dia com duração de 1 ano. Configure outro snapshot a cada hora com duração de 3 dias. Configure outro snapshot a cada minuto com duração de 3 horas.
  • Crie um pool com os 2 discos de 4TB, crie um share para o TimeMachine do Mac, Histórico de arquivos do Windows ou Backup do Linux (Ubuntu). Configure um snapshot por semana com duração de 1 ano.
  • Crie um share no pool de 4TB para manter os archives que você vai mandar para o Amazon Glacier. Caso o pool de 1TB seja perdido por algum motivo, não vai existir custo alto de recuperação.
  • Crie um share chamado cloud e sincronize a pasta com o InSync dos catalogos e imagens, como ele permite regra para ignorar arquivos, é possível tirar os smartpreviews do Adobe Ligthroom da sincronização.

Falhas

  • Caso você delete algo sem querer, você poderá perder no máximo até 1 minuto de dados usando o snapshot.
  • Caso até dois discos falhem é possível realizar a troca dos discos sem nenhum problema.
  • Caso mais de dois discos falhem seu pool será perdido e você precisará utilizar o archive que foi enviado para o Amazon Glacier que está no pool de 4TB.
  • Caso seu pool de 4TB tenha dado corrompido ou falhe durante a restauração você poderá utilizar o espelho que está no Google Drive.
  • Caso tenha sido sincronizado dados errados ou um vírus criptografou tudo, é possível restaurar os dados do Amazon Glacier.
  • Caso ocorra um incidente e seu servidor seja todo perdido (roubo, pane elétrica com queima, desastre natural) é possível restaurar a última versão do Amazon Glacier.
  • Caso a amazon seja atacada e metade do mundo destruído, você poderá restaurar os dados de outro lugar da Amazon Glacier.

É possível notar que quanto pior a falha, maior a chance de perda de algum dado, seja 1 hora, dia, semana ou mês. Com tantos pontos de segurança fica muito difícil uma falha múltipla de diversos lugares.

Essa configuração não tem proteção da integridade dos dados, caso o archive criado esteja errado você perderá tudo, ou o pool construído em uma máquina ruim, sempre utilize hash para verificar a integridade dos dados movidos de um disco para outro, da nuvem ou para o Amazon Glacier. Por sorte, todas as ferramentas realizam esse controle de integridade: Google Drive, InSync, Fast Glacier e o ZFS.

Synology

O synology recebe críticas desatualizadas da comunidade do FreeNAS, não se engane, o Synology DSM é muito superior ao FreeNAS:

  • Utiliza muito menos memória RAM, 2GB no Synology tem a mesma performance de 32GB no FreeNAS
  • Permite sim criar snapshot, não é uma qualidade apenas do ZFS
  • Realiza a sincronização com todos os serviços de nuvem diretamente no sistema de forma muito simples (Google Drive, DropBox, OneDrive e etc), o FreeNAS não tem essa integração, isso tira a necessidade de ter InSync realizando a sincronização dos dados de um sistema externo na rede, o que reduz gastos de energia
  • Permite criar e enviar archive diretamente para o Amazon Glacier, sem a necessidade de utilizar um sistema externo como o fast glacier
  • Otimizado para baixo consumo de energia
  • Muito silencioso, em testes, é normal não passar de 30 decibéis com discos
  • Suporte a docker, permite utilizar disco externo para trabalhar com infraestrutura como serviço

Considerações finais

Montar um sistema de backup com FreeNAS faz parte de um plano de aprendizado e com a intenção de transformar a máquina construída em um PC Gamer quando realizar a aquisição de um Synology bom, que tem um preço muito elevado de aquisição: $2000 (com discos e cache SSD).

Se o seu intuito é trabalhar profissionalmente com fotografia, tenha em mente que seu investimento com backup e serviços de nuvem será de aproximadamente R$500/ano e um investimento inicial de aproximadamente R$10 mil.

Ir diretamente para um synology é a melhor opção, quando possível.