Rsync e SSH copiando ficheiros pela rede automáticamente.

Isto de andar a brincar com o Raspberry Pi como servidor, acabou por me criar um pequeno problema... Então se eu já tinha um NAS personalizado e mais potente para arquivo e proteção de ficheiros, que faria agora com os ficheiros partilhados no RPi ?

Eu precisava arranjar uma forma de sincronizar pastas pela rede de modo a arquivar transferido ficheiros novos ou alterados do RPi para o meu NAS de forma automática! Pois não quero trabalhos adicionais ;)

Depois de alguma pesquisa e muita batuta, arranjei e adaptei a seguinte solução (Os 3 passos):

1 - MaqA com ip 192.168.1.89 é o RPi, este eu esqueço-me dele sempre ligado pois gasta apenas 3.5W. Pretendo  guardar os ficheiros partilhados que estão no diretório (home/pi/downloads/USB/Media) da MaqA

2 - MaqB com ip 192.168.1.68 é o Unraid, este esta quase sempre desligado, é mais guloso e gasta 33W. Pretendo  guardar os ficheiros do RPi em (/mnt/user) nesta MaqB.

E para sincronizar ficheiros e pastas nada melhor que o Rysnc em conjunto com o protocolo de rede SSH. Assim tanto às maquinas A como a B terão que ter acesso por SSH. O Rysnc instalado em ambas também!

Buffering problems with XBMC on AppleTV2

Depois de experimentar o XBMC na AppleTV2, depressa fiquei chateado com os conhecidos problemas de buffering que atormentam grande parte dos utilizadores do XBMC nesta pequena plataforma da Apple!

Visualizar conteúdos em HD de vários GB através de redes samba é um stress constante de paragens no video devido aos tais problemas de buffering! O stress é de tal ordem que é capaz de chatear e bem o mais calmo dos mortais.. ;) 

E isto mesmo numa rede com fio de 100mbits que é mais do que suficiente para este tipo de visualizações... :(

Depois de varias pesquisas e de muita consulta no forum do XBMC, consegui finalmente resolver este complicado problema que só por si pode tornar inviável a  utilização do XBMC nesta pequena caixa multimédia!

A resolução passou então por adicionar estas duas linhas ao ficheiro smb.conf do servidor samba:

kernel oplocks = No
oplocks = No

Estas duas linhas deverão ser adicionadas na secção Global do ficheiro smb.conf no computador ou na maquina onde tem o servidor samba a correr...

No meu caso a alteração foi feita no meu unRaid Server e no ficheiro smb-extra.conf que se encontra em /boot/config/smb-extra.conf

Depois de alterar e reiniciar o servidor samba os problemas de buffering anteriores desapareceram quase milagrosamente, e agora já consigo ver vários GB em streaming na AppleTV2 sem quaisquer paragens.

Nota que este problema é mesmo de difícil resolução e existem utilizadores que incapazes de o resolver tiveram que utilizar outros protocolos (upnp, ftp, nfs), felizmente que no meu caso isso não foi preciso.

O meu servidor unRaid...

Depois de aqui há uns meses atrás ter conhecido o software unRaid da LimeTech (graças mais uma vez ao XBMC...lol), não consegui ficar muito mais tempo sem construir o meu primeiro servidor UnRaid... e ele aqui esta:

Já vós disse no passado algumas das funcionalidades que me levaram a escolher este software. Entre elas o grande destaque é obviamente a sua tecnologia de raid única muito mais flexível em relação aos raids mais usuais...

Repetido-me um pouco, UnRaid Server é especialmente concebido para armazenamento de ficheiros de média. É tão flexível que podemos aumentar ou diminuir a capacidade do servidor com vários discos de diferentes marcas ou tamanhos. Ide ou Sata os discos podem até ser posteriormente ligados a outro computador que não existe perda de dados! Com isto e no pior dos cenários caso falhe mais do que um disco ao mesmo tempo, só se perdem os dados desses discos! No caso de um só disco avariado, o unRaid recupera esses dados com o disco de paridade que é apenas um e é capaz de recuperar até 22 discos que é o numero máximo actual suportado por um servidor com o unRaid!!! 

Outra das vantagens é que termos um servidor com 10 ou 12 discos em raid não significa que todos os discos estão ligados e a gastar watts! Isso é bom para os outros sistemas de raid.... Com o unRaid se estivermos a ler dados de um disco só, é só esse disco que se encontra acordado... no caso da escrita, e esse disco mais o disco da paridade... isto sim é um Green Server!

Todos os watts contam era essa a minha principal prioridade!


Inicialmente pensava em adquirir uma placa mãe com Atom integrado, ou mesmo uma das novas AMD Fusion. Para gostar pouca energia estas motherboards mini-itx estarão certamente no topo das listas das mais poupadinhas. No entanto e porque com um servidor unRaid podemos usar add-ons para descodificar audio e video em tempo real, algo que um processador Atom limitaria certamente... e por isso estas acabaram por ser as minhas escolhas:

Mobo : Asus P8H67-M LE REV 3.0
CPU   : Intel Core i3 2100T 3M Cache   Celeron 1.6GHz G440 35W TDP
PSU   : Corsair Builder Series CX600W V2 80PLUS
Case  : Nox Max (Budget Case for 6 disks, and more 3 / 5.25 bays)
Corsair 2GB 1333 mhz DDR3
2 x 120mm Nox Blacid Acer
1 x 80mm Nox Blacid Acer
USB Pen Kingston DT100G2/8GBZ (com o UnRaid Server Plus)

Os discos já os tinha e foi só retira-los das minhas "outras" caixas externas e NAS:

2 x WDC_WD20EARS-00MVWB0 2TB
3 x SAMSUNG_HD204UI 2TB
1 x 2.5 drive disk WDC_WD1600BEVS 160GB

EDIT: O CPU foi substituído por um Celeron G440 uns meses mais tarde, com iguais valores de consumos em Idle.
EDIT - Novembro 2012: Substitui a caixa NOX por uma maior e com gavetas removíveis, ver aqui.

Este disco pequeno não faz parte do Array, é apenas para usar para às aplicações, ou também para usar como cache drive de alguns dos meus "shares" no servidor.

O processador é o novo Core da segunda geração (Sandy Bridge) i3 2100T que a Intel diz conseguir uns espantosos 35W TDP!!! Com base neste escolha e na board com socket 1155 para o i3 o orçamento inicial previsto ficou logo destruído :)

Note-se que a placa e a caixa é micro-atx. Gosto de computadores pequenos e para montar isto num formato ainda mais reduzido como o mini-itx para além de ser mais difícil devido ao numero de discos era ainda muito mais dispendioso.

Esta caixa permite levar no máximo 10 discos de 3.5". Isto se contar com às três baías de 5.25" que podem ser transformadas em espaço para 4 discos de 3.5", com o respectivo adaptador claro! Por ser barata esta caixa também permite um futuro upgrade fácil... mas por agora e suficiente até porque não tenciono utilizar mais do que 6 ou 7 discos com estes a crescerem de capacidade...

O software corre inteiramente a partir da ram do computador. O boot é efectuado na PenUSB que copia os dados para a memoria ram. Isto além da execução rápida permite obviamente que todos os discos possam ficar adormecidos já que não existem qualquer aplicação a correr neles... Green Server!

Os 2gb de memoria ram do computador chegam e sobram para qualquer das tarefas. No entanto existe também a possibilidade de instalar maquinas virtuais em cima do unRaid Server. E ai sim a adição de mais memoria e de todo recomendada... algo para o futuro :)

Dei o meu melhor na arrumação dos cabos... :)

A caixa é pequena mas com espaço para levar três ventiladores para manter o sistema o mais fresco possível. Nota que modifiquei as ligações dos ventiladores de 120mm Nox Acid e liguei-os só a 5V. Com isto além de manterem o ambiente  fresco tenho também um sistema super silencioso. Os discos não chegam aos 40ºg o que acho que é bom.

O fonte tem controlo automático de velocidade... e sinceramente nunca a ouvi! Já o ventilador do CPU encontra-se definido na bios da board para trabalhar em modo de silencio, a temperatura roda os 35º a 40ºg!

Nos primeiros testes com transferências de ficheiros através de redes samba eis os resultados... Primeira imagem leitura, segunda imagem escrita :

Quer por FTP ou por redes NFS estes valores serão certamente superiores. No caso da escrita estes valores podem ser facilmente melhorados com a adição da tal drive de cache.

E umas imagens do ambiente de gestão e configuração do unRaid...

Um array com 8 TerraBytes de espaço protegidos por apenas um disco de paridade! (super expansível graças a este único e fabuloso sistema de raid)

E afinal será este um Green Server ? Quantos watts uma maquina desta gasta ?

33.6 Watts é o valor em idle (todos os discos desligados)
102 Watts é o valor máximo que acontece quando se liga o servidor.
52 Watts com todos os discos ligados e a efectuar copias de dados.
35 Watts com o disco de 2.5 ligado e o SABnzbd em descargas.
1.4 Watts com o servidor desligado.

Backups, vídeos, audio, fotografias, utilização do Transmission e do SABnzbd. FTP, Samba, Video Transcoding para dispositivos moveis, e uma gigante base de dados do XBMC... Só para começar!

Um sistema destes e pelo menos recomendado para todos aqueles que tenham discos externos cheios e espalhados lá por casa :)

unRaid Server - A solução ?

Hoje em dia com os discos rígidos a chegarem aos 3TB, imaginem o que é perderem os ficheiros armazenados num desses discos!!! 

Discos externos usb todos têm ao lado do PC ou do portátil. Normalmente sempre cheios e provavelmente sem backups do seu conteúdo. Existem ainda outros tipos de armazenamento mais caseiros como os discos de rede, ou NAS. 

Pessoalmente à muito que guardo parte dos meus ficheiros nesses NAS. E como o espaço acaba por faltar sempre mais tarde ou mais cedo. Tudo acaba por ser gerido monetariamente... afinal é sempre mais fácil comprar outro NAS de dois slots ou outro disco usb de 2tb ou invês de apostar numa solução maior e com mais garantias.

É exactamente isso que me acontece actualmente... vários discos usb uns na gaveta outros na sala, dois NAS, e já não sei bem onde tenho o quê! Para além de perder imenso espaço porque tenho copias de uns e outros, um desperdício porque tudo esta separado!

E neste sentido que há pouco conheci este software, este unRaid Server da Lime Tech! Este sistema operativo para gestão de servidores e NAS é especialmente vocacionado também para conteúdos de ficheiros digitais de vídeo imagem e áudio para HTPC e outras coisas claro.

Este S.O é baseado no Slackware Linux mas não é open source, é proprietário. Possui na minha opinião algumas vantagens super-interessantes em relação a outros sistemas de Raid e outros softwares como o FreeNAS ou outros sistemas como o Drobo que são uma roubalheira em termos de preços. Este sistema corre a partir de penUSB em hardware que seja compatível com Linux. Possui também imensos add-ons com muitos programas para os mais diversos fins, alguns bens interessantes como um "Encoder" de vídeo em tempo real para distribuir vídeos por outros aparelhos na rede... e etc!

Podemos pois montar o nosso servidor consoante às necessidades e consoante o orçamento disponível! Em cima disto que já é bom, agora vêm grande parte das vantagens deste software... pois podemos aproveitar os discos que temos, grandes ou pequenos, de diferentes marcas e diferentes capacidades!!! Com o tempo podemos juntar mais discos ou até retirar discos do servidor mantendo os dados que ficam nos outros discos!

Todos os discos têm enorme flexibilidade porque podem ser retirados um a um do servidor para se ligarem em outros PCs! Em caso de discos danificados o unRaid Server só recupera sempre um de cada vez! Dois discos danificados ao mesmo tempo significa perda de dados, mas não nos outros discos bons!

Ainda em cima disto tudo e ao contrario também de outros sistemas usar o armazenamento não significa que teremos todos os discos a trabalhar! Usamos um disco e só esse disco sofre o "wake-up"! Todos os outros ficam em modo sleep, uma grande vantagem se pensarmos em sistemas de 6, 8 ou mais discos com todos "acordados" e a gastar energia desnecessária. Este era claramente um factor que me afastou durante muito tempo dos sistemas Raid tradicionais.

unRaid Server é um software proprietário e é distribuído em três versões:

• FREE, unRAID Server Basic: Up to 3 drives: 2 data, 1 parity
• $69, ($99 for two), unRAID Server Plus: Up to 6 drives: 5 data, 1 parity
• $119, ($149 for two), unRAID Server Pro: Up to 16 drives: 15 data, 1 parity 

Uma excelente solução caseira que como já devem ter percebido já me convenceu plenamente. Nas próximas semanas vou construir o meu primeiro unRaid Server! Estejam então atentos :)