Szukam jakiegoś sensownego rozwiązania które umożliwiłoby zautomatyzowane wysyłanie dwóch dużych plików do chmury. Sytuacja wygląda następująco, mamy w firmie dwa fizyczne serwery z Windows Server 2022. Na każdym z nich pracuje system który codziennie robi sobie kopię zapasową w formie jednego pliku - jeden z nich ma na ten moment niecałe 10GB, drugi trochę ponad 48GB, z zastrzeżeniem że wielkości będą się ciągle zwiększać wraz z dodawaniem do bazy kolejnych danych. Zależałoby mi na tym, żeby te dwa backupy były wysyłane gdzieś do chmury, na wypadek przysłowiowego pożaru budynku. A już w ogóle idealną sytuacją byłaby taka, gdzie po pomyślnym wysłaniu nowszego pliku, starszy byłby automatycznie usuwany, wtedy nie potrzebowałbym aż tak dużej przestrzeni w samej chmurze - to jest jednak kryterium opcjonalne, bardzo mile widziane, jednakże nie obligatoryjne. Jest jeszcze jeden myk - pierwszy system, ten tworzący mniejszy plik, po wykonaniu backupu sam usuwa starszy plik, zatem w folderze w którym są przechowywane backupy, zawsze jest tylko jeden, najnowszy plik. Drugi system, nie usuwa starszych plików, zatem jeżeli sam ręcznie tego nie zrobię, w folderze z kopiami może być wiele plików, zatem super by było, gdyby mechanizm wysyłający pliki do chmury był w stanie wysłać tylko najnowszy plik, pomijając starsze. W przeciwnym razie miejsce w chmurze błyskawicznie mi się zapcha. Czy ktoś miał styczność z tego typu rozwiązaniem i mógłby się podzielić opinią na ten temat? Co to za usługa/oprogramowanie/serwis, ile kosztuje miesięcznie/rocznie, jaką funkcjonalność zapewnia?
Będę bardzo wdzięczny za wszelkie opinie :)
Wszystko zależy od tego jaki jest budżet, jakie są wymagania techniczne i kto będzie to konfigurował.
Jak ma być tanio i w miarę nieskomplikowanie ale przez to trochę chałupniczo, to można kupić jakiegoś onedrive/dropboxa i ogarnąć to "domowym sposobem". Instalujesz klienta na serwerze, backup kierujesz do katalogu synchronizowanego, a w schedulerze robisz taska i ustawiasz codzienne kasowanie backupu n-3 żeby mieć 3 ostatnie kopie dostępne na dysku internetowym.
Jak ma być bardziej pro, to Windows Server świetnie się integruje z Azurem, instalujesz agenta, konfigurujesz backup całej maszyny do chmury i masz pro rozwiązanie, a niekoniecznie drogie, bo Azure kasuje głównie ze pobieranie backupu i jakieś grosze za jego przechowywanie. Całkowity koszt na pewno nie będzie kosmiczny, bo umówmy się to co chcesz tam wysłać to dzisiaj przysłowiowa dyskietka jeżeli chodzi o pojemność ale na pewno wyższy niż najtańszy dropbox/onedrive. No i tutaj już będzie trzeba albo kogoś z wiedzą Azurową (podstawową ale jednak) albo pasjonata który przebrnie przez jakiś tutorial i potem jeszcze poprawnie to przetestuje.
Możesz to w sumie łatwo i szybko zobaczyć za free - potrzebujesz jedynie postawić VMkę z windowsem (no chyba, że możesz/chesz wysłać swój domowy/służbowy komputer do chmury) i założyć triala w Azure, a potem przeklikać:
https://learn.microsoft.com/en-us/azure/backup/tutorial-backup-windows-server-to-azure
Nie musi być pro, ma być praktycznie i skutecznie :) Budżet też nie jest ściśle określony, ale też nie chodzi o to żeby usługodawca nagle zażądał sobie czterocyfrowych kwot miesięcznie, tak jak nasz dotychczasowy. Backup całej maszyny nie jest potrzebny, bo w razie katastrofy cały soft mogę sobie odtworzyć w łatwy sposób. Kluczowe jest żeby nie utracić bazy danych z wspomnianych systemów. Stąd Azure na pierwszy rzut oka wydaje się lekkim overkillem, ale przyjrzę mu się w wolnej chwili, dzięki za sugestię :)
Prosty wyrzyg chatgpt.... powershell
# Set the source and destination paths
$sourcePath = "C:\Path\To\Source"
$destinationPath = "\\RemoteServer\Share\Path"
# Set the names of the two files to copy
$file1 = "File1.txt"
$file2 = "File2.txt"
# Set the number of files to keep in the destination folder
$filesToKeep = 2
# Construct the full paths for the source and destination files
$sourceFile1 = Join-Path -Path $sourcePath -ChildPath $file1
$sourceFile2 = Join-Path -Path $sourcePath -ChildPath $file2
$destinationFile1 = Join-Path -Path $destinationPath -ChildPath $file1
$destinationFile2 = Join-Path -Path $destinationPath -ChildPath $file2
# Copy the files to the remote drive
Copy-Item -Path $sourceFile1 -Destination $destinationFile1 -Force
Copy-Item -Path $sourceFile2 -Destination $destinationFile2 -Force
# Get all files in the destination folder and sort them by LastWriteTime
$files = Get-ChildItem -Path $destinationPath | Sort-Object LastWriteTime
# Determine the number of files to remove
$filesToRemove = $files.Count - $filesToKeep
# Remove the last $filesToRemove files
for ($i = 0; $i -lt $filesToRemove; $i++) ‹
$fileToRemove = $files[$i].FullName
Remove-Item -Path $fileToRemove -Force
›
Write-Host "Files copied and old backups removed successfully."
Wez sobie jakiegos onedrive czy cokolwiek co mozesz zamapowac lokalnie i odpal skrypt w windowsowym cronie i elo
Przeznacz osobna maszynę do zbierania tych plików na swoim storage a potem wysyłanie tego dopiero po godzinach. Dzięki temu prostym skryptem Powershellowym będziesz w stanie ogarnąć najprostsze rzeczy związane z kopiowaniem tylko najaktualniejszego pliku, a program do backupu na 2 maszynie będzie się zajmował wyłącznie wysyłaniem tego dalej w chmurę po godzinach.
Wysyłkę na pewno będę robić po godzinach. Backupy są zaplanowane na późne godziny wieczorne, tak więc w środku nocy byłby idealny moment na wysyłkę na zewnątrz. Powershellem nigdy się jakoś szczególnie nie bawiłem, ale z tego co piszesz Ty oraz poprzednik, chyba czas na poszerzenie umiejętności :)
Darmowe Duplicati zrobi Ci robote, a przy okazji możesz backupować przyrostowo a nie wrzucać jeden wielki plik za każdym razem.
Możesz też zrobić tak że obecny system będzie Ci backupowal te gigantyczne pliki lokalnie, a Duplicati zbierze sam dane z odpowiednich katalogów i pośle do chmury tylko to co się zmieniło w cywilizowany sposób, zabespieszysz się przy okazji na wypadek "awarii" tych skryptów które teraz wykonują Ci backupy.
Awarii skryptów akurat się nie boję, są raczej kuloodporne - wystarczy powiedzieć że przez ponad 3 lata jak tam pracuję, nie wysypały się ani razu. Mój poprzednik też nigdy mi nie wspominał o jakichkolwiek kłopotach z tym związanych. Przyrostowy backup na pewno by się sprawdził, jednakże dużym problemem jest tu sam charakter danych o których mowa. Są to w zdecydowanej większości dane wrażliwe, stąd też nie sądzę żeby przeszło przechowywanie ich na zewnątrz w formie nazwijmy to "rozpakowanej". Pliki backupów są odpowiednio zaszyfrowane, oraz tak skonstruowane, że odtworzenie danych jest możliwe tylko przy użyciu oprogramowania za pomocą którego zostały stworzone - tak przynajmniej zarzekają się twórcy. Stąd jednak optował bym za trzymaniem w chmurze właśnie samych backupów. Nie mniej o Duplicati na pewno poczytam, kto wie, może się okazać że właśnie tego szukam :)
A i owszem, próbowaliśmy :) Przy wymianie fizycznych maszyn na nowe właśnie tak przenosiliśmy dane - backup na starym sprzęcie, odtworzenie na nowym. Operacja przebiegła bezproblemowo, pacjenci przeżyli ;)
Ja kiedyś korzystałem z mega.nz, ich apka banalna w użyciu, a i ceny jak na firmę malutkie :) W ich apce dodawało się foldery które miały być synchronizowane. Sama apka działała w tle i praktycznie kilka sekund po tym jak jakiś plik w tym folderze "zaistniał" lub został zaktualizowany był wysyłany na serwer. Tak więc jeśli ten twój plik od backupu będzie zawsze miał tą samą nazwę to nie będziesz musiał ręcznie kasować. Może coś tam pododawali do apki bo nie miałem z nią styczności z 5+ lat, ale raczej zmiany na + bym się spodziewał :)
Kolejna nazwa z którą muszę się bliżej zapoznać :) Nazwa pliku niestety nie będzie zawsze ta sama, gdyż zawiera w sobie datę utworzenia, ale tak jak mówiłem, automatyczne kasowanie starszych plików nie jest warunkiem koniecznym. Mile widzianym, ale bez niego będę w stanie się obejść. Również dzięki za podpowiedź :)
Przy twojej wielkości plików darmowo nie przejdzie, bo jeśli chodzi o upload to tam limitów nie było, ale download już je posiada. Na darmowym koncie 5gb dziennie, ale najtańszy pakiet to 400gb na dane, 1 TB transferu i kosztował +-20 pln za miecha, więc grosze. Możesz sobie założyć darmowe konto na start i potestować, a jak ci podejdzie dopiero kupić pakiet.
Rzuciłem pobieżnie okiem na cennik i prawdę mówiąc założyłem że do limitu transferu zaliczają się też dane wysyłane do chmury. Ale jeżeli jest tak jak piszesz, że limitowane jest tylko pobieranie z chmury, to możemy mieć strzał w dziesiątkę. W moim przypadku pobranie wcześniej wysłanego pliku konieczne byłoby tylko w skrajnym przypadku, jakby z jakichś przyczyn utracone zostały lokalne backupy (które i tak tworzą się w dwóch miejscach, tak na wszelki wypadek). Chyba jutro się skontaktuję z nimi i wypytam o szczegóły, bo zaczyna mi się ta opcja bardzo podobać :)
Jeżeli to backup bazy i mówimy o Windows serverze to być może sam engine bazy to sql server? Wtedy można użyć natywnego rozwiązania od MS i słać backupy na storage w Azure - https://learn.microsoft.com/en-us/previous-versions/sql/sql-server-2012/jj919148(v=sql.110)?redirectedfrom=MSDN
Sam storage jest śmiesznie tani i można ustawić retention period na całym buckecie żeby starsze buckapy były kasowane.
A office 365 nie macie? Nie wiem jak to wygląda dla firm ale w rodzinnym mam do każdego konta 1TB na onedrive i kosztuje to w przeliczeniu 7zł na osobe/mc.
Na jakimś mega chyba bałbym się firmowe dane hostować, no chyba że macie je jakoś mega zabezpieczone :D
Pomysł M@co też świetny, mało mam z DB do czynienia więc nawet o tym nie pomyślałem.
https://learn.microsoft.com/en-us/sql/relational-databases/tutorial-sql-server-backup-and-restore-to-azure-blob-storage-service?view=sql-server-ver16&tabs=SSMS
I uwierz mi że Azure to nie overkill, to jest właśnie piękne w hyperscalerach że trzymasz tam backup który kosztuje Cię kilka-kilkanaście € na miesiąc, a korzystasz z tego samego interfejsu/narzędzi/bazy wiedzy co wielkie korporacje które hostują tam maszynki z 400cpu. Wiadomo że SLA macie inne, ale jednak jest to to samo środowisko.
Ech, byłem przed chwilą u księgowej i niestety część opcji które rozważałem muszę wyrzucić do śmieci. Opłaty w innej walucie niż PLN nie wchodzą w grę, bo "nie mamy konta walutowego, zakładać dla jednej firmy też nie będziemy, bo utrzymanie takiego konta kosztuje bla bla bla itp. itd.". Szkoda strzępić ryja...
Azure przyciąga moją uwagę, ale jak do tej pory nie znalazłem żadnego betonowego potwierdzenia że rachunki będą wystawiane w złotówkach. Wszędzie ceny w dolarach, a na liście krajów informacja że Polska jest rozliczana w euro.
Na jakimś mega chyba bałbym się firmowe dane hostować, no chyba że macie je jakoś mega zabezpieczone :D
Tak jak wspomniałem wcześniej, gdy są spakowane w plik backup, są dosłownie bezużyteczne dla kogoś kto nie posiada oprogramowania z którego my korzystamy. A już widzę jak ktoś specjalnie wykupuje licencję za kilkanaście-kilkadziesiąt tys. zł rocznie, tylko po to żeby dobrać się do naszych danych ;) Ale biorąc pod uwagę to co napisałem na samym początku tego posta, dalsze rozważania na ten temat będą już tylko teoretyczne, mega.nz odpada.
No nic, szukam dalej, dzwonię po usługodawcach, zobaczymy co z tego wyjdzie. Jakby jeszcze ktoś miał jakiś pomysł, bardzo chętnie wysłucham i sprawdzę, za dotychczasowe sugestie i próby pomocy bardo dziękuję! :)
You can add files and folders to OneDrive automatically from your PC without having to go to the OneDrive website. Files you add to OneDrive this way can be up to 250GB in size. (If you sign in with a work or school account, the maximum file size is 15GB.)
Nie wiem czy work account = O365 for business, MS potrafi być zagmatwany w nazewnictwie. Samych planów jest kilka, widzę jakiś Premium, najprościej było by zapytać support albo wziąć triala i przetestować.
