שאלה כיצד לגבות 20 + TB של נתונים?


יש לנו שרת NAS בחברה אני עובד עבור זה משמש לאחסון הפעלות צילום. כל מפגש הוא כ 100GB. במהלך כמה השנים האחרונות שרת זה צבר 10 + TB של נתונים, ואנחנו מגדילים את כמות photoshoots אקספוננציאלית. אני מעריך כי עד סוף השנה הבאה יהיה לנו 20 + TB מאוחסן על NAS זה. בשלב זה אנו מגבים את השרת הזה לקלטת באמצעות קלטות LTO-5 עם Symantec BackupExec. מאז הגודל של שרת זה גדל, גיבויים מלאים של השרת הזה לא משלימים בן לילה. האם יש למישהו הצעה לגבי אופן הגיבוי של כמות נתונים זו? אנחנו צריכים לגבות את זה עד קלטת? האם יש אפשרויות אחרות אשר עשוי להיות טוב יותר?


82
2017-12-12 03:50




למה אתה מבצע גיבויים מלאים כל לילה? למה לא להפעיל גיבוי מלא פעם בשבוע ולהפעיל גיבויים מצטבר הנותרים 6 ימים בשבוע? - joeqwerty
זה מה שאנחנו עושים, סליחה שלא הזכרתי את זה ... השבועי המלא הוא אחד לא משלים. - Jesus Fidalgo
האם צורך שבועי מלא להשלים לילה? אין זה נדיר עבור שבועי לקחת יותר מ 24 שעות עבור נתונים גדולים מספיק. - Stefan Lasiewski
איזה סוג של NAS אתה משתמש? - ewwhite
האם אתה בטוח להגדיל את photoshoots הוא אקספוננציאלית? - gerrit


תשובות:


אתה צריך לקחת צעד אחורה ולהפסיק לחשוב "יש לי 20TB על NAS שלי אני צריך לגבות!" ולפתח אסטרטגיית אחסון שלוקחת בחשבון את אופי הנתונים שלך:

  • מאיפה זה בא וכמה נתונים חדשים אתה מקבל? (יש לך את זה בשאלה שלך)
  • איך משתמשים בנתונים ברגע שיש לך את זה? האם אנשים עורכים את התמונות? האם אתה שומר את מסמכי המקור וליצור גרסאות ערוכות?
  • כמה זמן אתה צריך לשמור את כל הנתונים? האם אנשים עדיין עושים שינויים בתמונות מלפני שנתיים?

בהתאם התשובות לשתי השאלות האחרונות, אתה כנראה צריך יותר מערכת אחסון מאשר מערכת גיבוי שונה באופן קיצוני.

אין צורך לגבות נתונים מדי לילה (למשל תמונות בנות שנתיים שאתה שומר "רק למקרה") בכל לילה, או אפילו כל שבוע, הוא צריך להיות בארכיון. מה שאתה בעצם עושה יכול להיות מורכב יותר, אבל מבחינה מושגית, את כל התמונות הישנות ניתן לכתוב את הקלטת (מספר עותקים!) ולא מגובים יותר.

בהתבסס על ההערות שלך, כמה מחשבות נוספות:

  • מאז אתה שומר את המקור של כל לירות יגעו בו ולעבוד על עותק, ובהנחה שלפחות חלק מהתמונות המקוריות הם נפלים, ייתכן שתוכל לחתוך את כמות הנתונים שיש לגבות במחצית.

  • אם אתה עדיין לא יכול לסיים גיבוי מלא בתוך כל חלון זמן יש לך, דרך משותפת כדי להאיץ את העניינים היא לעשות דיסק לדיסק גיבוי הראשון ולאחר מכן להעתיק את הגיבוי להגדיר את הקלטת.


110
2017-12-12 04:19



הצילום המקורי מאוחסן ללא שינוי, ולאחר מכן עותק נוסף של photoshoot משמש לעריכה. הנתונים עשויים להיות מוחזקים על 2 שנים. - Jesus Fidalgo
+1 אמר טוב. אני מופתע איך ההבדל בין גיבוי ארכיון הוא, באופן כללי, הבינו היטב. אני עושה גיבויים מלאים מצטבר של המערכת שלי נתונים חולף כגון דוא"ל ומסמכים, אבל בארכיון הצילום שלי (1.2TB וגידול :-). הלוואי שיכולתי לתת עוד +1 עבור הדיסק לדיסק הצעה גם כן. - Ex Umbris
+1 אני מוכן להתערב ש -80% מהנתונים ב- NAS לעולם לא משתמשים יותר מפעם אחת. - Stefan Lasiewski
+1 האפשרות הטובה ביותר כאן היא לעשות מדי יום ואפילו דיסק לשעה כדי delta הדיסק העברות ללכוד שינויים ולאחר מכן לשלוח את הגיבויים המלאים או מצטבר אל ארכיון או מחוץ לאתר ספק / מיקום על בסיס שבועי או שבועי. נהגנו לקחת גניבת דלתא של קבצי SQL שלנו כל 15 דקות כדי להפחית את כמות אובדן הנתונים בתרחיש DR. - Brent Pabst


יש לך שתי אפשרויות:

אופציה 1:

  1. קנה NAS נוסף
  2. תן למשתמשים שלך גישה RO ל- new_NAS
  3. העבר את כל הקבצים מעל גיל שנתיים ל- new_NAS
  4. המשך לגבות את old_NAS כרגיל
  5. כל 6 חודשים מעבירים קבצים מעל גיל שנתיים ל- new_NAS

אפשרות 2:

  1. קנה NAS נוסף
  2. הפעלה rsync כל שעה: old_NAS -> new_NAS

    או, כדאי להשתמש במשהו כמו Rdiff גיבוי אשר עושה rsync + שומר deltas עם שינויים בקובץ (אתה יכול לשחזר גרסאות ישנות יותר של הקבצים)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. כל 6 חודשים לנקות קבצים ישנים פועל משהו כמו:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

12
2017-12-12 15:07





למה הגיבויים שלך צריך להשלים לילה? ביצועי השרתים? ייתכן שתוכל להגביל את רוחב הפס של תוכנת הגיבוי שלך כדי להגביל את ההשפעה במהלך היום. או להקדיש ממשק על NAS שלך לדבר עם כונן הקלטת כדי להגביל את ההשפעה על תנועה אחרים.

אתה יכול להפעיל מזבלות מלא בסופי שבוע רק לעשות תוספות במהלך השבוע? אם הבעיה היא שינוי קלטות בסוף השבוע, כאשר אף אחד לא בסביבה, ספריית קלטות זולה / autochanger עולה הרבה פחות מאשר לשלם למישהו לשנות קלטות.

האם אתה יכול לפלח את הנתונים שלך למספר קבוצות קטנות מספיק כדי להשלים בתוך חלון הגיבוי?

יש לנו בערך 50TB של נתונים על NAS שלנו וזה לוקח יותר משבוע כדי לקבל מזבלה מלאה של כל דבר באמצעות 2 כונני קלטות (נפח אחד לוקח כמעט שבוע עצמו כי הוא מכיל קבצים זעירים רבים). מה שאנחנו עושים הוא לשכפל את הנתונים שלנו NAS השני. NAS משני שלנו הוא באתר (אבל במרכז נתונים שונה מן הראשוני), אז אנחנו עדיין סליל נתונים מחוץ לקלטת עבור גיבוי מחוץ לאתר. אנו מריצים גיבויים משני NAS משני כך גיבויים לא להאט מישהו למטה.

אם אתה יכול colocate משני שלך NAS רחוק מספיק משם, אז זה יכול להיות הגיבוי שלך, לא קלטות צורך.


2
2017-12-12 18:47





אני רק בספק לגבי גודל של כל פגישה הירי, זה באמת 100GB / הפעלה? כמה מפגשים עושה החברה שלך בכל חודש?

מאז אתה בעיקר אחסון הפעלות ישנות כי לא ייעשה שימוש תכוף, וכו ', וכנראה לא צריך לשחזר את המידע כי לעתים קרובות, הייתי מציע לך להשתמש בשירותים של חברה כלשהי כדי לטפל במשימה זו בשבילך .

לדוגמה, אחסון 20TB אלה באמצעות שירות מקוון כמו אמזון קרחון יעלה קצת יותר מ 200 $ לחודש. אם אתה צריך לאחזר את הארכיונים האלה לעתים קרובות, או אפילו לשחזר אז במלואו, זה יכה כמה זמן / עלות אילוץ. אם אתה פשוט לאחסן את הדברים האלה "כדי להיות בטוח שהם מאוחסנים", אולי באמצעות חלק שלישי יכול להפוך את החיים שלך קל יותר (ואפילו זול יותר מאשר לקנות עוד NAS, קלטות, וכו '),


1
2017-12-12 12:15



100 GB לכל הפעלה נשמע קצת גבוה לי, אבל לא בלתי הגיוני. אנחנו בדרך כלל היה 32 + GB הפגישה שבה נהגתי לעבוד, ואת הציוד שלנו היה בינוני. - Tom Marthenal


full backups of this server are not completing overnight
לאחר מכן נסה גיבויים מצטברים? גיבוי מלא אחד כל Xx ימים, מצטבר השאר.

Harddisks הם זולים, מהר יותר קלטות והוא יכול לשמש גיבוי.

כמו כן יש חלופות טובות עבור גיבויים ענן עכשיו כך שלה לא נדרש לשמור הוספת קלטות יותר מהר.
לדוגמה:


1
2017-12-12 13:47



תסתכל על הערות - זה השבועי fulls כי הם לא משלימים. בנוסף, גיבויים ענן עבור 20TB של נתונים ... לא רעיון טוב. האפשרות "זול" של אמזון קרחון יעלה ~ 2500 / yr, ואחזור כל הנתונים יעלה ~ $ 36,000. - HopelessN00b
זה לא ממש הרבה. - Sirex
אני מניח שלה עניין של דעת אם $ 2400 / yr הוא הרבה עבור 20TB יחסית בטוח ואחסון מלא אחסון בחינם. אין צריכת חשמל, לא קירור, לא חומרה נכשלת, לא צד"ל, לא תופסת שטח המדף. וכמו רוב המערכות אתה צריך לצפות סביב 0 פעולות התאוששות מלאה. ואם אתה צריך התאוששות המחיר הוא יותר כמו $ 1800 מ 36000 $ (לא בטוח מאיפה יש לך את המספר הזה). - Tedd Hansen
עבור קרחון, $ 36K הוא די קרוב. אני בערך לחשב אותו כמו $ 42K עבור עלויות אחזור על 20TB. זה עדיין לא הרבה. רוחב הפס הוא יותר בעיה. - Sirex


אני חושב שהפתרון הטוב ביותר עבור זה הוא מה שאנחנו עושים עם נתוני שכר שלנו, אשר צריך לקחת מאמץ מינימלי לך ליישם.

  • בתחילה, זה נשמר עם שאר הנתונים השרת מגובה מדי יום. תקופת השמירה שלנו על הגיבויים היא 13 חודשים.

  • כאשר לא נצפה עוד כי הנתונים יצטרכו להשתנות (שני תקופות תשלום מאוחר יותר, IIRC) הנתונים (באמצעות script) נשמרים לנפח ארכיון שאינו נכלל בגיבויים הרגילים.

  • נפח הארכיון מגובה לקלטת שנתית, והקלטות נשלחות ל- Cintas לאחסון בלתי מוגבל.

זה מאפשר לנו גישה קלה ומקוונת לנתונים הבלתי משתנים (כך שאנחנו לא צריכים להתקשר לקלטת בכל עת שרואה חשבון רוצה להסתכל על משהו), תוך שמירה על ארכיונים בלתי מוגדרים מחוץ לאתר, שנצטרך לשמור לנצח , וללא ריסוק מערכת הגיבוי שלנו. נשמע כמו אותו סוג של התקנה יכול לעבוד בשבילך, אם כי ייתכן שתרצה להתאים את כמות הנתונים שאתה שומר באינטרנט, בהתאם לצרכים שלך כדי לגשת לנתונים אלה בזמן - 20TB של אחסון ברמה ארגונית הוא הרבה יותר יקר מאשר לאחסן אותו לשתיים או שלוש סטים של קלטות LTO5 שאתם מאחסנים בקמרונות מחוץ לאתר.


1
2017-12-12 16:58





אולי אתה יכול לבנות בעצמך Backblaze PodYou 135Tb ל 7384 $
לחץ כאן למידע נוסף: Backlaze Pod מידע הבניין

אתה יכול לקנות את החלקים הדרושים ולבנות את זה בעצמך.

אולי אתה יכול לבנות 3 מהם, ולשמור 2 באתר, ו 1 מחוץ לאתר. אז אתה יכול להשתמש תרמיל אחד כמו "נתונים מקוונים", תרמיל השני באתר כמו גיבוי של תרמיל הראשון, ואת תרמיל מחוץ לאתר השלישי כמו גיבוי מחוץ לאתר חירום.

עם 135Tb של אחסון עבור כל תרמיל אתה יכול אפילו לחשוב על שמירה על ההיסטוריה של השינוי ...
135Tb / 20Tb = 19 עותק גיבוי מלא.
לחלופין אתה יכול לשמור 10 גיבוי מלא בתוספת כמות מגוחכת של גיבוי דיפרנציאלי.

באופן טבעי, אם אתה רוצה גיבוי מחוץ לאתר, תצטרך קצת רוחב פס גדול ... :-)


0
2017-12-18 08:28



אם הנתונים שלך ואת העבודה שלך הם חשובים לך, אתה לא צריך לנסות לבנות תרמיל backblaze משלך. זה נראה כמו רעיון טוב, עד שאתה מבין שאתה שם את כל הביצים שלך בסל אחד גדול באמת. גרוע מכך, סל זה לא נבדק כמו שלם משולב ביסודיות. רוטב סודי backblaze הוא שכפול תוכנה על פני תרמילים רבים, אשר מאפשר תרמילים כולו להיכשל בצורה חלקה. במקום זאת, אני ממליץ על שרת אחסון supermicro, centos, xfs ו- rdiff-backup. - bugaboo


עמית שלי רכשה סינולוגיה 8-NAS NAS. הוא פועל RAID היברידי. הוא קנה 8TB Seagate Barracuda מ NewEgg לפני כמה שבועות עבור $ 89 כל אחד. אתה יכול לראות rsync מן הייצור NAS זה NAS חדש על GigaBit. מכיוון שאתה רק מעביר את ההבדלים, ההעברה תארך זמן קצר יותר. אז אתה יכול להשתמש NAS גיבוי לבצע מלא או מצטבר. עלות לך יהיה תחת $ 2000 החוצה את הדלת עבור NAS NAS.


-1
2017-12-12 16:38