שאלה העברת 10 TB של קבצים מארה"ב למרכז הנתונים בבריטניה


אני מעביר את השרת שלי מארה"ב לבריטניה ממרכז נתונים אחד למשנהו. המארח שלי אמר שאני צריך להיות מסוגל להשיג 11 מגה בייט לשנייה.

מערכת ההפעלה היא Windows Server 2008 בשני הקצוות.

גודל הקובץ הממוצע שלי הוא בסביבות 100 MB והנתונים מחולקים ל -5 כונני TB.

מה תהיה הדרך המומלצת להעביר קבצים אלה?

  • FTP
  • SMB
  • Rsync / Robocopy
  • אחר?

אני לא מוטרד מדי על אבטחה כמו אלה קבצים ציבוריים בכל מקרה, אבל אני רק רוצה פתרון שיכול לדחוף את מלוא 11 MB / s להעביר את שיעור כדי למזער את זמן ההעברה הכולל.


91
2017-10-03 20:03




11 MB / s או 11 Mb / s? - wim
להעביר את הנתונים כרטיס ניקוב בינארי ולהשתמש יונה הספק :) - enterzero
עליך לספק פרטים. כמה יונים נושאות אתה חושב שזה ייקח? תראה את עבודתך. - Evik James
@Evik האירופי או אפריקה? - wim
כצידה, וולפרם אלפא הוא הדרך הנוחה ביותר לעשות את החישוב, "10 TB ב 11MB / s". wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


תשובות:


משלוח כוננים קשיחים על פני האוקיינוס ​​במקום.

ב 11 Mbps עם ניצול מלא, אתה מסתכל רק ביישן של 90 ימים כדי להעביר 10 TB.


11 Mbps = 1.375 MBps = 116.015 GB ליום.

10240 GB / 116.015 GB / day = ~ 88.3 ימים.


171
2017-10-03 20:14



+1 עבור סניקרנט. כמו כן, שכחת TCP / IP תקורה. זה יותר כמו ~ 100 ימים בתנאים אידיאליים. - Chris S
איש חכם אמר פעם "לעולם לא לזלזל ברוחב פס של סטיישן עגלה מלאה קלטות דוהרים על הכביש המהיר". משוואה זו נכונה מאוד ולא שונה מהותית על ידי שינוי הסטיישן עגלה עבור סירה. (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
עדיף לשלוח קלטות, או דיסקים blueray, ולא כוננים. אם אתה הולך עם כוננים, לוודא את המקור נשמרים בטוח וזמין רק במקרה. הייתי הולך על הכוננים עצמי (אלא אם כן היה לי Ultrium 4 כוננים) כי 10 TB = 410 שכבה אחת blueray דיסקים! - Allen
רק הבנתי שאני הקלדת 11Mbps, אבל זה מה שהתכוונתי באמת היה 11MB / s. אני מניח שזה עושה הבדל גדול למדי, החישובים שלי יש את זה סביב 11-14 ימים בערך ... זה נכון? - Paul Hinett
עדיין מאמינים כי שליחת אדם לפקח עם גיבוי 10TB בעוד הדיסק הרשמי עדיין עובד לאחר מכן את ההתקנה נעשה, אתה יכול צהריים rsync לעדכן את השרת החדש עבור כל שינוי. יהיה לך את המכשיר שלך ולהפעלתו בערך יום. - Loïc Faure-Lacroix


הייתי אומר rsync, ב 11 MB / s תוכלו להסתכל על 10-14 ימים, גם אם אתה מקבל interrupted, rsync יהיה בקלות להתחיל איפה זה הפסיק בפעם האחרונה.

ב 11 Mbps הייתי הספינה את הדיסקים הקשיחים כמו הציע לעיל :)


25
2017-10-03 22:00



ההערכה שלך שונה מאוד ממה שאחרים פרסמו (ואני לא יודע מי צודק). האם אתה יכול לספק את המתודולוגיה שלך להגיע לאותם דמויות? - John Gardeniers
ההבדל נובע מ OP misstating 11 Mbps כאשר למעשה הוא התכוון 11 MBPS - וזה 8 פעמים מהר יותר. BTW, הפעלה מחדש של rsync 10 TB במקרה של הפרעה ייקח כנראה זמן מה, לא? שעות, או יותר? - Frank Farmer
@FrankFarmer: אני לא לדאוג rsync הפעלה מחדש; אני שומר עותק מחוץ לאתר של 20TB מעל 30Mbps קו אלחוטי, ואתחול מחדש בטווח שניות. את העותק הראשוני לקח כמה שבועות, אבל העדכון הלילי הוא בדרך כלל כמה שעות. - Javier
@FrankFarmer - rsync נראה בקנה מידה טוב מאוד. יש לי ~ 2TB מעל קו ADSL1 כפרי שהיה initalised עם sneakernet, אבל לוקח ~ 5 דקות rsync כל לילה אם שום דבר לא השתנה. - Flexo
rsync מחדש קשקשים זמן עם מספר קבצים (בעיקר מ statבזמן, מניסיוני), לא בנתונים הכוללים. אני לא מצפה לחכות משמעותי (כמה דקות לכל היותר). למרות הניסיון שלי עם צמרות rsync ב קצת מתחת 5TB. - derobert


Rsync כמובן.

לפחות אתה יכול להמשיך בכל עת לאחר הפסקה, וזה ללא כאב.


14
2017-10-03 20:07



3 + חודשים להעתיק ב 100% ניצול. סליחה, אבל זה נורא דרך להעביר את הנתונים הרבה. - Chris S
אני חייב להסכים עם @ChrisS, באמצעות rsync רק כדי להעתיק קבצים גדולים אינו יעיל. עבור הדברים שלי אני בסופו של דבר באמצעות tar על netcat או ssh עבור ההעברה הראשונית. זה הרבה יותר מהר ומתחיל להעביר מיד, בעוד rsync תסרוק את כל הקבצים הראשונים אשר לוקח זמן. אם זה קטע נקטע אתה עדיין יכול להשתמש rsync לאחר מכן. למעשה, אני עושה את זה לפעמים אחרי tar בכל מקרה כדי להבטיח את כל ההרשאות, קבצי socket, וכו 'נכונים. - Martin Scharrer
לאחר תיקון OP כי יש לו ~ 100MB חיבור, לא 11Mb, rsync עושה הרבה יותר הגיוני. +1 עבור הראשון לציין את זה. - Chris S


לעולם אל תזלזלו ברוחב הפס של מכונית סטיישן מלאה קלטות

- טרא.

במקרה שלך, דיסקים או קלטות שנשלחו על ידי שליח, אבל העיקרון עדיין חל. אם אתה לא חושש לגבי זמן האחזור, זה יהיה זול בהרבה מאשר רוחב הפס של הרשת להעביר 10TB של נתונים בכל זמן סביר.


11
2017-10-04 11:32



ג 'ף Atwood רץ את המספרים באחת ההודעות הישן שלו Coding אימה .. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


עליך להשתמש ב- rsync. זה יהיה לדחוס הנתונים ביטול כפילויות לפני השליחה. זה יכול גם לחדש העברות חלקיות, אשר חשוב מאוד עבור כל העברות גדולות.

סביר להניח שזה לא להעביר 10 TB; אם זה יומני וטקסט כזה יכול להיות מתחת 1 TB; אולי דרך מתחת 1 TB.

ישנם כלים לעשות עבודה טובה יותר של דחיסה מאשר rsync ו סביר למצוא התאמות נוספות. אתה יכול להשתמש lrzip, וכו.

ישנם סוגים ספציפיים של נתונים שאינם לדחוס היטב אינו מכיל dupes מילולי - קטעי וידאו מדיה אחרים למשל. במקרים אלה, ה- FTP ו- rsync עושים הרבה מאמץ.


9
2017-10-04 08:02



RSync מניעת כפילויות נתונים? אני חושב שזה רק עושה את זה ברמת הקובץ, כלומר מניעת כפילויות הוא חסר תועלת בעיקר במקרה זה. - devicenull


אני יודע שזה כבר התקבל, אבל שקלת לקחת את הדיסקים שלך למרכז נתונים / ספק / מארח שבו אתה יכול לקבל רוחב פס יותר? זה בטח יעלה לך קצת כסף אבל העתקת 10240GB כדי גיבוי דיסקים ושליחת יהיה גם עלות זמן וכסף (2 x כסף).

כמו כן, תוכל להיות בטוח הדיסקים שלך לא לשבור בתחבורה.


5
2017-10-04 07:13



איך התשובה הזאת שונה מהתשובה המקובלת? - Chris S
@Chris תשובה זו מציעה להעביר את הדיסקים לצינור גדול יותר באותה יבשת. - Alex Jasmin


11Mbps? זה די מגבלה שיש לך כאן. במצבך הייתי פשוט:

  • לשכפל את הנתונים
  • לדחוס את זה
  • שכירת שרתים בשני הקצוות עם רוחב פס של לפחות 10 פעמים (באותם מרכזי נתונים או בקצה שלך במרכז נתונים קרוב אליך).
  • להעביר את הקבצים
  • החל את הנתונים על השרת החדש.

אם אתה באמת אין פתרון כדי להגדיל את רוחב הפס ... ואז משלוח כונן פיזי יהיה דרך מהירה יותר.

מניסיון כואב שלי כוננים קשיחים נוטים לשבור את הדואר ... כונני הבזק מסוג USB הם פתרון טוב יותר עבור העברות נתונים תכופים. במקרה שלך זה ידרוש כמה מהם :) אז לשלוח 2 עותקים של הנתונים שלך על כוננים קשיחים מרובים.

בהתחשב בכמות הנתונים שיש לך אתה יכול גם לשלוח כוננים מתוך RAID 5 או RAID 6 מערך אם יש לך את אותה חומרה / תוכנה בצד השני כדי לחבר את הכוננים פנימה אבל במקרה זה זוכר לסמן את סדר הכוננים שלך ואת המספר הסידורי שלהם אז כאשר מחדש הם לא מתערבבים.


4
2017-10-04 00:15



מצטער, 11Mbps היה טיפוס, זה 11MB / s ... עשיתי אזכור באחת ההערות לעיל. - Paul Hinett