שאלה משהו בוער בחדר השרתים; איך אני יכול לזהות במהירות מה זה?


לפני כמה ימים, אנו מבחינים בריח שריפה נורא שיוצא מחדר השרתים. זה סיפור קצר, זה היה בסופו של דבר להיות אחד מודולים הסוללה שנשרף ביחידת UPS, אבל זה לקח כמה שעות טובות לפני שהצלחנו להבין את זה. הסיבה העיקרית הצלחנו להבין את זה היא כי להציג את UPS סוף סוף הראה כי המודול צריך להיות מוחלף.

הנה הבעיה: החדר כולו היה מלא בריח. בדיקת המריח היתה קשה מאוד, משום שהריח חדר לכל דבר (שלא לדבר על כך שעשה לנו ראש קל). אנחנו כמעט בטעות לקח את מסד הנתונים הייצור באתר שלנו למטה כי זה המקום שבו הריח היה החזק ביותר. ויטאלס נראה בסדר (טמפרטורות CPU הראה 60 מעלות צלזיוס, ומהירויות המאוורר), אבל לא היינו בטוחים. זה פשוט קרה כי מודול הסוללה שנשרף היה בערך באותו גובה כמו השרת על המדף ורק 3 מטרים משם. אם זה היה מקרה חירום אמיתי, היינו נכשלים בצורה לא נכונה.

באופן ריאליסטי, הסיכויים שחומרת השרת בפועל שורפת היא תופעה נדירה למדי, וברוב הזמן נתבונן ב- UPS את הפושע. אבל עם מספר מתלים עם כמה חתיכות של ציוד, זה יכול להפוך במהירות משחק ניחוש. כיצד ניתן לקבוע במהירות ובדייקנות איזה פריט של ציוד הוא בעצם בוער? אני מבין שאלה זו תלויה מאוד משתני הסביבה כגון גודל החדר, אוורור, מיקום, וכו ', אבל כל קלט יהיה מוערך.


448
2018-04-04 14:22




@DeerHunter טוב תודה לך שזה היה סוף היום היו מעט מאוד אנשים ב builing. תודה לך על הביקורת הקונסטרוקטיבית שלך, ואני אהיה בטוח לתת לממונה שלי לדעת מה היא חיה בסיכון בהחלטתה לשמור על המערכת. - Chad Harrison
@hydroparadise - מישהו צריך לקבל את האומץ לומר "תפסיק אנחנו לא עושים את הדבר הנכון "אם המנחה שלך לא מבין את כללי הבטיחות, אין הרבה מה לעשות, חוץ מאשר לגדול קצת עמוד השדרה ולא להשתחוות לדחף לחתוך פינות. - Deer Hunter
@ DeerHunter: מה תהיה התגובה המתאימה כאשר אתה מריח משהו בוער? אין עשן גלוי, רק ריח שרוף. האם אתה מכבה את כל מרכז הנתונים, מפרק אותו לכמה שעות, ולאחר מכן מפעיל את השרתים אחד אחד עד שהריח חוזר? שרת קטן 25 מתלה יכול להיות 1,000 שרתים לבדוק, זה הרבה זמן ההשבתה עבור "ריח" - OP לא לדווח על עשן גלוי או אש. - Johnny
@Johnny - מצטט את OP: "כל החדר היה מלא בריח, זה היה קשה מאוד, כי הריח החדיר את הכל (שלא לדבר על זה גרם לנו להיות קל ראש)" לענות על השאלה שלך - כן, אתה צריך לפרוק את החדר, ולפתור באופן שיטתי. כל דבר אחר הוא חסר אחריות. - Deer Hunter
אז, האם אלה ביקורתית על הטיפול של OP של הריח עולה כי אין הבדל דחיפות בין ריח אש / עשן? אם אתה מריח משהו בוער בבית שלך אבל לא רואה עשן ולא שומע שום אזעקה, אתה ממהר אותך ואת המשפחה שלך מהבית להתקשר 911? - trpt4him


תשובות:


הקונצנזוס הכללי נראה כי התשובה לשאלה שלך באה בשני חלקים:

כיצד אנו מוצאים את מקור הריח המבעבע?

יש לך את "איך" מסומר היטב:

  • "מבחן Sniff"
  • חפש עשן גלוי / אובך
  • ללכת לחדר עם מצלמה תרמית (IR) כדי למצוא נקודות חמות
  • בדוק לוחות ניטור ומכשירים להתראות

אתה יכול לשפר את הסיכויים שלך למצוא את הבעיה במהירות במספר דרכים - ניטור משופרת היא לעתים קרובות הקלה. כמה שאלות לשאול:

  • האם אתה מקבל טמפרטורה והתראות בריאות אחרות מהציוד שלך?
  • האם מערכות UPS שלך מדווחות על תקלות במערכת הניטור שלך?
  • האם אתה מקבל הנוכחי-אזעקות לצייר ציוד הפצה הכוח שלך?
  • האם גלאי עשן החדר מדווחים למערכת הניטור? (ו הם יכולים?)

מתי עלינו לפתור בעיות לעומת להכות את הבורר האדום הגדול?

זו שאלה מעניינת יותר.
להכות את המתג האדום הגדול יכול לעלות לחברה שלך כמות עצומה של כסף ממהר: משחרר סוכן נקי יכול להיות עשרות אלפי דולרים, ואת עלויות הפסקת / התאוששות לאחר כוח חירום (EPO, "הפלה את החדר" ) יכול להיות הרסניות.
אתה לא רוצה ירידה מרכז הנתונים, כי קבלים באספקת החשמל הקפיץ וגרם לחדר להריח.

לעומת זאת, שריפה בחדר שרת יכול לעלות לחברה שלך נתונים / ציוד, וחשוב יותר את חיי הצוות שלך.
פתרון בעיות "זה ריח מצחיק מצחיק" לא צריך להיות עדיפות על פני בטיחות, לכן חשוב שיהיו לך כללים ברורים לגבי פתרון בעיות "טרום אש".

ההנחיות הבאות הן המגבלות האישיות שלי כי אני מחיל בהעדר (או בנוסף) כל הליך אחר מוגדר היטב / הכללים - הם שירתו אותי היטב והם עשויים לעזור לך, אבל הם יכולים בקלות בקלות להרוג אותי או ירה מחר, אז ליישם אותם סיכון עצמי.

  1. אם אתה רואה עשן או אש, זרוק את החדר
    זה צריך ללכת בלי לומר אבל נניח את זה בכל מקרה: אם יש אש פעיל (או עשן המציין כי בקרוב יהיה) אתה לפנות את החדר, לחתוך את הכוח, ולפרוק את מערכת דיכוי אש.
    חריגים עשויים להתקיים (לממש קצת השכל הישר), אבל זה כמעט תמיד את הפעולה הנכונה.

  2. אם אתה ממשיך לפתור את הבעיה, תמיד יש לך לפחות אדם אחד אחר המעורב
    זאת משתי סיבות. ראשית, אתה לא רוצה להסתובב במרכז הנתונים ולפתע יש מתלה לעלות בשורה שאתה הולך למטה ואף אחד לא יודע שאתה שם. שנית, האדם השני הוא לבדוק את השפיות שלך על פתרון בעיות לעומת הטלת החדר, ואתה צריך לעשות את השיחה כדי להכות את ביג Red Switch יש לך את היתרון של צורך אדם השני concur עם ההחלטה (עוזר למנוע את הגבלת הקריירה היבטים של החלטה כזו אם מישהו שואל את זה מאוחר יותר).

  3. בצע אמצעי בטיחות זהירים בעת פתרון בעיות
    ודא תמיד יש לך נתיב בריחה (סוף פתוח של שורה נתיב ברור ליציאה).
    שמור על מישהו המוצב על שחרור EPO / אש דיכוי.
    לשאת מטף עם אתה (Halon או אחר נקי, סוכן, בבקשה).
    זכור כלל מס '1 לעיל.
    במקרה של ספק, עזוב את החדר. שמור על הנשימה שלך: להשתמש במכונת הנשמה או מסכת חמצן. זה עשוי להציל את הבריאות במקרה של אש כימית.

  4. הגדר גבול ודבק בו
    ליתר דיוק, בחר שתיים מגבלות you

    • תנאי ("כמה יותר גרוע אני אתן לזה?"), ו
    • זמן ("כמה זמן עוד אנסה למצוא את הבעיה לפני שהיא מסוכנת מדי?").

    המגבלות שתגדיר יכולות לשמש גם כדי לאפשר לצוות שלך להתחיל כיבוי מסודר של האזור המושפע, כך שכאשר אתה DO למשוך כוח אתה לא מתרסק חבורה של מכונות פעיל, וזמן ההתאוששות שלך יהיה הרבה יותר קצר, אבל זכור שאם כיבוי מסודר לוקח זמן רב מדי ייתכן שיהיה עליך לתת כמה מערכות לקרוס בשם הבטיחות.

  5. תסמוך על תחושת הבטן שלך
    אם אתה מודאג לגבי בטיחות בכל עת, פנה לפתרון בעיות ונקה את החדר.
    אתה יכול או לא יכול להוריד את החדר על בסיס תחושת בטן, אבל התארגנות מחוץ לחדר בטיחות (יחסית) הוא זהיר.

אם אין סכנה ממשית אתה יכול לבחור להביא את האש המקומית לפני נקיטת כל פעולות דרסטי כמו EPO או שחרור סוכן נקי. (הם עשויים לומר לך לעשות זאת בכל מקרה: המנדט שלהם הוא להגן על אנשים, אז רכוש, אבל הם ללא ספק המומחים להתמודד עם שריפות אז אתה צריך לעשות את מה שהם אומרים!)

התייחסנו לכך ב הערות, אבל זה יכול גם להסתכם בתשובה מדי - @ DeerHunter, @Chris, @ סירקס, ועוד רבים תרמו לדיון


380
2018-04-04 14:29



האוניברסיטה הלכתי להתקין מרכז נתונים חדש. הם יישמו מערכת EPO מתוחכמת / דיכוי אש. הציוד שבו הוא מגן היה במיליוני דולרים והוא שימש גם למיליוני דולרים של מחקר עבור החלק הרפואי של בית הספר. ברור אם זה היה נחוץ הכפתור האדום ייפגע אבל, זה נאמר אם הכפתור האדום היה פגע, רק איפוס זה היה קרוב $ 200,000 דולר ארה"ב. משלם מס דולר אתה יכול להיות בטוח כי אם הבורר היה מכה כאשר זה לא היה צריך את הבחור אשר פגע זה כבר לא צריך עבודה. - Ryan
+1 עבור מערכת החברים. אני חושב שזה קצת משוגע שיש DCs שם כי להשתמש EPO גם לזרוק דיכוי אש גם כן. יש הרבה מצבים שבהם אתה רוצה EPO מבלי לרצות הלוטון לזרוק את כל הבחור מקבל electrocuted. EPO הוא עסק רציני, אבל הוא לא "להרוס הכל בעסקה די די" או לפחות לא צריך להיות. החבר 'ה ב DC צריך לקוות להבין את הכפתור האדום הגדול ואת מערכת דיכוי אש מספיק טוב כדי לשקול את ההשפעה של להכות את הכפתור. EPO יכול למעשה תפסיק אש להציל את DC, למשל. - chris
הערה חשובה שלא ראיתי היא כי רוב הזמן כאשר משהו נכשל כדי לתת ריח שריפה, מה יהיה בוער יהיה לכבות את עצמו לפני הריח הוא זוהה ובלי לשרוף דבר מחוץ לציוד הכושל. לפעמים פיסת ציוד תמשיך להבריח כל עוד יש לה כוח, אבל אם רואים עשן זה צריך להיות אפשרי לזהות את הציוד, לחתוך את הכוח רק כדי לראות את זה, ולראות אם העשן בקרוב מתבהר או הולך ומחמיר. - supercat
@ryan: אם להכות את הכפתור האדום הגדול עולה כל כך הרבה משלם המסים דולר, האדם האחראי יש בתקווה עבד תוכנית לפתרון אירועים קלים עם האש המקומית המחלקה אינה כרוכה בסיכון עובדים. - Christoph
@ryan זה מזכיר לי דו"ח טלוויזיה על CERN שראיתי לאחרונה: צוות המצלמה וכתב נלקחו באמת את האומץ של המערכת, ו רגע אחד של החבר 'ה מצלמה כמעט דחף כפתור חירום אדום עם התרמיל שלו - נותן ליד התקפות לב הבחור צוות לחשוב על עלויות אתחול ... - Hagen von Eitzen


מצלמה תרמית הדמיה יכול לעשות את העבודה, ולתת לך לזהות היכן התחממות יתר. מכשיר כזה יאפשר לך לזהות גם את מקור האש או צריבה בחדר מלא עשן.


182
2018-04-05 04:59



מצלמות תרמיות ללכת תחת גרנד בימינו, ואם אתה מפעיל חדר שרת גדול הם כלי שווה להיות. - rackandboneman
A T.I.C. הוא לא כל כך יקר והוא מאוד שימושי במרכז הנתונים או שרת גדול. לא רק במקרה של בעיות כמו כבלים או ציוד יתר על המידה, אלא גם מניעה או גילוי מוקדם של הבעיה, אופטימיזציה קירור, זרימת אוויר, וכו ' - ddalcero
אקדח טמפרטורה לייזר, כמו זה אחד, הוא חלופה זולה - MichaelHouse
@mfinni חשמלאים גם לעתים קרובות יש מצלמות תרמיות. (בדיקת הדמיה תרמית של לוחות חלוקת החשמל שלנו מדי שנה, או לאחר כל עבודה חיווט גדול, היה סטנדרטי כאשר עבדתי בחברת אירוח). - voretaq7
מצלמה תרמית יש מגבלות גדולות מאוד: 1. שדה הראייה עשוי למנוע את השימוש 2. הסביבה שלך עשוי להיות צפוף מאוד. [שריפות גדולות יהיו מנוקדות אבל לא קטנות]] 3. ממוצעים של טמפרטורות יהיה צורך לקבוע סף - monksy


אתה לא עושה את כל הדברים האלה שנאמרו. אתה משאיר את הסביבה מסוכנת כי מה הוא נשאב דרך החדר כולו מסוכן לבריאות שלך יכול באמת לבלגן את הריאות שלך. אם יש ריח חריף של משהו בוער בחדר, כי אתה לא יכול למצוא, להתקשר למספר החירום מתאים לתחום השיפוט שלך) ולתת את האש (החברה | מחלקת | חטיבה) למיין את זה בזמן שהם על אוויר בבקבוק.

חלקי מחשב מכילים כל מיני כימיקלים מעניינים כולל כספית, קדמיום, להוביל, והרבה פלסטיק תרמילים. שימו לב שכל הקישורים שביצעתי מסבירים כיצד חשיפות ברמה נמוכה יכולות לגרום לנזק מתמשך או אפילו למוות מהיר. זוהי סביבה שיכולה להיות מסוכן מיד לחיים ולבריאות.

... אז באמת, אם משהו בוער, לא לבזבז שעות לרחרח את האדים. אם אתה לא יכול לזהות אותו ומיד לפעול כדי להכיל אותו, לצאת.


137
2018-04-04 14:27



יש להוסיף כי אם זה קרה במרכז הנתונים "אמיתי" עם גלאי עשן משולב עם מיזוג אוויר ומערכת כיבוי מותקן, אזעקות אש היה הולך והחדר יהיה אטום מוצף ארגון או CO2 באופן אוטומטי, כך לא היה אפשר אפילו לחשוב על ריצה וריחוף ציוד. - the-wabbit
@ syneticon-dj זה תלוי הקלד של גלאים מותקנים. גלאי Ionization אולי מעדו את דיכוי האש, אבל אני עובד (וגם כרגע מארח ציוד) במקומות שיש להם גלאי עשן אופטיים - אלה דורשים עשן גלוי (או לפחות ערפל טוב) לפני הנסיעה. - voretaq7
הלוואי שיכולתי להעדיף את זה יותר. על הסיכון להיות שנוי במחלוקת, 'לקבל מקצועי "כבאי היא הדרך היחידה קדימה. - Iain
כן, בתור כבאי לשעבר, לא הייתי נשאר שם בלי הציוד שלי. גם כאשר שריפה היא בחוץ, אנחנו מאומנים להישאר ארוז בגלל גזים רעילים. אם הייתי קורא את היתרונות, אתה צריך גם! - Jeff Ferland
@ מייקל את העיצובים שראיתי לא להסתמך על תקרה גלאי עשן אבל היו גלאים פואלקטריים בתזרים האוויר לחזור. הפעם היחידה שראיתי את ההדק היה במהלך שגרת בדיקות שבו מערכת argonite כבר מנותק ומקור עשן הוצב באחד הארונות. זה עבד כמו שהייתי מצפה שזה יעבוד. למרבה המזל, מעולם לא הייתי צריך להתמודד עם שריפות אמיתיות. - the-wabbit


אם היה לך ניטור תקין על UPS (בדרך כלל באמצעות SNMP), היחידה עצמה צריך צלצולים הפעמונים על מערכת הניטור שלך. אם זה לא, לדבר עם הספק שלך על זה. זה גם תקלה או מערכת הניטור שלך אינו מוגדר כראוי.

אם משהו פעיל הוא בעצם בוער, זה צריך להיות מתלונן על זה בדרך כלשהי, או פשוט להיות מחוץ לרשת, אשר אמור גם לגרום אזעקה.

אם זה משהו כמו רכבת כוח בפועל מבער באמצעות בידוד, וזה לא על PDU חכם, ואז אנחנו בחזרה לשאלה המקורית שלך, שהיא "איך אני מוצא שריפת דבר?" ואני חושב שהתשובה הנכונה היא "תכה את ה- EPO ותבין את זה, שרתי הייצור שלך כנראה לא חשובים מספיק כדי להסתכן בחייהם".


76
2018-04-05 10:49



מה המשמעות של EPO? - Midhat
כוח חירום כבוי ... כפתור אדום גדול כי חותך את כל הכוח לחדר. בעיקר כאשר שלה על האש. - Grant
סימון +1, הייתם מצביעים על +1,000. לחץ על הכפתור, לפנות, לחכות, לסדר את הדברים מאוחר יותר. לעשות עסקים כרגיל עם אש ועשן נוכח (ולנסות לפתור כל דבר) הוא אחד הטעויות הגרוע ביותר מהנדס יכול לעשות. - Deer Hunter
@chris אני חייב לחלוק על "EPO, לעזוב, לחכות" - הפעלת EPO ו / או שחרור סוכן נקי עבור חדר מלא של ציוד הייצור יכול לעתים קרובות להיות מה שאנחנו אוהבים לקרוא קריירה להגביל לזוז. אם אין פעיל, גלוי אש או שובל של עשן מגיע כמה ציוד ביצוע חקירה ראשונית כלשהי היא בדרך כלל הדבר הנכון. כמובן שאתה בהחלט צריך להיות מוכן לברוח מהחדר תוך להכות את הכפתורים האדומים המתאימים בכל נקודה בחקירה שלך. - voretaq7
זה כנראה אפילו מערכת ניטור מושלמת לא היה תפס את זה עד אותו הרגע פאנל UPS אמר "החלף מודול" - כי נאמר שאתה בהחלט רוצה מערכת הניטור שלך להביא דברים כאלה לידיעתך. בפעם הבאה מודול עלול להיכשל בשעה 19:30 ביום שישי, כאשר אף אחד לא בסביבה, ואת התראה ניטור יביא לך לחזור ולטפל בבעיה לפני שהיא מתפתחת לתוך חירום מלא. אם אתה יכול לקשור את המעקב לתוך FACP עשן שלך ו / או חיישני חום עשוי אפילו להזהיר אותך על בידוד שריפה את מסילות החשמל וכדומה. - voretaq7


זהו אחד מאותם מצבים שבהם

XKCD Die Hard sysadmin

אינו חל, אתה צריך להתקשר מקצועי

Firefighter in protective gear

כל דבר אחר הוא פשוט טיפש.


43
2018-04-05 12:50



זה בבירור את התשובה הטובה ביותר. :) - Citizen
@Navin לא אתה לא החבר'ה של מכבי האש עושים את זה. - Iain


כמישהו שהקריירה הקודמת שלו הייתה כטכנולוגיה אלקטרונית, יש לי ניסיון עם "שריפות בוערות" שלא היו שריפות. זה לא נדיר.

לא הייתי סוגר מרכז נתונים לריח. עשן הוא עניין אחר, משהו באמת בוער (בדרך כלל, אבל קערה טנטלום בגודל אפונה יכול למלא חדר עם עשן מדי). זה מדהים כמה ריח מרכיב מטוגן באספקת החשמל יכול לעשות.

A TIC או מדחום IR (כלי שימושי הרבה יותר זול מאשר TIC) לא בהכרח להראות את זה כמו הרכיב אינו מייצר הרבה חום בכלל וזה בתוך מקרה. אבל לבדוק התקנים לא עובד, להשתמש לך כלי ניטור. עבור ריח כזה אז 95% מהזמן זה יהיה אספקת החשמל המשפיעים על הביצועים של המכשיר כולו.


40



+1, ספקי כוח מנופחת נפוצים. ברוב מרכזי הנתונים עם שיעורי זרימת אוויר גבוהים העשן מתפוצץ במהירות וקשה לאתר את מקור הריח. בחדר קטן עם זאת, הריח יכול להיות די רע, והוא יכול להתפשט במהירות לאורך כל החדר. - Stefan Lasiewski


אני אוהב את הדמיה IR או תשובות מדחום אבל אולי מה גם יעזור הוא אמיתי "גלאי ריח". אחרי כל מה שהפעיל את הזהירות שלך היה הריח. עשן, חום, IR וכו 'הם כל תחליפים.

משהו כמו זה: from Shinyei . אני אישית אף פעם לא השתמשתי בהם או אפילו ראיתי אותם בשימוש במרכז הנתונים. אבל לפחות מבחינה תיאורטית זה צריך להיות כלי מסודר. אם יש לך את הכסף להוציא על זה האביזר כי.

http://www.sca-shinyei.com/odormeter או http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

זה נותן לך ריח ריח, כמו גם סיווג. אז התבגרות על הריח צריך להיות אפשרי. השטן של הפרטים כמובן. כמה זה רגיש, מסווה את ריח רקע מזויף וכו '

יתרון אחד על פני מדידות המבוססות על טמפרטורה טהורה הוא שלעתים קרובות ריח מתרחש בנקודה או בסף מוקדם בהרבה. או אם הרכיב יתר על המידה מוסתר על ידי גוף / חיווט מוסתר וכו 'קל יותר לזהות מולקולות בורח מאשר נקודה חמה של נקודת הראייה.

מצב נוסף הוא ריח שאינו קשור בחום. היה לנו דליפת מעגל לפני כן, והריחות הקירור היו מוזרים. אני אפילו לא אכנס למקרה העתיק של מת מכרסמים בצינורות. :)

הופתעתי עד כמה חיישנים אלה רגישים. Apparantly H2S / mercaptans וכו '(culprits הרגיל) הם לזיהוי ברמות ppm משנה.

enter image description here


19