שאלה כיצד אוכל לדרג את הסריקה של Google לחסום ה- IP שלי?


יש לי כמה אתרים ב /24 כי כל רשת זוחלים על ידי גוגל על ​​בסיס קבוע למדי. בדרך כלל זה בסדר. עם זאת, כאשר גוגל מתחיל לסרוק את כל האתרים בו זמנית, קבוצה קטנה של שרתים כי חזרה זה לחסום IP יכול לקחת להיט גדול למדי על עומס.

עם כלי מנהלי האתרים של Google, אתה יכול לדרג את מגבלת googlebot על תחום נתון, אבל לא מצאתי דרך להגביל את הרובוט על פני רשת ה- IP עדיין. למישהו יש ניסיון עם זה? איך לתקן את זה?


7
2018-04-02 22:32






תשובות:


אם אתה מפעיל BGP אתה יכול פשוט להגביל את AS15169 (AS-GOOGLE), אבל עושה את זה ביד סביר להניח להיות יותר מדי נוטה שגיאה.


1
2018-04-04 13:07





מצאתי הערות אלה מעניין להמשיך

  1. קבל את עצמך robots.txt חכם ואחר robots.txt שם
  2. פוסט ב הסוד הקטן והמלוכלך של Google על ידי מישהו מוטרד עם הרובוטים של Google
  3. סורקי אינטרנט של Google

3
2018-04-03 02:43





אתה יכול ללכת ל- Google וליצור חשבון עם כלי למנהלי אתרים ולאחר מכן תוכל לשלוט בסריקה ציון עבור כל אתר. עבור אל תצורת אתר :: הגדרות :: קצב סריקה. זה לא יאפשר לך לתזמן את האתרים שלך בסדר מסוים אני לא מאמין, אבל אתה יכול לפחות להאט אותו עבור כולם.


3
2018-04-04 13:46





לא, לא רואבל. אתה צריך לשים את זה לתוך robots.txt בכל אתר. גוגל, בצדק - אין צורך עבור "כתובת IP הבעלים" אז להגיד. כל שליטה מגיע robots.txt באתרי אינטרנט.


-3
2018-04-03 06:12