איך להכין קובץ Robots.txt ומפת אתר?

קובץ Robots.txt ומפת האתר הם שני קבצים טכניים בסיסיים לקידום אתרים (SEO) שמנחים כיצד מנועי החיפוש יסרקו את האתר שלכם ואילו דפים ייחשפו. Robots.txt אומר לבוטים כמו Googlebot אילו אזורים מותר להם לגשת אליהם; מפת האתר (sitemap) מעדכנת את מנועי החיפוש לגבי כתובות ה-URL החשובות, תאריכי עדכון ומבנה הדפים. בקצרה: Robots.txt מנחה את הסריקה, ומפת האתר מאיצה את הגילוי. קובץ Robots.txt ומפת אתר שהוכנו כראוי יכולים לשפר משמעותית את יעילות האינדוקס, במיוחד באתרים חדשים, בפרויקטים מסחריים, באתרים ארגוניים ובארכיונים גדולים של תוכן.

במדריך זה נפרט שלב אחר שלב כיצד להכין קובץ Robots.txt ומפת אתר, אילו כללים יש להשתמש, מה יש לשים לב לאתרים ב-WordPress ובאתרי תוכנה מותאמת אישית, כיצד לבדוק טעויות ואיך לשלוח את הקבצים לגוגל. התוכן שנכתב עבור בלוג Hostragons מותאם לסטנדרטים של SEO לשנת 2026; הוא ממוקד בכוונת המשתמש, דיוק טכני, תקציב סריקה, אפשרות לאינדוקס ויישום מעשי.

מהו Robots.txt?

קובץ Robots.txt הוא קובץ טקסט פשוט הממוקם בתיקיית השורש של האתר שלכם. בדרך כלל ניתן לגשת אליו בכתובת https://yourdomain.com/robots.txt. קובץ זה מספק הנחיות לבוטים של מנועי החיפוש לגבי אילו תיקיות או דפים ניתן לסרוק, ואילו יש לחסום. הנקודה הקריטית כאן היא: Robots.txt אינו כלי אבטחה. זהו רק הנחיה לבוטים עם כוונה טובה.

למשל, ניתן לחסום את סריקת דפי לוח הבקרה, צעדים בעגלת הקניות, פרמטרי סינון, דפי תוצאות חיפוש או תיקיות בדיקה. עם זאת, מידע רגיש לא ניתן להגן עליו באמצעות Robots.txt. שכן הקובץ גלוי לכולם. כדי להשיג אבטחה אמיתית נדרשת הגנה באמצעות סיסמה, הגבלות גישה בצד השרת, תצורת אירוח מאובטחת ושימוש ב-SSL. בשלב זה, עבור אבטחת האתר שלכם, אתם יכולים לשקול את הפתרונות של תעודת SSL ולביצועים טובים יותר את אירוח אתרים.

מה עושה קובץ Robots.txt?

• מנחה את התנהגות הסריקה של בוטי מנועי החיפוש.
• מפחית את הסריקה של דפים חסרי ערך או כפולים.
• מסייע בהקצאת תקציב הסריקה לדפים החשובים.
• מעדכן את הבוטים לגבי מיקום קובץ מפת האתר.
• יכול לחסום סריקה של תחומים כמו בדיקות, לוחות בקרה, חיפוש פנימי וכתובות URL עם פרמטרים.

במיוחד באתרים עם אלפי מוצרים, קטגוריות, תגיות או דפי סינון, אם קובץ Robots.txt לא מוגדר כראוי, גוגל עלולה לגלות דפים חשובים באיחור. מצד שני, אם משתמשים בקובץ מגביל מדי, ניתן לחסום CSS, JavaScript, קבצים ויזואליים או דפי קטגוריות ולפגוע בביצועי הדירוג.

מהי מפת אתר?

מפת אתר, או Sitemap, היא קובץ בפורמט XML שמפרט את כתובות ה-URL החשובות באתר שלכם למנועי החיפוש. בדרך כלל ניתן למצוא אותה בכתובת https://yourdomain.com/sitemap.xml. מפת אתר משדרת למנועי החיפוש את המסר הבא: דפים אלו חשובים לי, בבקשה גלו אותם והכללו בתהליך האינדוקס.

במפת אתר ניתן למצוא מידע כמו כתובת URL, תאריך עדכון אחרון, תדירות שינוי וחשיבות. בגישת ה-SEO של 2026, תאריך העדכון האחרון יהיה משמעותי יותר. שכן מנועי החיפוש מעדיפים לגלות תוכן עדכני ואיכותי ביעילות רבה יותר. עם זאת, מפת אתר לבדה לא מבטיחה אינדוקס. הימצאות של URL במפת האתר לא אומרת שהדף יופיע בגוגל. הדף חייב להיות איכותי, נגיש, ניתן לאינדוקס, נכון קנונית ומתאים לכוונת המשתמש.

מתי נדרשת מפת אתר?

• אם יש לכם אתר חדש.
• אם יש לכם מספר רב של דפים, מוצרים או תוכן בבלוג.
• אם הקישור הפנימי באתר חלש.
• אם יש לכם תוכן ויזואלי, וידאו או חדשות מרובות.
• אם אתם מבצעים עדכוני מוצרים תכופים באתר המסחרי שלכם.
• אם אתם מעדכנים תוכן ישן באופן קבוע.

גם באתר קטן עם מבנה קישורים פנימיים מסודר, השימוש במפת אתר הוא רעיון טוב. משום שמפת האתר מציעה רשימה ברורה של כתובות URL למנועי החיפוש ומפחיתה את העיכובים האפשריים בגילוי.

ההבדלים בין Robots.txt ומפת אתר

למרות שקובץ Robots.txt ומפת האתר פועלים יחד, התפקידים שלהם שונים. Robots.txt מתרכז יותר בהענקת רשות לסריקה ובבקרה, בעוד שמפת האתר מפרטת את כתובות ה-URL שתרצו שיגלו. הטבלה הבאה מסכמת את ההבדלים הבסיסיים.

כיצד להכין קובץ Robots.txt?

הכנת קובץ Robots.txt היא טכנית פשוטה; אך היא דורשת תשומת לב מנקודת מבט של SEO. שם הקובץ צריך להיות באותיות קטנות robots.txt ויש להעלות אותו לתיקיית השורש של האתר. כלומר הכתובת הנכונה היא https://yourdomain.com/robots.txt. קובץ Robots.txt המועלה לתיקיית משנה לא יחשב תקף.

1. צרו את מבנה Robots.txt הבסיסי

המבנה הפשוט ביותר נותן רשות לכל הבוטים לסרוק את האתר ומעדכן לגבי מיקום מפת האתר:

• User-agent: *
• Allow: /
• Sitemap: https://yourdomain.com/sitemap.xml

כאן User-agent: * מתייחס לכל הבוטים. Allow: / מתיר סריקה של כל האתר. שורת Sitemap מעדכנת לגבי מיקום מפת האתר. עבור אתר חדש שתרצו לאנדקס, מבנה זה הוא בדרך כלל התחלה בטוחה.

2. קבעו אילו תחומים לא תרצו לסרוק

לא כל דף חייב להיסרק. במיוחד דפים אישיים, זמניים, כפולים או בעלי ערך SEO נמוך יכולים להיחסם באמצעות Robots.txt. לדוגמה:

• Disallow: /wp-admin/
• Disallow: /cart/
• Disallow: /payment/
• Disallow: /search/
• Disallow: /test/

באמצעות אתרי WordPress, חסימת תיקיית /wp-admin/ מסריקה היא דבר שכיח. עם זאת, כמה קבצי AJAX של WordPress זקוקים להרשאה לקובץ /wp-admin/admin-ajax.php. לכן, דוגמת מבנה עבור WordPress יכולה להיות כך:

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php
• Sitemap: https://yourdomain.com/sitemap.xml

בדוגמה זו, לוח הבקרה חסום לסריקה, בעוד שמאפשרים פעולות AJAX הנדרשות על ידי התבנית וההוספות. כדי להפעיל את אתר ה-WordPress שלכם במהירות וביציבות, אתם יכולים לבדוק את שירותי אירוח וורדפרס.

3. בדקו פרמטרים ומסננים באתרים מסחריים

באינטרנט המסחרי, מסננים, מיון, צבעים, גדלים, טווחי מחירים, מצב מלאי ופרמטרי חיפוש יכולים לייצר כמות רבה של כתובות URL. לדוגמה, אותה קטגוריה יכולה להתרבות עם וריאציות כמו: /shoe?color=black, /shoe?size=42, /shoe?sort=price_asc. אם המבנה הזה לא יתבצע נכון, בוטי גוגל עשויים לסרוק אלפי דפים עם פרמטרים בעלי ערך נמוך.

בתחומים כאלה, יש לשקול את Robots.txt, תוויות קנוניות ודוחות של Google Search Console יחד. חסימה של כל פרמטר באמצעות Robots.txt לא תמיד תהיה הפתרון הנכון. כי כמה דפי מסנן עשויים לשאת כוונה מסחרית. למשל, אם קטגוריה של נעלי ספורט לגברים צבע שחור נושאת ערך SEO, יש לתכנן דף קטגוריה נפרד שניתן לאנדקס.

4. אל תחסמו קבצי CSS ו-JavaScript

ב-SEO מודרני, גוגל מעריכה דפים לא רק כ-HTML אלא גם כגרסה שהופקה. לכן, חסימת קבצי CSS ו-JavaScript עשויה להקשות על גוגל להבין את מבנה הדף, התאמתו לנייד, תפריטים או את מבנה טעינת התוכן. כללים רחבים כמו Disallow: /assets/ או Disallow: /js/ שהיו בשימוש בעבר, כיום הם מסוכנים.

הגישה הבטוחה לשנת 2026 היא: קבצים של CSS, JS, תמונות ופונטים המהווים חלק מחוויית המשתמש צריכים להיות פתוחים לבוטים. רק תחומים ניהוליים, זמניים או מיוחדים שאין צורך בסריקתם צריכים להיות מוגבלים.

5. בדקו את קובץ Robots.txt

לאחר שהעליתם את הקובץ, כדאי לבדוק אותו. דברים שצריך לבדוק:

• האם הכתובת https://yourdomain.com/robots.txt פועלת עם קוד מצב 200?
• האם הקובץ ריק, שגוי או שייך לשם דומיין לא נכון?
• האם שורת Sitemap מציגה את ה-URL הנכון?
• האם דפים חשובים כמו קטגוריות, מוצרים, שירותים ופוסטים בבלוג חסומים?
• האם קבצי CSS, JS ומשאבים ויזואליים חסומים בטעות?

באמצעות כלי בדיקת ה-URL ב-Google Search Console, תוכלו לבדוק אם דפים חשובים ניתנים לסריקה. ניתוח יומני השרת לגבי אילו כתובות URL ביקרו בוטי גוגל הוא גם שיטה מתקדמת אך יקרת ערך. ניתן לשקול אפשרויות כמו VPS או אירוח ארגוני כדי להשיג ביצועי שרת חזקים ותצורה נכונה.

כיצד להכין מפת אתר?

בעת הכנת מפת אתר, המטרה היא להגיש למנועי החיפוש רשימה נקייה של כתובות ה-URL שאיכותן גבוהה ורצויות לאינדוקס. לא כל URL חייב להיות במפת האתר. אפילו הוספת דפים עם תווית noindex, דפים מנותבים, דפי שגיאה או דפים כפולים למפת האתר עשויה לשלוח סיגנל שלילי מבחינת SEO.

1. הוסיפו רק כתובות URL שניתן לאנדקס

הדפים שתוסיפו למפת האתר צריכים לעמוד בקריטריונים הבאים:

• להחזיר קוד מצב 200.
• לא לכלול תווית noindex.
• לא להיות חסומים על ידי Robots.txt.
• התווית הקנונית צריכה להצביע על עצמה או על היעד הנכון.
• להכיל תוכן ייחודי שמספק ערך למשתמש.
• להיות מותאמים לנייד ולהיטען במהירות.

למשל, דפי מוצרים שנמחקו, מוצרים שאינם במלאי ומוצרים שהוסרו לצמיתות, דפי תוצאות חיפוש פנימיות, דפי עגלת קניות ודפי תשלום לא צריכים להיות במפת האתר. לעומת זאת, דפי קטגוריות ראשיים, קטגוריות משנה חשובות, דפי שירותים, פוסטים בבלוג ומוצרים פעילים צריכים להיות כלולים במפת האתר.

2. השתמשו בפורמט XML הנכון למפת האתר

מבנה פשוט של מפת אתר XML נבנה לפי ההיגיון הבא:

• <urlset> הוא הקונטיינר הראשי.
• <url> הוא בלוק נפרד עבור כל דף.
• <loc> כולל את ה-URL המלא של הדף.
• <lastmod> מציין את תאריך העדכון האחרון של הדף.

דוגמת רשומת URL עשויה להיות כך: <loc>https://yourdomain.com/services/</loc> ו-<lastmod>2026-01-15</lastmod>. כאן מומלץ שהתאריך יהיה בפורמט שנה-חודש-יום. חשוב לעדכן את שדה lastmod אוטומטית ובצורה נכונה. עדכון תאריך לכל ה-URLs רק כדי לעורר את גוגל אינו שימושי.

3. חלקו את מפת האתר לאתרים גדולים

קובץ מפת אתר XML סטנדרטי יכול להכיל עד 50,000 כתובות URL ועליו לא לחרוג מגודל של 50 MB בגרסה לא דחוסה. באתרים גדולים, שימוש במפת אינדקס במקום במפת אתר אחת הוא רעיון טוב יותר. לדוגמה:

• /post-sitemap.xml
• /page-sitemap.xml
• /product-sitemap.xml
• /category-sitemap.xml
• /image-sitemap.xml

מבנה זה מאפשר למנועי החיפוש לעבד את הקבצים ביעילות רבה יותר ומקל על ניתוח בעיות אינדוקס הקשורות לסוגי תוכן שונים. לדוגמה, אם מתוך 20,000 כתובות URL במפת האתר של המוצרים, רק 8,000 אינדקסים, יש לבדוק תיאורי מוצרים, מצב מלאי, תוכן כפול, מהירות הדף או מבנה הסינון.

4. יצירת מפת אתר ב-WordPress

בגרסאות WordPress 5.5 ומעלה קיימת תכונת XML Sitemap מובנת. כברירת מחדל ניתן לגשת אליה בכתובת /wp-sitemap.xml. עם זאת, בפרויקטים מקצועיים רבים, תוספי SEO כמו Rank Math, Yoast SEO או דומים מציעים שליטה מתקדמת יותר על מפת האתר. עם תוספים אלו ניתן לקבוע אילו סוגי תוכן ייכללו במפת האתר, האם יראו ארכיוני תגיות ואיך לנהל את ארכיוני המחברים.

שגיאה נפוצה באתרי WordPress היא הוספת דפי תגיות עם ערך נמוך למפת האתר. אם לדפי התגיות אין תיאור ייחודי, קישור פנימי חזק או ביקוש חיפוש אמיתי, יהיה נכון להשאיר אותם מחוץ למפת האתר. כדי לחזק את אסטרטגיית התוכן שלכם, תוכלו גם לקשר לנושא של איך לכתוב פוסט בלוג מותאם SEO.

5. הקימו אוטומציה למפת אתר באתרים עם תוכנה מותאמת

באמצעות אתרים עם תוכנה מותאמת, ניתן להכין מפת אתר באופן ידני; אך בפרויקטים דינמיים, יש צורך ביצור אוטומטי. כאשר מתווסף מוצר, פוסט בבלוג מתפרסם, או דף שירות מעודכן, יש לעדכן גם את מפת האתר אוטומטית. מומלץ שהצוות המפתח ייישם את הכללים הבאים:

• דפים פעילים יתווספו אוטומטית למפת האתר.
• כתובות URL שנמחקו או מחזירות 404 יוסרו ממפת האתר.
• דפים עם תווית noindex לא ייכללו במפת האתר.
• דפים עם יעד קנוני שונה ינוהלו בזהירות.
• שדה lastmod יתעדכן רק כאשר התוכן משתנה בפועל.

אוטומציה זו חיונית במיוחד עבור פרויקטים חדשות, מודעות, הזמנות, חינוך ואינטרנט מסחרי לשמירה על בריאות SEO טכנית.

כיצד לציין מפת אתר בתוך Robots.txt?

הוספת כתובת מפת האתר בתחתית קובץ Robots.txt היא נוהל טוב. כך הבוטים יכולים למצוא את מפת האתר שלכם בקלות. דוגמת שימוש:

• User-agent: *
• Allow: /
• Sitemap: https://yourdomain.com/sitemap.xml

אם יש לכם מספר קבצי Sitemap, ניתן לציין כל אחד מהם בשורה נפרדת:

• Sitemap: https://yourdomain.com/post-sitemap.xml
• Sitemap: https://yourdomain.com/product-sitemap.xml
• Sitemap: https://yourdomain.com/category-sitemap.xml

אם אתם משתמשים ב-HTTPS בדומיין שלכם, גם כתובות ה-URL של מפת האתר צריכות להיות ב-HTTPS. יש להימנע מבלבול בין גרסאות HTTP, www ולא-www. לכן, חשוב לתכנן נכון את הדומיין, ה-SSL ומבנה ההפניה מההתחלה. אם אתם מתחילים פרויקט חדש, יש לקחת בחשבון את בדיקת דומיין ואת תעודת SSL כחלק מתוכנית SEO הטכנית שלכם.

שליחת מפת אתר ל-Google Search Console

לאחר שיצרתם מפת אתר, יש לשלוח אותה דרך Google Search Console. הצעדים הם:

• היכנסו ל-Google Search Console.
• בחרו את הנכס הנכון. רצוי להשתמש בנכס דומיין.
• עברו לתפריט השמאלי לחלק של מפת האתר.
• כתבו את כתובת ה-URL של מפת האתר. לדוגמה sitemap.xml.
• לחצו על כפתור שליחה.
• בדקו את מצב הנכס ווידאו שהמידע נשלח בהצלחה וכמה כתובות URL גוללו.

לאחר שליחת מפת האתר, אל תצפו שהדפים ייכנסו לאינדוקס מיד. גוגל קודם כל מגלה את ה-URLs, סורקת, מעבדת ומחליטה אם לאנדקס את הדפים או לא בהתאם לסיגנלים של איכות. באתרים חדשים תהליך זה יכול להימשך מב几个 ימים עד כמה שבועות. קישור פנימי חזק, תוכן איכותי ותגובה מהירה של השרת משפיעים על התהליך באופן חיובי.

שגיאות נפוצות בקובץ Robots.txt ומפת אתר

1. חסימה שגויה של כל האתר

השגיאה הקריטית ביותר היא השארת הכלל Disallow: / באתר החי. כלל זה חוסם את הסריקה של כל האתר. אם הגדרה זו שימשה בסביבת הפיתוח ולא הוסרה בעת המעבר לחיים, גוגל לא תוכל לסרוק את הדפים החדשים. רשימת הביקורת למעבר לחיים צריכה לכלול את Robots.txt.

2. הוספת דפים עם תווית Noindex למפת האתר

הוספת דף עם תווית noindex למפת האתר יוצרת סיגנל סותר. מפת האתר טוענת שהדף חשוב, בעוד שהתווית noindex אומרת שהדף לא צריך להיות באינדוקס. לכן, מפת האתר צריכה לכלול רק את ה-URLs שתרצו לאנדקס.

3. שמירת URLs עם קוד 301, 404 או 500 במפת האתר

ה-URLs במפת האתר צריכים להחזיר קוד מצב 200. URLs מנותבים, שאינם נמצאים או שמחזירים שגיאות שרת צריכים להימחק ממפת האתר באופן קבוע. ביצוע סריקות טכניות חודשיות יכול להקדים את זיהוי השגיאות הללו.

4. שימוש בשמות דומיין או פרוטוקול שגויים

אם אתם משתמשים בכתובת https://www.yourdomain.com, ה-URLs במפת האתר צריכים להיות באותו פורמט. גרסאות פרוטוקול או דומיין שונות יכולות להקשות על גוגל לאחד את הסיגנלים. לכן, ה-Canonical, מפת האתר, Robots.txt ומבנה ההפניה צריכים לציין את אותה פורמט URL ראשי.

5. שליחה מיותרת של URLs

מפת האתר אינה פח אשפה. במקום לכלול כל URL, הוסיפו רק את הדפים האיכותיים שתרצו לאנדקס. השארת דפים באיכות נמוכה, כפולים או חלשים מחוץ למפת האתר שולחת סיגנל ברור יותר למנועי החיפוש.

רשימת בדיקה ל-SEO טכני לשנת 2026

בעת הכנת קובץ Robots.txt ומפת אתר, תוכלו להשתמש ברשימת הבדיקה הבאה:

• האם Robots.txt נמצא בתיקיית השורש ונגיש?
• האם כתובת מפת האתר מצוינת נכון ב-Robots.txt?
• האם דפים חשובים לא חסומים על ידי Robots.txt?
• האם ניתן לסרוק קבצי CSS, JavaScript ומשאבים ויזואליים?
• האם מפת האתר כוללת רק כתובות URL שניתן לאנדקס עם קוד מצב 200?
• האם דפי noindex מחוץ למפת האתר?
• האם תאריכי lastmod משקפים עדכונים אמיתיים?
• האם באתרים גדולים נעשה שימוש במפת אינדקס?
• האם מפת האתר עיבדה בהצלחה ב-Google Search Console?
• האם זמני התגובה של השרת תומכים ביעילות הסריקה?

SEO טכני אינו מוגבל רק ליצירת קבצים. ביצועי אירוח, תצורת SSL, דיוק DNS, הפניות, התאמה לנייד ואיכות התוכן משפיעים ישירות על התוצאה. לכן, כאשר אתם מתכננים את התשתית של הפרויקט שלכם, יהיה מועיל לשקול גם את נושאי חבילות אירוח, העברת דומיין ו-אבטחת אתרים.

אסטרטגיית Robots.txt ומפת אתר לדוגמה

עבור אתר תאגידי פשוט, המבנה המומלץ עשוי לכלול: דף הבית, דפי שירותים, עלינו, יצירת קשר ופוסטים בבלוג במפת האתר. לוח הבקרה, דפי תודות לטפסים, בדיקות קמפיינים זמניים ודפי תוצאות חיפוש פנימיים ינוהלו באמצעות Robots.txt או noindex. במקרים כאלה, מפת האתר כוללת בדרך כלל בין 20 ל-200 כתובות URL.

באינטרנט מסחרי קטן, ניתן להפריד את מפת האתר של המוצרים, הקטגוריות, המותגים והבלוגים. מוצרים פעילים ייכללו במפת האתר, בעוד שמוצרים שהוסרו לצמיתות יוסרו, ומוצרים דומים יקבלו הפניות 301. כתובות URL של מסננים ייבדקו אחת אחת. מסננים עם נפח חיפוש ויכולת המרה ייבנו כקטגוריות מיוחדות; האחרים ינוהלו באמצעות Robots.txt, קנוני או אסטרטגיית noindex.

בבלוגים או אתרי חדשות עם תוכן עשיר, תאריכי פרסום, תאריכי עדכון, מבנה קטגוריות וקישורים פנימיים הם מאוד חשובים. כאשר תוכן ישן מעודכן, יש לעדכן את lastmod בצורה נכונה, אך אין לבצע עדכונים מלאכותיים. הסיגנל שמספק גוגל הוא שיפור תוכן אמיתי.

שאלות נפוצות

האם קובץ Robots.txt חוסם לחלוטין אינדוקס?

לא. קובץ Robots.txt חוסם סריקה; אך אינדוקס לא ניתן לחסום לחלוטין. אם URL מקבל קישורים מאתרים אחרים, גוגל עשויה להציג אותו גם אם הוא לא סורק את ה-URL. כדי לחסום אינדוקס, בדרך כלל יש להשתמש בתווית noindex או בהגבלות גישה מתאימות.

האם קובץ מפת האתר מבטיח עלייה בדירוגים בגוגל?

מפת האתר לא מבטיחה דירוגים ישירות. עם זאת, היא מסייעת לגלות דפים חשובים במהירות, לדווח על עדכונים למנועי החיפוש ולשפר את בריאות ה-SEO הטכנית. לדירוגים נדרשים גם איכות תוכן, קישורים, חוויית משתמש, מהירות וסיגנלים של אמון.

האם ציון מפת אתר בקובץ Robots.txt הוא חובה?

זה לא חובה, אבל מומלץ. הוספת כתובת מפת האתר ל-Robots.txt מקלה על מנועי החיפוש למצוא את מפת האתר שלכם. גם שליחת מפת האתר דרך Google Search Console היא נוהל טוב.

מהי כתובת מפת האתר של WordPress?

כתובת מפת האתר המוגדרת כברירת מחדל ב-WordPress היא בדרך כלל /wp-sitemap.xml. אם אתם משתמשים בתוספי SEO, כתובת מפת האתר עשויה להיות /sitemap_index.xml או /sitemap.xml. יש לבדוק בהתאם לתוסף שבו אתם משתמשים.

כמה URLs יכולים להיות במפת אתר?

קובץ XML Sitemap אחד יכול להכיל עד 50,000 כתובות URL ולא לחרוג מגודל של 50 MB. באתרים גדולים, השימוש במפת אינדקס כדי לחלק את התוכן לקבצים נפרדים לפי דפים, פוסטים, מוצרים, קטגוריות או תמונות הוא הגישה הנכונה ביותר.

סיכום

קובץ Robots.txt ומפת האתר הם שני מרכיבים בסיסיים ב-SEO הטכני, שנראים קטנים אך יש להם השפעה גדולה. Robots.txt מנחה את התנהגות הסריקה של הבוטים, בעוד שמפת האתר מקלה על גילוי הכתובות החשובות. כדי להגדיר נכון, יש להשאיר דפים חשובים פתוחים, להגביל תחומים לא רלוונטיים בצורה מבוקרת, להוסיף רק כתובות URL שניתן לאנדקס למפת האתר ולבצע מעקב קבוע דרך Google Search Console.

אם אתם רוצים לבנות את היסודות הטכניים של האתר שלכם בצורה נכונה, התחלה עם אירוח אמין, ניהול דומיין נכון ותצורת SSL היא צעד טוב. אתם יכולים לבדוק את פתרונות אירוח אתרים, דומיין ו-תעודת SSL של Hostragons כדי ליצור תשתית מהירה, בטוחה וידידותית ל-SEO לאתר שלכם.