نحوه ساخت فایل robots.txt و نقشه سایت (sitemap) برای سئو

فایل robots.txt و نقشه سایت دو ابزار فنی پایه‌ای سئو هستند که نحوه خزش وبسایت توسط موتورهای جستجو و صفحاتی که باید کشف شوند را کنترل می‌کنند. robots.txt به بات‌هایی مثل گوگل‌بات می‌گوید کدام بخش‌ها را می‌تواند بخزد و کدام بخش‌ها را نه؛ sitemap یا همان نقشه سایت هم URLهای مهم، تاریخ به‌روزرسانی و ساختار صفحات را به موتورهای جستجو معرفی می‌کند. خلاصه اینکه robots.txt مسیر خزش را مشخص می‌کند و sitemap سرعت کشف صفحات را بالا می‌برد. وقتی این دو فایل درست و اصولی نوشته شوند، مخصوصاً در سایت‌های تازه‌تأسیس، فروشگاه‌های اینترنتی، وبسایت‌های سازمانی و آرشیوهای حجیم محتوا، بازدهی ایندکس شدن صفحات به شکل چشمگیری بهتر می‌شود.

در این راهنما قدم‌به‌قدم توضیح می‌دهیم چطور فایل robots.txt و نقشه سایت را آماده کنید، چه دستورهایی استفاده کنید، در وردپرس و سایت‌های اختصاصی به چه نکاتی توجه داشته باشید، خطاها را چطور تست کنید و در نهایت فایل‌ها را به گوگل معرفی کنید. این محتوا برای بلاگ هاستینگ با در نظر گرفتن استانداردهای سئوی ۲۰۲۶، نیت کاربر، دقت فنی، بودجه خزش، قابلیت ایندکس و کاربرد عملی نوشته شده است.

robots.txt چیست؟

فایل robots.txt یک فایل متنی ساده است که در ریشه اصلی وبسایت قرار می‌گیرد و معمولاً از آدرس https://yourdomain.com/robots.txt در دسترس است. این فایل به بات‌های موتور جستجو دستور می‌دهد کدام پوشه‌ها یا صفحات را می‌توانند بخزند و کدام‌ها را نباید بخزند. نکته مهم اینجاست که robots.txt ابزار امنیتی نیست؛ فقط یک دستورالعمل دوستانه برای بات‌های خوش‌نیت محسوب می‌شود.

برای مثال می‌توانید پنل مدیریت، مراحل سبد خرید، پارامترهای فیلتر، صفحات نتایج جستجو یا پوشه‌های آزمایشی را از خزش موتور جستجو خارج کنید. اما اطلاعات محرمانه با robots.txt محافظت نمی‌شوند چون این فایل برای همه قابل مشاهده است. برای امنیت واقعی باید از رمز عبور، محدود کردن دسترسی در سمت سرور، هاستینگ امن و گواهی SSL استفاده کنید. در این زمینه می‌توانید گواهی‌نامه SSL و هاستینگ وب را بررسی کنید.

فایل robots.txt چه کاربردی دارد؟

• رفتار خزش بات‌های موتور جستجو را هدایت می‌کند.
• صفحات کم‌اهمیت یا تکراری را از خزش خارج می‌کند.
• بودجه خزش را به صفحات مهم‌تر اختصاص می‌دهد.
• موقعیت فایل نقشه سایت را به بات‌ها اعلام می‌کند.
• از خزش بخش‌هایی مثل پنل تست، جستجوی داخلی و URLهای پارامتری جلوگیری می‌کند.

به‌خصوص در سایت‌هایی که هزاران محصول، دسته‌بندی، برچسب یا فیلتر دارند، اگر robots.txt اشتباه تنظیم شود گوگل صفحات مهم را دیرتر پیدا می‌کند. از طرف دیگر اگر خیلی محدودکننده باشد، ممکن است فایل‌های CSS، جاوااسکریپت یا صفحات دسته‌بندی بسته شوند و رتبه سایت آسیب ببیند.

نقشه سایت چیست؟

نقشه سایت یا sitemap فایلی با فرمت XML است که URLهای مهم وبسایت را به موتورهای جستجو معرفی می‌کند و معمولاً در آدرس https://yourdomain.com/sitemap.xml قرار دارد. این فایل به گوگل می‌گوید: «این صفحات برای من مهم هستند، لطفاً آن‌ها را کشف و در صورت مناسب بودن ایندکس کنید.»

در یک فایل نقشه سایت اطلاعاتی مثل آدرس URL، تاریخ آخرین به‌روزرسانی، میزان تغییرات و اولویت صفحات قرار می‌گیرد. در رویکرد سئوی ۲۰۲۶ تاریخ به‌روزرسانی اهمیت بیشتری پیدا کرده چون موتورهای جستجو به محتوای تازه و باکیفیت علاقه بیشتری نشان می‌دهند. با این حال نقشه سایت به تنهایی تضمینی برای ایندکس شدن نیست. قرار گرفتن یک URL در sitemap به معنای ایندکس شدن آن در گوگل نیست؛ صفحه باید باکیفیت، در دسترس، قابل ایندکس و مطابق با نیت کاربر باشد.

چه زمانی به فایل نقشه سایت نیاز داریم؟

• وقتی وبسایت تازه راه‌اندازی شده باشد.
• تعداد صفحات، محصولات یا مطالب وبلاگ زیاد باشد.
• لینک‌دهی داخلی وبسایت ضعیف باشد.
• محتوای تصویری، ویدیویی یا خبری زیاد داشته باشید.
• در فروشگاه اینترنتی محصولات به‌صورت مداوم به‌روزرسانی شوند.
• محتواهای قدیمی را مرتب به‌روزرسانی کنید.

حتی در وبسایت‌های کوچک با ساختار لینک‌دهی مناسب هم استفاده از نقشه سایت توصیه می‌شود چون لیست شفافی از URLها در اختیار موتور جستجو قرار می‌دهد و تأخیر در کشف صفحات را کم می‌کند.

تفاوت robots.txt و نقشه سایت

این دو فایل با هم کار می‌کنند اما وظایف متفاوتی دارند. robots.txt بیشتر روی اجازه یا ممنوعیت خزش تمرکز دارد در حالی که sitemap URLهایی را که می‌خواهید کشف شوند فهرست می‌کند. جدول زیر تفاوت‌های اصلی را نشان می‌دهد.

چگونه فایل robots.txt بسازیم؟

ساخت فایل robots.txt از نظر فنی ساده است اما از نظر سئو نیاز به دقت دارد. نام فایل باید دقیقاً robots.txt باشد و در ریشه اصلی سایت آپلود شود. آدرس درست آن https://yourdomain.com/robots.txt است. اگر فایل را در زیرپوشه قرار دهید، معتبر نخواهد بود.

۱. ساختار پایه robots.txt را بسازید

ساده‌ترین ساختار به همه بات‌ها اجازه خزش کامل می‌دهد و آدرس نقشه سایت را معرفی می‌کند:

• User-agent: *
• Allow: /
• Sitemap: https://yourdomain.com/sitemap.xml

در این ساختار User-agent: * یعنی همه بات‌ها و Allow: / یعنی تمام سایت قابل خزش است. خط Sitemap هم موقعیت نقشه سایت را مشخص می‌کند. برای سایت‌های جدید که می‌خواهید سریع ایندکس شوند این ساختار معمولاً نقطه شروع خوبی است.

۲. بخش‌هایی که نمی‌خواهید خزش شوند را مشخص کنید

لازم نیست همه صفحات خزش شوند. صفحات اختصاصی کاربر، صفحات موقت، تکراری یا کم‌ارزش را می‌توان با robots.txt محدود کرد. مثلاً:

• Disallow: /wp-admin/
• Disallow: /sepet/
• Disallow: /odeme/
• Disallow: /arama/
• Disallow: /test/

در وردپرس بستن پوشه /wp-admin/ رایج است، اما برای اجرای درست برخی فایل‌های AJAX باید اجازه دسترسی به /wp-admin/admin-ajax.php را بدهید. ساختار پیشنهادی برای وردپرس به این شکل است:

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php
• Sitemap: https://yourdomain.com/sitemap.xml

در این مثال پنل مدیریت بسته می‌شود اما عملیات AJAX مورد نیاز قالب و افزونه‌ها مجاز است. برای اجرای سریع‌تر و پایدارتر وردپرس می‌توانید هاستینگ وردپرس را هم بررسی کنید.

۳. پارامترها و فیلترهای فروشگاه اینترنتی را کنترل کنید

در فروشگاه‌های اینترنتی فیلترها، مرتب‌سازی، رنگ، سایز، محدوده قیمت و نتایج جستجو URLهای زیادی تولید می‌کنند. مثلاً یک دسته‌بندی ممکن است به شکل‌های /kategori?renk=siyah، /kategori?beden=42 و /kategori?sort=price_asc ظاهر شود. اگر این موضوع کنترل نشود، گوگل بات هزاران صفحه کم‌ارزش را خزش می‌کند.

برای این بخش‌ها بهتر است robots.txt، تگ canonical و داده‌های گوگل سرچ کنسول را با هم استفاده کنید. بستن همه پارامترها با robots.txt همیشه بهترین راه‌حل نیست چون بعضی صفحات فیلتر ممکن است نیت تجاری داشته باشند.

۴. فایل‌های CSS و جاوااسکریپت را نبندید

در سئوی مدرن گوگل صفحات را نه فقط به صورت HTML خام بلکه به شکل رندر شده بررسی می‌کند. بستن فایل‌های CSS و JS باعث می‌شود گوگل ساختار صفحه، سازگاری موبایل و نحوه بارگذاری محتوا را به درستی درک نکند. دستورهای قدیمی مثل Disallow: /assets/ امروز خطرناک هستند.

رویکرد ایمن برای سال ۲۰۲۶ این است که فایل‌های CSS، JS، تصاویر و فونت‌ها باز بمانند و فقط پوشه‌های مدیریتی یا آزمایشی محدود شوند.

۵. فایل robots.txt را تست کنید

بعد از آپلود فایل حتماً آن را تست کنید. موارد مهم:

• آدرس https://yourdomain.com/robots.txt با کد ۲۰۰ باز می‌شود؟
• فایل خالی، اشتباه یا متعلق به دامنه دیگری نیست؟
• خط Sitemap آدرس درست را نشان می‌دهد؟
• صفحات مهم دسته‌بندی، محصول و بلاگ بسته نشده‌اند؟
• منابع CSS، JS و تصاویر به اشتباه محدود نشده‌اند؟

با ابزار URL Inspection در گوگل سرچ کنسول می‌توانید بررسی کنید صفحات مهم قابل خزش هستند یا نه. تحلیل لاگ سرور هم روش پیشرفته‌تری برای دیدن رفتار گوگل‌بات است. برای عملکرد قوی سرور می‌توانید سرور VPS یا هاستینگ شرکتی را بررسی کنید.

چگونه فایل نقشه سایت بسازیم؟

هدف از ساخت sitemap این است که لیستی تمیز از URLهای باکیفیت و قابل ایندکس به موتور جستجو بدهید. لازم نیست همه صفحات در نقشه سایت باشند. اضافه کردن صفحات noindex، ریدایرکت‌شده یا خطادار سیگنال منفی ایجاد می‌کند.

۱. فقط URLهای قابل ایندکس را اضافه کنید

صفحاتی که در sitemap قرار می‌گیرند باید این شرایط را داشته باشند:

• کد وضعیت ۲۰۰ برگردانند.
• تگ noindex نداشته باشند.
• با robots.txt بسته نشده باشند.
• تگ canonical به خودشان یا آدرس درست اشاره کند.
• محتوای ارزشمند و منحصربه‌فرد داشته باشند.
• سازگار با موبایل و سریع‌البارگذاری باشند.

صفحات محصول حذف‌شده، محصولات ناموجود، نتایج جستجوی داخلی و صفحات سبد خرید نباید در نقشه سایت باشند.

۲. فرمت XML نقشه سایت را درست استفاده کنید

ساختار ساده XML sitemap به این شکل است:

• <urlset> تگ اصلی است.
• <url> برای هر صفحه یک بلوک جداگانه.
• <loc> آدرس کامل صفحه را نگه می‌دارد.
• <lastmod> تاریخ آخرین به‌روزرسانی را نشان می‌دهد.

نمونه یک رکورد: <loc>https://yourdomain.com/hizmetler/</loc> و <lastmod>2026-01-15</lastmod>. فرمت تاریخ بهتر است به شکل سال-ماه-روز باشد و فقط در زمان تغییرات واقعی به‌روزرسانی شود.

۳. در سایت‌های بزرگ نقشه سایت را تقسیم کنید

هر فایل XML sitemap حداکثر ۵۰ هزار URL و ۵۰ مگابایت حجم داشته باشد. در سایت‌های بزرگ بهتر است از sitemap index استفاده کنید:

• /post-sitemap.xml
• /page-sitemap.xml
• /product-sitemap.xml
• /category-sitemap.xml
• /image-sitemap.xml

این روش هم پردازش را برای گوگل آسان‌تر می‌کند و هم تحلیل مشکلات ایندکس را ساده‌تر می‌سازد.

۴. ساخت نقشه سایت در وردپرس

وردپرس از نسخه ۵.۵ به بعد نقشه سایت XML پیش‌فرض دارد که در /wp-sitemap.xml در دسترس است. اما بسیاری از پروژه‌های حرفه‌ای از افزونه‌هایی مثل Rank Math یا Yoast SEO استفاده می‌کنند چون کنترل بیشتری روی محتوای نقشه سایت می‌دهند. در وردپرس معمولاً اشتباه رایج اضافه کردن صفحات برچسب کم‌ارزش به sitemap است که بهتر است از آن اجتناب شود.

۵. اتوماسیون نقشه سایت در سایت‌های اختصاصی

در سایت‌های اختصاصی بهتر است نقشه سایت به صورت خودکار تولید شود. هر بار که محصول، مقاله یا صفحه خدماتی اضافه یا به‌روزرسانی می‌شود، sitemap هم باید به‌روز شود. قوانین پیشنهادی برای تیم توسعه:

• صفحات منتشرشده به صورت خودکار اضافه شوند.
• صفحات حذف‌شده یا ۴۰۴ از sitemap خارج شوند.
• صفحات noindex وارد نقشه سایت نشوند.
• تگ canonical متفاوت با دقت مدیریت شود.
• lastmod فقط با تغییر واقعی محتوا به‌روزرسانی شود.

این اتوماسیون برای سایت‌های خبری، آگهی، رزرو و فروشگاهی بسیار حیاتی است.

نحوه معرفی نقشه سایت در robots.txt

بهترین روش این است که آدرس sitemap را در انتهای فایل robots.txt قرار دهید:

• User-agent: *
• Allow: /
• Sitemap: https://yourdomain.com/sitemap.xml

اگر چند فایل نقشه سایت دارید، هر کدام را در خط جداگانه بنویسید. حتماً از پروتکل HTTPS در آدرس sitemap استفاده کنید و با ساختار دامنه اصلی هماهنگ باشد.

ارسال نقشه سایت به گوگل سرچ کنسول

بعد از ساخت sitemap باید آن را در گوگل سرچ کنسول ثبت کنید:

• به گوگل سرچ کنسول وارد شوید.
• ملک درست (ترجیحاً دامنه) را انتخاب کنید.
• از منوی سمت چپ بخش Site Haritaları را باز کنید.
• آدرس sitemap را وارد کنید.
• دکمه ارسال را بزنید.
• وضعیت و تعداد URLهای کشف‌شده را بررسی کنید.

ایندکس شدن فوری اتفاق نمی‌افتد؛ گوگل ابتدا URLها را کشف، خزش و پردازش می‌کند. لینک‌دهی داخلی قوی و سرعت سرور این فرآیند را تسریع می‌کنند.

اشتباهات رایج robots.txt و نقشه سایت

۱. بستن کل سایت به اشتباه

جدی‌ترین اشتباه گذاشتن دستور Disallow: / روی سایت زنده است. این دستور همه چیز را از خزش خارج می‌کند و اگر فراموش شود صفحات جدید هرگز دیده نمی‌شوند.

۲. اضافه کردن صفحات noindex به sitemap

دادن noindex و همزمان قرار دادن صفحه در نقشه سایت سیگنال متناقض ایجاد می‌کند. نقشه سایت فقط باید شامل صفحاتی باشد که واقعاً می‌خواهید ایندکس شوند.

۳. نگه داشتن URLهای ریدایرکت یا خطادار

URLهای داخل sitemap بهتر است کد ۲۰۰ داشته باشند. صفحات ریدایرکت‌شده، ۴۰۴ یا ۵۰۰ را به‌صورت دوره‌ای پاک کنید.

۴. استفاده از پروتکل یا دامنه اشتباه

اگر دامنه شما https://www.example.com است، تمام URLهای داخل sitemap و robots.txt هم باید دقیقاً همین فرمت را داشته باشند.

۵. ارسال تعداد بیش از حد URL

نقشه سایت محل جمع‌آوری همه صفحات نیست. فقط URLهای باکیفیت و ارزشمند را اضافه کنید.

چک‌لیست فنی سئو برای سال ۲۰۲۶

هنگام آماده‌سازی robots.txt و نقشه سایت این موارد را بررسی کنید:

• robots.txt در ریشه سایت و قابل دسترسی است؟
• آدرس sitemap داخل robots.txt درست نوشته شده؟
• صفحات مهم با robots.txt بسته نشده‌اند؟
• فایل‌های CSS، JS و تصاویر قابل خزش هستند؟
• نقشه سایت فقط URLهای ۲۰۰ و قابل ایندکس را دارد؟
• صفحات noindex خارج از sitemap هستند؟
• تاریخ lastmod واقعی است؟
• در سایت‌های بزرگ از sitemap index استفاده شده؟
• گوگل سرچ کنسول sitemap را با موفقیت پردازش کرده؟

سئوی فنی فقط به این دو فایل محدود نمی‌شود. عملکرد هاستینگ، SSL، DNS، ریدایرکت‌ها و کیفیت محتوا هم تأثیر مستقیم دارند. بنابراین هنگام برنامه‌ریزی زیرساخت، بسته‌های هاستینگ، انتقال دامنه و امنیت وب‌سایت را با هم در نظر بگیرید.

نمونه استراتژی robots.txt و sitemap

برای یک وبسایت شرکتی ساده، صفحات اصلی، خدمات، درباره ما، تماس و بلاگ در نقشه سایت قرار می‌گیرند و پنل مدیریت و صفحات تشکر با robots.txt یا noindex مدیریت می‌شوند. در فروشگاه‌های متوسط بهتر است نقشه سایت محصولات، دسته‌بندی‌ها و بلاگ جداگانه باشد. در سایت‌های خبری هم تاریخ انتشار واقعی و به‌روزرسانی‌های واقعی اهمیت زیادی دارد.

سؤالات متداول

آیا robots.txt ایندکس را کاملاً متوقف می‌کند؟

خیر. robots.txt فقط خزش را محدود می‌کند. اگر صفحه از سایت‌های دیگر لینک بگیرد، ممکن است گوگل بدون خزش هم آن را ایندکس کند. برای جلوگیری قطعی از ایندکس معمولاً از تگ noindex استفاده می‌شود.

آیا نقشه سایت باعث رتبه بهتر می‌شود؟

نقشه سایت مستقیماً رتبه را تضمین نمی‌کند، اما کشف سریع‌تر صفحات و ارسال سیگنال به‌روزرسانی را تسهیل می‌کند. رتبه‌بندی به کیفیت محتوا، بک‌لینک و تجربه کاربری هم بستگی دارد.

آیا نوشتن آدرس sitemap در robots.txt الزامی است؟

الزامی نیست ولی توصیه می‌شود. این کار به بات‌ها کمک می‌کند نقشه سایت را سریع‌تر پیدا کنند.

آدرس پیش‌فرض نقشه سایت وردپرس چیست؟

معمولاً /wp-sitemap.xml است. اگر از افزونه سئو استفاده می‌کنید ممکن است آدرس /sitemap_index.xml یا /sitemap.xml باشد.

حداکثر تعداد URL در یک فایل sitemap چقدر است؟

هر فایل XML حداکثر ۵۰ هزار URL و ۵۰ مگابایت حجم می‌تواند داشته باشد. سایت‌های بزرگ‌تر باید از sitemap index استفاده کنند.

نتیجه‌گیری

robots.txt و نقشه سایت دو بخش کوچک اما بسیار مؤثر از سئوی فنی هستند. robots.txt رفتار خزش بات‌ها را کنترل می‌کند و sitemap کشف URLهای مهم را ساده‌تر می‌سازد. با پیکربندی درست، صفحات ارزشمند را باز بگذارید، بخش‌های غیرضروری را هوشمندانه ببندید و فقط URLهای قابل ایندکس را به گوگل معرفی کنید. برای داشتن زیرساخت فنی قوی، هاستینگ مطمئن، مدیریت دامنه و گواهی SSL را از همان ابتدا در نظر بگیرید. راه‌حل‌های هاستینگ وب، دامنه و گواهی‌نامه SSL هاستینگ را بررسی کنید تا وبسایت خود را روی پایه‌ای سریع، امن و دوستدار سئو بسازید.