அது என்ன, மற்றும் அது எவ்வாறு செய்யப்படுகிறது? Robots.txt மற்றும் Sitemap (தள வரைபடம்) கோப்புகளை எப்படி உருவாக்குவது?
Robots.txt கோப்பும் sitemap, அதாவது தள வரைபடக் கோப்பும், ஒரு இணையதளத்தை தேடுபொறிகள் எப்படி crawl செய்ய வேண்டும், எந்த பக்கங்களை எளிதாக கண