عدم پشتیانی گوگل از دستور noindex در فایل robots.txt

فایل robots.txt

بنا به اعلام رسمی گوگل، ربات گوگل دیگر از دستور نو ایندکس (noindex) در فایل robots.txt پیروی نخواهد کرد. وبمستر هایی که برای جلوگیری از ایندکس شدن یک صفحه در نتایج گوگل از دستور نو ایندکس در فایل robot.txt استفاده می کنند تنها تا اول سپتامبر سال 2019 جهت حذف و استفاده از گزینه ی جاگزین برای این دستور فرصت دارند.

دستور نو ایندکس در فایل robot.txt غیر رسمی است

دلیل عدم پشتیبانی گوگل از دستور نو ایندکس در فایل مذکور، غیر رسمی بودن دستورالعمل آن است.

گوگل تا قبل از این اعلامیه از این دستور پشتیبانی می کرده است ولی از این به بعد از دستور نوایندکس در فایل robots.txt پشتیبانی نخواهد کرد.

گوگل در توئیت رسمی خود اعلام کرده است:

“امروز ما با قوانین پشتیبانی نشده و غیر مستند در فایل robots.txt خداحافظی می کنیم.

چنانچه از این قوانین استفاده می کنید. در ادامه گزینه های جایگزین را مورد بررسی قرار دهید.”

در ادامه گوگل جهت کنترل پروسه ی ایندکس صفحات پنج مورد را نام برده است :

استفاده از دستور نو ایندکس در متا تگ Robot : این دستور در هدرهای HTTP و HTML استفاده می شود. دستورالعمل نو ایندکس در متا تگ robot موثرترین راه برای حذف URL ها از ایندکس و کراول شدن است.
استفاده از کد های HTTP 404 و 410 : هر دو کد نام برده شده به این معناست که صفحه ای وجود ندارد. که این مورد سبب حذف این url ها از کراول و ایندکس گوگل می شود. برای آشنایی بیشتر با این کدها به این لینک مراجعه کنید.
محافظت با پسورد : به جز این که می توان از نشانه گذاری برای تعیین فرم های تکمیل شده توسط کاربر و یا محتوای paywalled استفاده کرد، مخفی کردن یک صفحه در پشت یک صفحه ی ورود به سیستم و یا استفاده از یوزرنیم و پسورد برای مشاهده اطلاعات و محتوای آن، سبب حذف شدن و ایندکس نشدن آن از فهرست گوگل می شود.
استفاده از دستور Disallow در فایل robots.txt : موتورهای جستجو تنها می توانند صفحاتی را ایندکس کنند که در ارتباط با آن اطلاعات دارند. بنابراین بلاک کردن این صفحات و عدم کراول شدن آن ها بدین معناست که محتوای آن ایندکس نمی شود. با استفاده از این دستور می توانید ایندکس شدن صفحات مختلف را کنترل کنید.
ابزار Remove URLs در سرچ کنسول گوگل : این مورد یک ابزار سریع و روشی ساده برای حذف یک url به صورت موقت از نتایح جستجوی گوگل می باشد.

مطلب مرتبط TLD چیست و انواع مختلف آن کدامند؟

در صورتیکه از دستور no index در فایل robots.txt استفاده کرده و سئوی سایت برای شما اهمیت دارد و فعالیت هایی برای بهبود رتبه سایت خود در نتایج گوگل انجام داده اید، پیشنهاد می کنیم هر چه سریعتر یکی از روش های جایگزین معرفی شده را استفاده کنید.