با Robots.txt و پنالتی احتمالی آن مالوف شوید!

همانطور که در سیر هستید، قسمت کثیری از کاغذ‌های ضمیر اول‌شخص مفرد سود زمینه سوالاتی‌سری که کاربران بسیار از دیگر سوالات از خویشتن می‌پرسند. همانطور که در مسطور چرا سایت من از نتایج جست‌وجو حذف شده گفتم، بخشی از این اشتباهات به قصد طبع فایل Robots است. اسم احوال بهتر است این مطلب را بازهم افزایش کنم که میسر است وب سایت شما به طرف ذهن اشتباهتان در سازمند‌سازی این فایل پنالتی نیز بشود! گویی سابق خودتان مغز کنید که به چه جهت این تصادف می‌افتد و اگر اگر مدرن با بهینه سازی و متعقلاتش شناخت شده باشید بخواهید افزون‌تر در موردش بدانید، غرض می‌کنم تحفه تمام این نوشته با خویش همگام باشید.

robots

کاربردهای فایل Robots.txt

بلکه سهل‌ترین تعریفی که می‌توانیم در زمینه این فایل داشته باشیم این است که این فایل مانند یک مصحف هنجار سخت و مشکل شغل می‌کند؛ شما از جاده این فایل به سوی موتورهای پرش‌وجو و بسیار روبات‌ها و خزنده‌ها نحو می‌دهید که چه صفحاتی را نبینند و اگر اگر در اوقات شاهد نمی‌توانند ببینند، ببینند.

کاربردهای این فایل زمانی روشن می‌شود که شما برروی سایتتان بهر‌هایی دارید که نمی‌خواهید خزنده‌ها ببینند و اگر اصلا نیازی نمی‌بینید که آن ناحیه‌ها بخواهند در نتایج پرش‌وجو نظر شوند.

بگذارید با شرح این فایل مقدمه کنم. اصولا در ابتدای هر تقسیم راه من‌وایشان روشن می‌کنیم که این دستورات خاص چه خزنده‌ای است؛ سپس:

user agent: google-image-search

وضعیت می‌توانیم هر کدامیک از خزنده‌هایی که می‌خواهیم به‌خاطر آنها مقررات متمایز کنیم را روبروی user agent بنویسیم و در ابتدای فایل شیوه دهیم. اغلب فایل‌های روبوت به سمت وجه Universal مرقومه می‌شوند؛ یعنی قوانین را به‌جهت تمامی خزنده‌ها طرز می‌کنند؛ به‌جهت این که بتوانیم قوانین را در عوض تمام یکسان در تفکر بگیریم می‌توانیم به مقصد‌به‌ازا امر بالا از user agent: * بهره‌جویی کنیم. نمودار * تمامی user agent ها را مسئول به مقصد قرائت این دستورات تحریک می‌کند.

آن‌گاه باید ببینیم که چه دوسیه‌هایی (دایرکتوری‌ها) را می‌خواهیم از دیدار گوگل مکتوم کنیم. در بقا بند بالا بارانی تاچند حلقه تحت این قوانین را واضح می‌کنیم:

Disallow: /wp-includes/

disallow: /wp-content/plugins

با این دستورات من‌وایشان دوسیه wp-includes را کلا بستیم و کیفیت خزنده‌ها به قصد‌پوچ آغاز نمی‌توانند فایل‌ها و پرونده‌های زیرشاخه این فولدر را ببینند. حال اگر بخواهیم در همین دوسیه، دسترسی دوسیه‌ای را مفتوح کنیم می‌توانیم به منظور وجه تحت بنویسیمش:

allow: /wp-includes/js/

مراقبت کنید که وقتی پرونده‌ای را می‌بندید تمامی زیرشاخه‌هایش را ایضاً کوتاه کرده‌اید.

یکی از مواردی که می‌توانیم به‌جهت دسترسی تیز‌نم خزنده‌ها در فایل Robots.txt ممتاز کنیم، طرح وب سایت است. به‌خاطر این پیشه کافیست صرفا از قالب پایین تقلید کنید:

sitemap: http://1admin.ir/sitemap.xml

اسم احوال این فایل به طرف پنالتی صیرورت چه ارتباطی دارد؟

گویی اینی که می‌گویم بغایت رخداد جدیدی نباشد ولی گاهی می‌بینم که پایگاه اینترنتی‌ها به طرف این طبع پنالتی می‌شوند؛ راستش دست قید اندازه نزد می‌گفتند که گوگل نمی‌تواند فایل‌های JS و CSS را انجام کند قلاده محسوس وب سایت را ببیند اگر تن مطابق آنها ایضاً پایگاه اینترنتی را تفحص کند. منتها بهتر است بگویم که گوگل این‌طور موثر می‌کند و رابطه به سوی این مسئله مشبع حتی رقیق‌القلب است.

اگر شما از گذرگاه فایل Robots دسترسی برای شمیز‌ای را اسم قفل باشید (به طرف کوه طور تمثیل دسترسی برای شمیز پلاگین‌های وردپرستان)، لیک این پلاگین‌ها در وب سایت شما اثرگذار باشند و فایل بارگذاری کنند عملا گوگل نمی‌تواند آنها را ببیند و به منظور همین قلب پایگاه اینترنتی شما برای پاکی آن چیزی که به‌جهت کاربران بارگذاری می‌شود، به‌خاطر گوگل بارگذاری نمی‌شود. گوگل نیز نمی‌تواند آن فایل را از دید امنیتی تجسس کند و امکان‌پذیر،‌شدنی است شما را خسارت کند.

همانطور که قبلا گفتم اگر می‌خواهید گوگل رویه‌ای را ایندکس نکند بهتر است از متاتگ Noindex کاربرد کنید لا این که از گونه Robots.txt آن را ببندید.

اندرز‌دادن می‌کنم همین اکنون این فایل را تفحص کنید و ببینید که در تحریر آن مقید خطیئه نشده باشید.

یک ادمین