پیام عدم دسترسی ربات های گوگل به CSS و JS – Googlebot cannot access CSS and JS files on

google bot can not access to css and js file  پیام گوگل عدم دسترسی

گوگل اخیرا به وب مستر تولز کاربران(همراه ایمیل) ، پیغامی مبنی بر عدم دسترسی ربات هایش به فایل های CSS و JS داده است که امروز همزمان به ۴ تا ازمشتریان ما، ارسال شد.این پیام مثل پیام ناسازگاری صفحات وب سایت با موبایل ، بدون شک به تدریج به همه وب سایت هایی که دسترسی ربات ها رو خواسته یا ناخواسته به فایل های CSS و جاوااسکریپت بستند، ارسال میشه. محتوای پیام به شرح زیر است:

Googlebot cannot access CSS and JS files

Googlebot cannot access CSS and JS files on دامنه شما

To: Webmaster of https://seorooz.net/,

Google systems have recently detected an issue with your homepage that affects how well our algorithms render and index your content. Specifically, Googlebot cannot access your JavaScript and/or CSS files because of restrictions in your robots.txt file. These files help Google understand that your website works properly so blocking access to these assets can result in suboptimal ranking

گوگل دقیقا میگه، ربات های من نمی تونن به فایل های CSS و جاوااسکریپت شما دسترسی داشته باشند و این باعث میشه ما به خوبی نتونیم محتوا و صفحات شما رو بررسی کنیم.این فایل ها(CSS و جاوااسکریپت ها) ، به ما کمک می کنن تا متوجه بشیم که سایت شما به درستی کار می کنه و اجرا میشه یا نه و عدم دسترسی ما به این فایل ها، باعث میشه، رتبه شما، کمتر از حد مطلوب باشه.

راهکار و راه حل:

ابتدا از طریق این لینک وب مستر تولز و بعد از لاگین شدن در حساب گوگل خود و انتخاب سایت، مسیر های منابع بسته شده رو پیدا کنید.هر چه پوشه و مسیری که در فایل robots.txt دادید که مربوط به منابع  بسته شده(یعنی همون css و js که مسیرش رو از لینک بالا دیدید) هست رو از فایل robots.txt حذف کنید و بعد از ابزار Fetch as google صفحاتتون رو با انتخاب گزینه Smart Phone و کلید Fetch and render بررسی کنید و ببینید گوگل و ربات های دسکتاپ و موبایل به راحتی می تونن صفحات شما رو ببینن یا نه.اگر مشکلی نبود دیگه هیچ کاری لازم نیست بکنید.

 

گوگل چه نیازی به این فایل ها داره؟

گوگل مدتهاست با این فایل ها درگیر هست و این چیز جدید نیست.از آخرین آپدیت های پاندا آنالیز سایت ها و خوندن فایل های CSS و JS مطرح شده بود.حتی قبل از اون هم گوگل تلاش داشت، تا به درک کاملی از وب سایت با استفاده از فایل های Css و JS برسه.

همونطور که در پست پنالتی گوگل هم اشار کردم، بخشی از نیاز گوگل به این فایل ها اینه که بتونه لینک های مخفی سایت شما رو پیدا کنه و تشخیص بده که این لینک ها همیشه مخفی هستند یا در شرایط خاصی مخفی میشن یا به خاطر نمای موبایل و … مخفی شدن یا به خاطر تکنیک های UX  سایت مخفی میشن.از این رو، می تونه تشخیص بده که مخفی بودن لینک ها و حتی محتوای شما ، به چه دلیلی هست.بحث تشخیص محتوا و لینک مخفی سالهاست جزو پروژه های گوگل هست که بتونه محتوا و لینک مخفی رو تشخیص بده تا بتونه با روش های کلاه سیاه محتوای مخفی مثل cloaking و روش های کلاه سیاه بک لینک، مثل استفاده از بک لینک های مخفی، مبارزه کنه.

این تنها یک دلیلش هست.تشخیص واکنش گرا بودن سایت شما، به خاطر دسترسی ربات های گوگل به همین فایل های CSS و جاوااسکریپت شماست.اینکه در نمای موبایل گوگل، زیر سایت هایی که با موبایل سازگاری دارند، طوسی رنگ می نویسه Mobile Friendly به واسطه وجود مبارک همین فایل ها و دسترسی گوگل به اونهاست!

نکته دیگه هم در UX سایت هست.گوگل از اونجا که همیشه نسبت به همه موتور های جستجو از هر نظر پیشتاز هست، با درک CSS و JS هر سایت، می تونه ربات هایی بسازه که با سایت ها کار کنند تا به درک درستی و نزدیک تر به درک یک انسان از هر سایت برسه.برای مثال، تب های جاوااسکریپتی در سایت، به صورت پیش فرض، موجب میشه بخشی از محتوا و لینک ها مخفی بشه و محتوی تب فعال نمایش داده بشه.منو های بازشو هم به همین شکل.وقتی گوگل بتونه به درک خوبی از CSS و JS سایت شما برسه، می تونه ساختار سایت و تب ها و منو ها هم به خوبی درک کنه و بفهمه که با کلیک کاربر، نمایش داده میشن.از این رو، احتمال پنالتی های با خطا و اشتباه گوگل، که ناشی از تشخیص لینک و محتوای مخفی به قصد کلاه سیاه بوده از بین میره و احتمال قضاوت های نادرست گوگل درباره محتواهای مخفی که به قصد کلاه سیاه هم نیستند کم میشه.برای مثال گوگل به محتوایی بیشتر اهمیت میده که به صور پیش فرض در حال نمایش باشه.در حالی که ممکنه شما با کلیک یا حرکت موس، محتوا های مهم دیگه ای رو در سایتتون به کاربر نشون بدید.(یعنی محتوا های مهم دیگه به صورت پیش فرض مخفی هستند.مثل تب های غیر فعال).

سوالات متداول

۱- من  این پیامو دریافت کردم.آیا از نتایج گوگل حذف میشم؟

نه حذف نمیشید.ولی رتبه ای که لیاقتش رو دارید رو ممکنه نگیرید.

۲- من سایتمو اپدیت کردم و تغییراتی دادم و بعد این پیام برام اومد.چه ربطی به اپدیت من داشته؟

ربطی نداره.شما فقط تصور کردید که از کار شما این پیام اومده.پست تناقض های سئو و درک درستی از سئو رو مطالعه کنید.

۳-من فایل های CSS و JS سایتم داخل پوشه ای هست که توی اون پوشه فایل ها و صفحاتی هست که نمیخوام گوگل بهش دسترسی داشته باشه.چیکار کنم؟

فایل های CSS و JS باید در پوشه جداگانه ای باشند.اما از اونجا که مسیرشون عوض میشه، این فایل ها در صفحات شما هم از کار می افتن.لذا بهترین کار اینه که، اون صفحات دیگه که نمیخواید گوگل و ربات ها بهش دسترسی دارند رو، منتقل کنید به پوشه دیگه و مسیر پوشه حاوی فایل های CSS و جاوااسکریپت رو تغییر ندید.فقط از robots.txt حذف کنید.

۴-در سایت وردپرسی چطور این مشکل رو حل کنیم؟

هر مسیری که داخل خودش یا پوشه های داخلیش، فایل های js و css وجود داره رو از robots.txt حذف کنید.البته به استثنای wp-admin چون این فایل ها و صفحات این مسیر هم نمیخوایم به گوگل نشون داده بشه.چه برسه به css و js اونها.

مسیر های مرتبط با پوشه های wp-content و wp-includes رو از robots.txt حذف کنید.

۵-من برخی صفحات و پوشه هام رو کلا برای ربات های گوگل بستم و رتبه اون صفحاتم برام مهم نیست.مثل صفحات مرتبط با پنل کاربری و ادمین و سایر صفحاتی که نمیخوام به هر دلیلی ایندکس بشن.آیا باید CSS و JS اونها رو هم مسیرش رو برای ربات های گوگل باز کنم؟

خیر.گوگل فقط به css و js هایی نیاز داره که مربطو به صفحاتی هستند که ایندکس میشن و ربات ها می تونن اونها رو ببینن.گوگل حق نداره تو دیدن صفحاتی که خودتون اجازه ندادید، دخالت کنه و این کار هم نمیکنه.

۶-بعضی از صفحات من بعد از لاگین به کاربر نشون داده میشن.یعنی کاربر Login نشده نمی تونه اون صفحات رو باز کنه.آیا CSS و JS اون صفحات رو هم باید از robots.txt حذف کنم؟

خیر. صفحاتی که کاربر باید لاگین کنه تا ببینه، ربات گوگل هم باید لاگین کنه تا ببینه.در نتیجه، اون صفحات اصلا توسط ربات ها دیده نمیشن.بنابراین مشابه سوال بالا میشه.یعنی این نوع صفحات هم، نیاز نیست فایل های css و js اونها رو برای ربات ها باز کنید.اگر هم این کار رو بکنید مشکلی حل نمیشه.اگر گوگل پیغام داده، به خاطر عدم دسترسی به فایل های Css و جاوااسکریپت صفحات ایندکس شده داده.نه صفحات ایندکس نشده و بسته شده از دید ربات ها.

۷-شما بپرسید تا به سوالات متداول اضافه کنیم…

سئو روز

ما انسان هستیم نه ربات (humans.txt)

در الگوریتم جدید گوگل که پاندا نام دارد،  موتور جستجوگر توجه بیشتری به کاربران دارد  و قبل از اینکه سایت شما در صفحات اول موتورهای جستجو به نمایش در بیاد انها باید مطمئن بشوند که سایت شما و مطالب  برای کاربران ارزشمند بوده. یعنی  باید  بتونید جلب اعتماد کنید.

ما انسان هستیم نه ربات (humans.txt)

اولین و بهترین راه هم شناختن نویسنده یک وبلاگ و یا وب سایت هست. مثلا وقتی شما دنبال مطلبی خاص هستید و وارد یک وبلاگ یا وب سایت شده و متوجه می شوید که  نویسنده آن مطلب شخصی معروف و با تجربه هست، مطمئنا می پذیرید که مطالب این سایت در حد مطلوب و دارای  بار علمی بالایی هست.
یک راه مناسب برای این که نویسنده وبلاگ و یا سایت را معرفی کنیم، استفاده از فایلی مانند فایل humans.txt است. بله ، شما فقط نباید به فکر روبوت ها باشید، باید به فکر کاربران و یعنی همون انسان ها نیز باشید.

در اینجاست که  انسان ها با فایل کاربردی humans.txt  در مقابل روبوت ها با فایل  robots.txt قرار می گیرند تا خود را به اثبات برسانند…

۱-فایل humans.txt چیست؟

این یک ابتکاره در مورد افرادی که در پشت پرده یک سایت یا وبلاگ مشغول به کاراند. یک فایل متنی ساده که به معرفی عوامل و مسئولین و طراحان یک وب سایت یا وبلاگ می پردازد…

ما انسان هستیم نه ربات (humans.txt)

۲-حالا چرا از یک فایل متنی استفاده می کنیم؟

بخاطر اینکه در عین سادگی خیلی سریع میشه آمادش کرد بدون اینکه خودتون رو درگیر کد نویسی کنید.بیشتر صاحبان وب سایت ها و … نمی خواهند خود رو درگیر ایجاد امضا برای مطالبشون توسط نویسندگانشان کنند زیرا بر این باورند که باعث افت راندمان شان می شود لذا  شما براحتی می توانید توسط یک فایل خارجی, خود و همچنین شناسنامه وبلاگ یا وب سایت خود را براحتی در اختیار دیگران بگذاریید..ما انسان هستیم نه ربات (humans.txt)

۳-این فایل کجا قرار می گیرد؟

کافیه که در شاخه اصلی وب سایتتون در کنار فایل robots.txt قرار بدین و تگ نویسنده رو هم در قسمت head قالبتون کپی کنید  و همچنین توسط تگ نویسنده می تونید فایل مورد نظر رو در جایی آپلود کرده و از این فایل در وبلاگتون هم استفاده کنید…

که در کد بالا بجای domain نام وب سایت خود را قرار دهید و اگر می خواهید در وبلاگتان از این فایل استفاده کنید بجای domain آدرس محل ذخیره فایل humans.txt را وارد کرده و کد بالا را در قسمت head سایت تان کپی کنید…

<link type=”text/plain” rel=”author” href=”http://you.ir/humans.txt”/>

4-آیا مجبوریم که از این فایل استفاده کنیم؟

اجباری در این کار نیست این تنها یک ابتکاره برای شناساندن نویسندگان,طراحان و اهداف وب سایت و یا … شما به بازدید کنندگانتان است تا اعتبار خود را ثابت و تعداد بازدید کنندگانتان را افزایش دهید…

ما انسان هستیم نه ربات (humans.txt)

۵-چه چیز هایی باید در این فایل قرار دهیم؟

شما آزادید در مورد هر شخص و موردی  که مد نظرتان هست در این فایل بنوسید مثلا در مورد نویسندگان ,طراحان ,وب مسترها,seo ,sem و smo ,تعداد افرادی که در ایجاد سایت و یا وبلاگ شما دخیل هستند ,موقعیت ,زبان ,استاندارد های وب سایت شما,نرم افزارها و ….

ما انسان هستیم نه ربات (humans.txt)

۶-  meta name یا فایل humans.txt ؟

این یک مبارزه نیست و شما مجبور نیستید یکی از آنها را انتخاب کنید.فایل humans.txt تنها راهیه در مورد معرفی و اطلاعاتی در مورد صاحب یک وب سایت و یا وبلاگ…

ما انسان هستیم نه ربات (humans.txt)

۷-اینترنت برای انسان هاست!!!

این جمله را همیشه می گوییم  و می شنوییم اما به آن اعتقاد هم داریم؟ما همیشه فایل هایی را برای موتور های جستجو ایجاد می کنیم و اطلاعاتی را در آن قرار داده و در اختیار آنها می گذاریم مانند فایل robots.txt حال چرا این کار را برای انسان ها نکنیم…؟؟؟

ما انسان هستیم نه ربات (humans.txt)

۸-به دنبال استاندارد ها هستید؟!

ما همیشه تمایل داریم که کار هایمان را به بهترین حالت ممکن انجام دهیم و شاید تمایل داشته باشد تا یک الگو  و راهنما برای ایجاد فایل human.txt داشته باشد …برای این کار من ۲ مورد ازفایل  human.txt از سایت های معتبر رو در اختیارتون می گذارم تا از آنها الگو برداری کنید…

کد مربوط به سایت humanstxt.org که منبع این مطلب هم هست .

/* /* /* TEAM */
Chef:Juanjo Bernabeu
Contact: hello [at] humanstxt.org
Twitter: @juanjobernabeu
From:Barcelona, Catalonia, Spain

UI developer: Maria Macias
Twitter: @maria_ux
From:Barcelona, Catalonia, Spain

One eyed illustrator: Carlos Mañas
Twitter: @oneeyedman
From:Madrid, Spain

Standard Man: Abel Cabans
Twitter: @abelcabans
From:Barcelona, Catalonia, Spain

Web designer: Abel Sutilo
Twitter: @abelsutilo
From:Sevilla, Andalucia, Spain

/* THANKS */

(First) EN Translator: Jos Flores
Twitter: @prosciuttos
From: Barcelona, Catalonia, Spain

CA Translator: Eva AC
Twitter: @evaac
From:Barcelona, Catalonia, Spain

EN Translator: Marta Armada
Twitter: @martuishere
From: Barcelona, Catalonia, Spain

RU Translator: Alexey Bass
Twitter: @alexey_bass
Location: Israel, Netanya

RU Translator: Vladimir Epifanov
Twitter: @voldmar
Location: Moscow, Russia

NL Translator: Rowdy Rabouw
Twitter: @rowdyrabouw
Location: Gouda, The Netherlands

DE Translator: Dennis Fischer
Twitter: @ichderfisch
Location: Düsseldorf / Germany

CZ Translator: Daniel Kršiak
Twitter: @krsiakdaniel
Location: Czech Republic

ZH Translator: Ana Villalba
Location: Spain

JA Translator: Clémence Haure
Location: Spain

Media Queries by: Marta Armada (@martuishere) and Javier Usobiaga (@htmlboy)

/* SITE */
Last update:2012/02/04
Language: Català / Czech / Deutsch / English / Castellano / Japanese / Dutch / Russian / Chinese
Doctype:HTML5
IDE: Sublime Text, Notepad++, FileZilla, Photoshop

فایل humans.txt گوگل

Google is built by a large team of engineers, designers, researchers, robots, and others in many different sites across the globe. It is updated continuously, and built with more tools and technologies than we can shake a stick at. If you'd like to help us out, see google.com/jobs.

همانطور که در الگو های بالا مشاهده می کنید این فایل قالب خاصی نداره اما حالت استاندارد این فایل مربوط به سایت humanstxt.org هستش و البته شما آزاد هستید که هر نوع اطلاعاتی را به آن اضافه کنید…

حال به بررسی قسمت های مختلف این فایل می پردازیم…

/* TEAM */

باید تیمی‌که سایت شما را پشتییانی می‌کند را معرفی کنید. مثلان معرفی خودتان و کسانی که در بروز رسانی سایتتان با شما همکاری می‌کنند.

معرفی: نام و فامیل ، ایمیل ، و اگر در سایتهای مانند فیسبوک و تویتر عضو هست نام کاربری آن را بنویسید و محل سکونت

/* THANKS */

یک تشکر از همکارانتان

/* SITE */

معرفی سایت مثلا تاریخ آخرین بروزرسانی و از کدهای استانداردی که برای سایتتان از آن استفاده می‌کنید و  اگر از نرم افزار خاصی برای سایتتان استفاده می‌کنید و در آخر هم زبان سایت شما

بریم سراغ وردپرسی ها

اگر جزء آن دسته از کسانی هستید که وبلاگی بر پایه وردپرس برپا کرده اید می توانید بدون استفاده از این فایل و توسط افزونه Humans Dot Txt به ایجاد این امکان برای سایت خود بپردازید…

لینک دانلود افزونه

ما انسان هستیم نه ربات (humans.txt)

و سخن آخر اینکه در زمانه ای که همه در حال ایجاد فایل robots.txt هستن تا در اختیار خزنده های موتور های جستجو قرار بدهند تا با روبوت ها در تماس باشند فایل humans.txt باعث ارتباط یک انسان با سایت شما می شود.

اینترنت برای انسان هاست نه روبات ها…

نوشته ما انسان هستیم نه ربات (humans.txt) اولین بار در ملی سئو | سئو و بهینه سازی،آموزش سئو پدیدار شد.

ملی سئو | سئو و بهینه سازی،آموزش سئو