خزنده گوگل
Googlebot — Web Crawlerخزندهٔ گوگل برنامهای خودکار است که شبانهروز صفحات وب را باز میکند، محتوایشان را میخواند و لینکهای داخلشان را دنبال میکند تا صفحات تازه پیدا کند. اگر خزنده نتواند صفحهای را ببیند، آن صفحه هرگز وارد نتایج جستوجو نمیشود.
خزنده چطور سایت شما را پیدا میکند؟
خزنده از فهرستی از نشانیهای شناختهشده شروع میکند و هر بار که صفحهای را باز میکند، لینکهای داخل آن را به فهرست کارهای بعدیاش اضافه میکند. یعنی وب برای خزنده مثل شبکهای از راههاست و لینکها همان راهها هستند.
سه مسیر اصلی برای کشف صفحهٔ تازه:
- لینک از صفحهای که قبلاً شناخته شده. رایجترین مسیر — چه از داخل سایت خودتان، چه از سایت دیگری.
- نقشهٔ سایت. فایلی که فهرست صفحات مهم را مستقیماً به موتور جستوجو میدهد.
- درخواست مستقیم از طریق ابزارهای رسمی مدیران سایت.
صفحهای که هیچ لینکی به آن نمیرسد — بهاصطلاح «صفحهٔ یتیم» — عملاً نامرئی است. به همین دلیل لینکسازی داخلی فقط برای کاربر نیست؛ برای کشفشدن هم حیاتی است.
خزش، رندر، ایندکس
این سه مرحله اغلب با هم اشتباه گرفته میشوند، در حالی که کاملاً جدا هستند و هر کدام میتواند شکست بخورد:
| مرحله | چه اتفاقی میافتد | اگر شکست بخورد |
|---|---|---|
| خزش | خزنده فایل صفحه را دریافت میکند | صفحه اصلاً دیده نمیشود |
| رندر | کدهای جاوااسکریپت اجرا و محتوای نهایی ساخته میشود | صفحه خالی به نظر میرسد |
| ایندکس | محتوا تحلیل و در پایگاه داده ذخیره میشود | صفحه در نتایج ظاهر نمیشود |
مرحلهٔ رندر منشأ یک مشکل بسیار رایج است: سایتهایی که تمام محتوایشان با جاوااسکریپت در مرورگر ساخته میشود. خزنده میتواند جاوااسکریپت را اجرا کند، اما این کار پرهزینه است و ممکن است با تأخیر انجام شود یا ناقص بماند. سایت کاملاً استاتیک این مشکل را بهکلی ندارد.
بودجهٔ خزش
خزنده منابع نامحدود ندارد و برای هر سایت مقدار مشخصی توجه در نظر میگیرد؛ به این مفهوم بودجهٔ خزش میگویند. برای سایتهای کوچک و متوسط تقریباً هرگز مسئلهساز نیست، اما در سایتهای بزرگ اهمیت پیدا میکند.
چیزهایی که بودجه را هدر میدهند:
- صفحات تکراری با نشانیهای متفاوت (مثلاً پارامترهای فیلتر و مرتبسازی در فروشگاهها)
- زنجیرههای طولانی ریدایرکت
- حجم زیادی از صفحات کمارزش یا خالی
- سرور کند — هرچه پاسخدهی کندتر، تعداد صفحات کمتری در هر نوبت خزیده میشود
نکتهٔ عملی: سرعت سرور مستقیماً روی حجم خزش اثر میگذارد. سایت سریع، بیشتر و مرتبتر خزیده میشود.
کنترل رفتار خزنده
دو ابزار اصلی در اختیار دارید و تفاوتشان بسیار مهم است:
فایل robots.txt — به خزنده میگوید کدام مسیرها را درخواست نکند. این فایل جلوی خزش را میگیرد، نه لزوماً جلوی ایندکس را. اگر صفحهای در این فایل مسدود شده باشد اما لینکهای زیادی به آن اشاره کند، ممکن است بدون توضیح در نتایج ظاهر شود.
برچسب noindex — به موتور جستوجو میگوید صفحه را در نتایج نشان نده. این روش قطعی است، اما شرط کارکردنش این است که خزنده بتواند صفحه را بخواند.
اگر صفحهای را هم در robots.txt مسدود کنید و هم برچسب noindex بگذارید، خزنده هرگز آن برچسب را نمیبیند — چون اجازهٔ باز کردن صفحه را ندارد. برای حذف قطعی از نتایج، فقط از noindex استفاده کنید و مسیر را باز بگذارید.
پرسشهای متداول دربارهٔ خزنده گوگل
چند وقت یکبار خزنده به سایت من سر میزند؟
بستگی به اعتبار سایت، تعداد صفحات و بسامد بهروزرسانی دارد. یک خبرگزاری پرترافیک ممکن است دقیقهای خزیده شود و یک سایت شخصی کمتغییر، هفتهای یکبار. انتشار منظم محتوای تازه، بسامد را افزایش میدهد.
چطور بفهمم خزنده صفحهٔ من را دیده است؟
از ابزار رسمی مدیران سایت گوگل استفاده کنید؛ آنجا تاریخ آخرین خزش هر نشانی و وضعیت ایندکس آن را نشان میدهد. راه فنیتر، بررسی گزارشهای سرور و جستوجوی نام خزنده در آنهاست.
آیا خزنده جاوااسکریپت را اجرا میکند؟
بله، اما با تأخیر و هزینهٔ بیشتر. محتوایی که فقط پس از اجرای جاوااسکریپت ظاهر میشود، ممکن است دیرتر یا ناقص ایندکس شود. اگر محتوا در خودِ فایل HTML موجود باشد — مثل سایتهای استاتیک — این ریسک کاملاً حذف میشود.
اصطلاحات همخانوادهٔ مفاهیم پایه سئو
مشاهدهٔ همه ←- سئو SEOسئو مجموعه اقداماتی است که باعث میشود صفحات یک سایت در نتایج غیرپولی موتورهای جستوجو بالاتر دیده شوند. برخلاف تبلیغات، در سئو بابت هر کلیک پولی پرداخت نمیکنید؛ در عوض روی کیفیت محتوا، ساختار فنی سایت و اعتبار دامنه سرمایهگذاری میکنید.
- بهینهسازی موتور جستوجوبهینهسازی موتور جستوجو شکل کامل و فارسیِ همان چیزی است که به اختصار سئو مینامیم. این صفحه به فرایند عملی میپردازد: از کجا شروع کنید، به چه ترتیبی جلو بروید و موفقیت را چطور اندازه بگیرید.
- کلمه کلیدیکلمهٔ کلیدی همان عبارتی است که کاربر در کادر جستوجو تایپ میکند. در سئو، کلیدواژه صرفاً یک واژه نیست؛ نمایندهٔ یک نیاز است — و کار شما پاسخدادن به آن نیاز است، نه تکرار آن واژه در متن.
- نیت جستوجونیت جستوجو یعنی هدف واقعی کاربر از تایپ یک عبارت. دو نفر ممکن است عبارت یکسانی جستوجو کنند اما یکی دنبال یادگیری باشد و دیگری دنبال خرید. تشخیص نادرست نیت، شایعترین دلیل شکست محتوایی است که از هر نظر دیگر بیعیب به نظر میرسد.
- رتبه گوگلرتبهٔ گوگل جایگاه یک صفحه در فهرست نتایج برای یک عبارت مشخص است. نکتهٔ مهمی که اغلب نادیده گرفته میشود: رتبه یک عدد ثابت نیست — برای هر کاربر، هر موقعیت جغرافیایی و هر دستگاه میتواند متفاوت باشد.
- نتایج ارگانیکنتایج ارگانیک آن دسته از نتایج جستوجو هستند که جایگاهشان را از الگوریتم گرفتهاند، نه از پرداخت پول. در مقابل آنها نتایج پولی (آگهی) قرار دارد که همیشه باید با برچسب مشخص از نتایج طبیعی جدا شوند.
برای درک کاملتر، اینها را هم بخوانید
- ایندکس گوگلایندکس گوگل پایگاه دادهٔ عظیمی است که محتوای تحلیلشدهٔ صفحات وب در آن ذخیره میشود. وقتی چیزی جستوجو میکنید، گوگل در لحظه کل وب را نمیگردد؛ فقط این ایندکس را جستوجو میکند. صفحهای که ایندکس نشده باشد، برای موتور جستوجو اصلاً وجود ندارد.
- الگوریتم گوگلالگوریتم گوگل مجموعهٔ سامانههایی است که تصمیم میگیرند برای هر عبارت جستوجو، کدام صفحات و با چه ترتیبی نمایش داده شوند. برخلاف تصور رایج، یک فرمول واحد نیست؛ دهها سامانهٔ مستقل است که هر کدام بخشی از قضاوت را انجام میدهند.
- سئو SEOسئو مجموعه اقداماتی است که باعث میشود صفحات یک سایت در نتایج غیرپولی موتورهای جستوجو بالاتر دیده شوند. برخلاف تبلیغات، در سئو بابت هر کلیک پولی پرداخت نمیکنید؛ در عوض روی کیفیت محتوا، ساختار فنی سایت و اعتبار دامنه سرمایهگذاری میکنید.