ידוע שכיום גולשים באינטרנט מחפשים לא רק אחר מקורות מידע אמינים, אלא גם מקורות עדכניים. זאת הסיבה שבגללה גוגל, בינג ושאר מנועי החיפוש עושים בשנים האחרונות מאמצים לזרז את תהליך האינדוקס. לפני כמה חודשים גוגל הכריזה על סיום הטמעת גוגל קפאין, מערכת האינדוקס החדשה שלה אשר אמורה לספק אינדוקס ותוצאות חיפוש עדכניים יותר.
האמת היא שבהשוואה לעבר, תהליך האינדוקס באמת הפך למהיר יותר. למרות זאת יש עדיין מנהלי אתרים אשר נתקלים בבעיות אינדוקס אם וכאשר הם מעלים לאוויר אתר חדש או לאחר שהם מוסיפים עמודים חדשים לאתר. בפוסט הזה אני אתייחס ל 6 טכניקות קידום אתרים אשר יכולות לסייע בתהליך האינדוקס של האתר ולזרז אותו.

1. הגשת אתר לסריקה ב - webmaster tools
בממשק webmaster tools ישנה אופציה להגיש עמוד מסוים באתר לסריקה על ידי הבוט של גוגל. תחת Google labs הכנסו לעמוד “אחזור כ - Googlebot” והזינו את הכתובת המיועדת לסריקה.

2. הגדילו את כמות הקישורים הנכנסים
הגדילו את מספר הקישורים הנכנסים לאתרכם ,בין אם זה לעמוד הבית או לעמוד אחר אותו אתם מעונינים לאנדקס. עדיף שהקישורים יגיעו מכמה שיותר דומיינים נפרדים, מכיוון שהבוטים של מנועי החיפוש סורקים את הרשת באמצעות הקישורים בין האתרים ולכן ככל שיופנו לאתר שלכם מספר גדול יותר של קישורים ממספר רב יותר של דומיינים הסורק של מנוע החיפוש יוכל למצוא את דפי האתר שלכם ביתר קלות. מספר הקישורים הנכנסים לאתר הוא גם אחד הגורמים המשפיעים על מידת העומק שבו הבוט של מנוע החיפוש סורק את האתר.

3. קישורים מאתרי תוכן גדולים
אתרים בעלי כמות גדולה של עמודים ואינפורמציה המתעדכנים מספר רב של פעמים במהלך היום “מאלצים” את מנועי החיפוש לבקר בהם ולסרוק את העמודים שבהם בתדירות גבוהה יותר. לכן, קישורים מרשתות חברתיות, אתרי אקטואליה, פורומים ובלוגים גדולים מסייעים לקשר את מנוע החיפוש עם עמודי האתר שלכם במהירות גבוהה יותר (גם אם הקישורים מוגדרים כ - nofollow).

4. הוסיפו מפת אתר
באופן תיאורטי למנועי חיפוש יש את היכולת לסרוק את עמודי האתר ללא יד מכוונת מצד מנהל האתר. אבל בכל זאת מומלץ להוסיף (בעיקר באתר בעל מספר רב של עמודים ) מפת אתר מסוג HTML או XML וזאת מכמה סיבות.
א. ניתן להעלות מפת אתר די בקלות ובמהירות. ישנם כלים אוטומטיים רבים וחינמיים אשר יאפשרו לכם ליצור אחת משלכם.
ב. למרות יכולות הסריקה של מנועי החיפוש, מפת אתר מסייעת בזירוז הסריקה.
ג.במקרים מסויימים (לא רבים) המפה משמשת גם את הגולשים ככלי התמצאות באתר.
** אל תשכחו לעדכן את מפת האתר במידה ומתווספים עמודים נוספים.

5. בדקו את מבנה האתר
מומלץ לפרוס את עמודי האתר בצורה רוחבית ולא לעומק, כך שלא יהיה עמוד באתר הנמצא במרחק של יותר מ - 3 קליקים מהעמוד הראשי.
בנוסף, שימו לב שקישורים באתר אינם מכילים את התג no index ושאין תוכן כפול באתר. כאשר מופיעים שני עמודים זהים באתר, מנוע החיפוש יאנדקס רק אחד מהם.

6. שנו את תדירות הסריקה בכלי מנהל האתרים של גוגל
כנסו לחשבון webmaster tools של האתר ואפשרו סריקה מהירה יותר של Googlebot עבור האתר שלכם.
קחו בחשבון שפעולה זו יכולה להכביד על השרת בו מאוחסן האתר ולכן מומלץ להתייעץ עם חברת האחסון לפני ביצוע שינוי בתדיות הסריקה.

7. Robot.txt
בדקו שקובץ Robot.txt אינו מכיל ערכי ‘ Dissalow ‘ עבור עמודים המיועדים לסריקה על ידי הבוט של מנועי החיפוש.

עובדה ידועה היא ששימוש בפלאש הוא עניין בעייתי כשזה מגיע לתחום של קידום אתרים. זה לא אומר שאין להשתמש בפלאש בכלל. פלאש זאת תוספת ויזואלית נחמדה לאתר, אבל יש להתייחס אליה כאל תוספת ולא לבנות אתר על סמך טכנולוגיה זו בלבד.
אני עדיין נתקל במעצבי/בוני אתרים המתעקשים לבנות אתרים בפלאש בלבד שאולי הם יפים מאד ויזואלית אולם אינם ידידותיים למנועי חיפוש.
בבלוג הרשמי של גוגל פורסם פוסט שבו פרטו בדיוק מה ההמלצות של גוגל לגבי שימוש בפלאש.
להלן סיכום המלצות גוגל על שימוש בפלאש:

פלאש הוא מדיום ויזואלי, לגוגלבוט (העכביש של גוגל) אין עיניים לאלמנטים ויזואלים. גוגלבוט יכול לקרוא אלמנטים של פלאש ולהוציא משם את הטקסט ואת הקישורים אולם חסרים לו המבנה וההקשר של מנת לנתח את האלמנט כפי שצריך. כמו כן, טקסט רב נשמר בפלאש באופן גראפי בלבד ולגוגלבוט אין את היכולת לראות תוכן זה. גוגלבוט מפספס אלמנטים רבים וחשובים הקיימים באלמנטים של פלאש.
המשמעות היא שגם אם תוכן הפלאש קיים באינדקס של גוגל הוא יהיה חלקי בלבד. יחסרו בו תוכן, קישורים, מילות מפתח ועוד. הגוגלבוט הוא יחסית סורק אתרים מתקדם, סורקים של מנועי חיפוש אחרים לא יקראו את הפלאש בכלל.

אז הנה המלצות שימוש בפלאש לבוני אתרים:

1. חוק הברזל הראשון הוא להראות לגוגלבוט בדיוק את אותו התוכן שמראים לגולשים. מומלץ מאד לא להסתכן בהכפלות דפים, הפניות ג’אווה סקריפט, ובאלמנטים אחרים הנחשבים כספאם שמטרתם להציג עמוד אחד לגולש ועמוד אחר לגוגלבוט.

2. השתמשו בפלאש רק במקומות בהם יש צורך. אתרים רבים הנם מתקדמים, דינמיים ומכילים פלאש אולם כשזה מגיע לתוכן ולניווט הם מסתמכים על HTML פשוט. זאת הדרך הנכונה. ניתן להשתמש בפלאש למטרות תוספת והדגשה, אולם לקטעים החשובים של האתר כגון תוכן וניווט - רצוי להשתמש בHTML רגיל. בנייה כזאת יוצרת נגישות יותר גדולה לאתר גם לגולשים כבדי ראייה המשתמשים בדפדפנים קוליים, גם למשתמשים בדפדנים לא סטנדרטיים וגם לבעלי פס צר ולגולשים בסלולר.

3. שימוש בטכנולוגיית sIFR בנוסף לפלאש. אתרים רבים משתמשים בפלאש על מנת להציג טקסטים ותכנים באמצעות גופנים שלא נמצאים במחשב של הגולש. טכנולוגיה כמו sIFR מאפשרת לדפדפנים ללא פלאש לקרוא תכנים אלה מאחר והתוכן הבסיסי קיים בHTML ורק מקודד באמצעות פלאש.

4. יצירת גרסאות ללא פלאש. אחד השימושים הנפוצים לפלאש היא עמוד פתיחה לאתר המכיל קישור לתוכן HTML הקיים עמוק יותר באתר. במקרה כזה יש לוודא שבנוסף לפלאש בעמוד הפתיחה יש קישור HTML רגיל לתוכן הפנימי שאינו פלאש. רצוי שבעמוד זה יהיה קישור למפת האתר בפורמט HTML.

לסיכום - אין שום בעיה להשתמש בפלאש ליצירת תכנים דינמיים באתרים, אולם חשוב מאד לא לבסס את כל האתר על סמך טכנולוגיה זו, ולהשאיר את האלמנטים החשובים כגון תוכן וניווט בפורמט HTML פשוט ונגיש.

במהלך הגלישה ברשת יוצא לי להיתקל באתרים רבים שהולכים נגד עקרונות הידידות למנועי חיפוש. לא מדובר פה באופטימיזציה לא תקינה אלא בבעיות מהותיות המונעות מעכביש מנוע החיפוש לסרוק את האתר כראוי.
עכביש מנוע החיפוש הסורק את האתר הוא כמו דפדפן פרימיטיבי. ברגע שיש הגבלה בסיסית על הסריקה - העכביש פשוט אינו ממשיך הלאה.

מסגרות:
לקראת סוף שנות ה-90 זה היה אחד הלהיטים בתחום בניית האתרים. אתר הבנוי ממספר מסגרות כאשר כל מסגרת היא עמוד HTML שונה, וכשמקליקים על קישור במסגרת אחת מסגרת אחרת תשתנה - שאר המסגרות יישארו קבועות. הבעייה ברמת מנועי החיפוש היא שכאשר האתר נסרק אז רק המסגרת הראשונה נסרקת, בדרך כלל מסגרת זו מכילה את לוגו האתר כקובץ תמונה (כמובן ללא תגית alt) וכך מנוע החיפוש אינו יכול להגיע לשאר המסגרות ואינו יכול לקשר את האתר לשום תוכן. באתרי מסגרות מסוימים מצליח מנוע החיפוש לאנדקס את שאר המסגרות (זה תלוי במבנה הקישורים באתר) אבל אז הוא יפנה לעמודים הספציפיים והגולש יגיע רק למסגרת אחת מהאתר ולא לאתר כולו.
ברמת קידום אתרים יש שימוש לפקודת מסגרות הנקראת Iframe, בפקודה זו משתמשים כאשר מעוניינים להכניס לעמוד מסוים באתר חלק שלא מעוניינים שייסרק על ידי מנוע החיפוש. פקודה זו מכניסה מסגרת פנימית לתוך העמוד עצמו, כשמנוע החיפוש מגיע למסגרת הוא מדלג על התוכן שלה (אלא אם כן יש קישור רגיל המוביל לתוכן).

אתרי פלאש:
כבר דובר רבות על אתרי פלאש, מנועי חיפוש וקידום אתרים. אז קודם כל אני חייב לציין שאין כל מניעה להשתמש בפלאש. יש אתרים שזאת תוספת נחמדה ודינמית, אם כי מיותרת ברוב המקרים ברמת מנועי חיפוש. הבעייה היא שעכביש מנועי החיפוש אינו יודע לקרוא קבצי פלאש כראוי ולכן לא יכול לקשר אותם לתכנים ספציפיים. אתר הבנוי כולו מפלאש מבזבז את כל תוכנו בפלאש מכיוון שמנועי החיפוש לא מצליחים לקרוא את התוכן. בעיה נוספת בפלאש היא שמנוע החיפוש לא יכול להמשיך לסרוק קישורים הקיימים בתוך המצגת. התוצאה בדרך כלל לאתר פלאש היא שהאתר לא ימוקם במיקומים גבוהים במנועי החיפוש, האתר לא יקושר למילים ולביטויים מסוימים (אלא אם כן טקסט העוגן של הקישורים המובילים לאתר מכילים ביטויים אלה), ורק עמוד אחד בלבד יאונדקס מהאתר.
מומלץ להימנע מאתר הבנוי כולו בפלאש, ומעמוד “ברוכים הבאים” הבנוי מפלאש (גם מקשה על מנוע החיפוש לסרוק את האתר וגם מעצבן את רוב הגולשים).
אפשר לשים עמודי פלאש באתר או עמודים המכילים אלמנטים של פלאש כל עוד התוכן והקישורים בפלאש מגובים בתוכן טקסטואלי ובקישורי HTML פשוטים המקבילים לזה הנמצא בפלאש.

קישורי JavaScript:
מנועי חיפוש אינם יכולים לקרוא קישורי JavaScript אז בדומה לקישורי פלאש יש לגבות אותם בקישורי HTML פשוטים.

הגבלות שונות על דפדפן:
אתרים רבים מטילים מגבלות שונות על דפדפנים. נתקלתי לאחרונה באתר שבכל פעם שגלשתי אליו באמצעות דפדפן פיירפוקס קיבלתי הודעה שהוא לא מותאם לדפדפן זה. מה שאתר זה בעצם עשה הוא מנע מכל דפדפן שאינו אקספלורר לקרוא את האתר. אמנם אחוז המשתמשים בפיירפוקס בארץ אינו משמעותי עבור בוני האתרים, אבל במקביל אותו אתר חסם את הכניסה של העכבישים של מנועי החיפוש.
יש מגבלות שמוטלות על הדפדפן שמנועי החיפוש מענישים עליהם במיקום כשאחת המגבלות הבולטות היא ביטול כפתור הback בדפדפן.

שימוש בקבצי קוקי:
מי לא אוהב עוגיות? כנראה שעכבישים לא.
העכבישים הסורקים את האתר אינם מסוגלים לקבל קבצי קוקי, לכן כל עמוד באתר המחייב קבלת קבצי קוקי על מנת להיכנס אליו - לא יאונדקס.

תגיות רובוט/קובץ robots.txt שנשארו מתקופת הפיילוט של האתר:
יש מספר דרכים להגביל את סריקת האתר, גם באמצעות תגיות המכוונות לרובוטים (nofollow, noindex), וגם באמצעות קובץ robots.txt המורה לעכבישים השונים כיצד לסרוק את האתר. יש סיבות רבות לשילוב אלמנטים אלה באתר כאשר אחת הסיבות היא אתר בשלבי הרצה שלא רוצים שיאונדקס עדיין. פעמים רבות מעלים את האתר לאוויר כאשר שוכחים לשנות את התגיות ואת הקובץ המוכוונים לעכביש - ואז ההגבלות נשארות בעינן.

אני כל הזמן נתקל בטעויות חדשות, ברגע שיצטברו עוד כמה אז אשתדל לפרסם פה.

ברבים מהפוסטים הקודמים הזכרתי את חשיבות מפת האתר, בפוסט הקרוב אפרט יותר לגבי חשיבות מפת האתר, השימושים והמשמעויות.
חלק ב’ של הפוסט יכיל מדריך לרישום מפת האתר בכלי ניהול האתרים של גוגל, והסבר לגבי שימוש בכלי ניהול האתרים.

בוני אתרים רבים מחליטים לא לשים מפת אתר באתר בטענה שהגולשים אינם משתמשים במפת האתר בכלל. הם צודקים. גולשים אינם משתמשים בכלל במפת האתר - אבל מפת האתר לא מיועדת לגולשים. מפת האתר מיועדת בעיקר למנועי חיפוש.

מפת האתר היא פרישה של מבנה הקישורים באתר על מנת לעזור למנוע החיפוש לסרוק את האתר. מפת אתר HTML פשוטה הכרחית כאשר הקישורים מעמוד הבית אינם גלויים למנוע החיפוש (קישורי ג’אווה או קישורים דינמיים אחרים) וכאשר עמוד הבית עשוי כולו מflash. מנועי החיפוש לא יכולים לקרוא מצגות פלאש ולכן אינם יכולים לסרוק את האתר כולו. ברגע שהם נתקלים בעמוד פלאש הם יחפשו קישורים פשוטים היוצאים מהעמוד בעזרת מפת האתר ואז יוכלו מנועי החיפוש לסרוק את האתר כראוי. יש הטוענים שכאשר העכביש של גוגל סורק אתר הוא בראש ובראשונה מחפש קובץ שנקרא sitemap.

גרסה אחרת למפת האתר היא גרסת XML, זאת מפת אתר הבנויה לרישום במנועי חיפוש. מפת האתר מכילה מספר פרמטרים חשובים:כתובות עמודים באתר, מידת חשיבות עמוד מדד של 0-1 (לדוגמא עמוד ראשי=1, קטגוריה ראשית=0.7, וכו’) ותכיפות שינויים בעמוד הספציפי (יומי, שבועי, חודשי וכו’). אל דאגה - אין צורך לבנות ולפרט את זה באופן ידני. יש תוכנות שעושות את זה.

אני באופן אישי רכשתי רשיון לתוכנה שנקראת a1 sitemap generator (חודש ראשון שימוש חינם), אבל חיפוש בגוגל עבור free sitemap generator יביא כלים רבים ללא תשלום לבניית מפות אתר. למשתמשי וורדפרס יש תוסף מצויין שנקרא google sitemap generator שבונה מפות אתר לבלוגים (אני משתמש בו בבלוג זה). הנה דוגמא למפת האתר של הבלוג הזה בXML.

את מפת האתר בגרסת XML רושמים בכלי ניהול האתרים של גוגל (Google webmaster tools). באמצעות הרישום גוגל מקבל יותר מידע לגבי האתר ובמקביל גם מעניק לנו מידע מפורט יותר לגבי ניראות האתר בעיני מנוע החיפוש. גם ליאהו יש כלי ניהול אתרים דומים וMSN - LIVE מתכוונים לפתוח שרותי ניהול דומים. בחלק השני של הפוסט אסביר לגבי רישום מפת האתר בגוגל ואיזה נתונים ניתן לראות באמצעות כלים אלה.

הפוסט האחרון בסדרת הגורמים המשפיעים על גוגל יביא את 5 הגורמים המשפיעים על המיקום באופן שלילי, על פי הסקר של אתר SEOmoz.

מקום 5 - שימוש יתר בביטויי מפתח:

לאתרים רבים יש נטייה לשים בתחתית העמודים או במקומות נסתרים רשימות מכולת של ביטויי מפתח שחוזרים על עצמם. גוגל מזהה את זה ורואה את זה כניסיון של ספאם וכשיטת קידום לא אתית. לא משנה אם הטקסט הוא בצבע הרקע והגולש אינו רואה אותו - גוגל מזהה את הנסיונות האלה. במקרה הטוב הוא מתעלם מהם ובמקרה הרע (הנפוץ יותר) מעניש עליהם בדרוג. על ביטויי המפתח להופיע בתדירות של כ3-5% מכלל התוכן בעמוד, במיקומים אסטרטגיים לאורך כל העמוד, לפעמים אפשר קצת יותר. תמיד צריך לשים לב להיזהר מאופטימיזציית יתר - אופטימיזציה מושלמת מידי גם יכולה לפגוע באתר.

מקום 4 - תגיות כותרת/תגיות מטה זהות על פני עמודי אתר רבים:

במקום הראשון בסדרת הגורמים המשפיעים על המיקום בגוגל דיברנו על תגיות הכותרת. צריך לשים לב לטקסט ששמים בתגיות הכותרת ובתגיות האחרות (תיאור, ביטויי מפתח) ולוודא שלכל עמוד יהיו תגיות ייחודיות משלו. תגיות מטה זהות לעמודים רבים ייצרו בעיני גוגל רושם של עמודים כפולים מה שיגרום לניפוי של עמודי אתר מאונדקסים. בפוסט הראשון לגבי בדיקת סטטוס אתר הסברתי איך אפשר לבדוק אם גוגל רואה עמודים כפולים באתר. אתר עם מעט תוכן ייחודי כמובן ימוקם נמוך בתוצאות החיפוש.

מקום 3 - קישורים יוצאים לאתרים בעלי איכות נמוכה/אתרי ספאם:

נקודה חשובה מאד לגבי קישורים היוצאים מהאתר היא שלא יובילו לאתרי ספאם, חוות קישורים, אתרי הימורים, אתרי סקס ולכל אתר אחר שיכול להיחשב לאתר בעל איכות נמוכה. ברגע שקישור מהאתר יוביל לאתר בעל איכות נמוכה - גוגל יסיק שהאתר המקשר הוא גם בעל איכות נמוכה. באופן אישי יצא לי להיתקל באתרים שנעלמו מתוצאות החיפוש רק בגלל קישור יוצא אחד, ברגע שהקישור הורד מהאתר הם חזרו למיקומם הטבעי בתוצאות.

מקום 2 - תוכן דומה או כפול לתוכן שכבר קיים באינדקס:

במקום 4 דובר על הכפלת תכנים באתר עצמו, סעיף זה מדבר על הכפלת תכנים של אתרים אחרים. אחד מקיצורי הדרך הנפוצים ברשת היא העתקת תכנים מאתרים אחרים, לעניות טעמי אין עם זה בעיה כל עוד זה בהסכמת בעל התוכן המקורי ויש קרדיט שמפנה למקור. מנועי החיפוש עובדים לפי זמן האינדוקס. ברגע שיש שני עמודים מאתרים שונים בעלי תוכן זהה או כפול, העמוד שאונדקס ראשון יהיה גבוה בתוצאות החיפוש, כל עמוד בעל תוכן זהה או כפול שאונדקס לאחר מכן - יידחק לתחתית תוצאות החיפוש. התוכן הכפול לא יפגע בדרוג הכללי של האתר אלא אם כן חלק ניכר מהאתר או האתר כולו בנויים על תכנים כפולים.

מקום 1 - שרת האתר אינו זמין לעכביש מנועי החיפוש:

הגורם המשפיע ביותר באופן שלילי על מיקום האתר אינו תלוי באתר עצמו - אלא בשרת עליו מאוחסן האתר. ברגע שהשרת לא זמין - בין אם לעכביש של מנוע החיפוש ובין אם לגולש עצמו, אין למנוע החיפוש מה לאנדקס בכלל. כשאין מה לסרוק - אין מה לאנדקס. אין בעיה עם חוסר זמינות של כמה דקות פה ושם - אבל ברגע שהשרת אינו זמין ליותר מ48 שעות דרוג האתר נופל באופן משמעותי. זמינות השרת זהו פרט חשוב מאד שיש לבדוק מול חברת האחסון (ובעזרת לקוחות אחרים שלה) בזמן רכישת שטח אחסון.
יש גורמים נוספים שיכולים להפוך אתר ללא זמין לסריקה - תגית מטה NoIndex שמורה לעכביש מנוע החיפוש לא לאנדקס את העמוד, תגית מטה NoFollow המורה לעכביש לא לעקוב אחרי קישורים יוצאים מהעמוד, וקובץ robots.txt המפרט את הגבלות האינדוקס השונות של האתר. לפעמים אלמנטים אלה נמצאים באתר במקרה (שאריות משלבי הניסיון של האתר ועוד סיבות שונות ומשונות), ולפעמים באופן מכוון - כאשר אנחנו באמת רוצים למנוע מהעכביש לסרוק חלקים מהאתר. ברגע שהעכביש לא מאנדקס עמודים מהאתר יש לבדוק המצאות של אלמנטים אלה. ראוי לציין כי אלמנטים אלה מגבילים את מנוע החיפוש באינדוקס עמודי האתר - אולם אינם פוגעים בדרוג הכולל של האתר (אלא אם כן הם מורים לעכביש לא לאנדקס את האתר כלל ).

סיכום:

אז אלה היו הגורמים המשפיעים על המיקום בגוגל. ישנם עוד גורמים רבים אחרים המשפיעים על קידום בגוגל, שייצא לי להזכיר פה ושם, אבל אלה היו הגורמים העיקריים - החיוביים והשליליים המשפיעים על מיקום האתר בעמוד תוצאות החיפוש. אני מקווה שהסדרה עזרה ותעזור להבין בעיקר את אופן המחשבה של גוגל ותאפשר לכל בעל אתר לבצע את ההתאמות הבסיסיות למנועי החיפוש. לבסוף אני רוצה להודות לאנשי אתר SEOmoz על המחקר המעולה שעשו ועל העובדה שאישרו לי להביא חלקים מהמחקר כמו גם להוסיף פרשנות אישית שלי.

ניתן להגיב ולדון על סדרת הפוסטים הזאת בפורום קידום אתרים ושיווק.

רציתי להוסיף הסבר קטן לגבי תהליך הסריקה של אתרים.

מנועי החיפוש משתמשים בזחלן/עכביש (crawler/spider) שסורק את האתרים באינטרנט. העכביש הוא מעין דפדפן פרימיטיבי שסורק את האתר ברמת הטקסט, מנתח אותו ומקטלג אותו, ואז בהתאם לנוסחה של מנוע החיפוש הספציפי קובע את דירוג העמוד עבור מילים וביטויים המופיעים בעמוד. מכיוון שהוא כמו דפדפן פרימיטיבי אז לעכביש יש בעיות באינדוקס עמודים דינמיים (עמודי פלאש למיניהם), עמודים הבנויים ממסגרות (frames), עמודים שדורשים אישור, או עמודים אחרים היוצרים מגבלה בסיסית.

אחרי שהעכביש מסיים לאנדקס עמוד הוא ממשיך בסריקה דרך הקישורים היוצאים מהעמוד, כך הוא סורק גם את שאר עמודי האתר ואת האתרים אליהם העמוד מקשר. אם יש באתר קישורי ג’אווה, ajax, או קישורים אחרים הכתובים בשפה דינמית, מנוע החיפוש לא יזהה אותם ולא ימשיך לאנדקס את העמודים בהמשך לקישורים אלה - מגבלה זאת מונעת ממנוע החיפוש לאנדקס את האתר כמו שצריך. כדי לפתור את זה ניתן להוסיף לעמודי האתר קישור למפת אתר (מומלץ לעשות זאת גם בלי קשר), למרות שעדיף להפוך את הקישורים האלה לפשוטים וגלויים עבור מנוע החיפוש כדי לא לפגוע במבנה הקישורים הפנימי באתר.

תדירות הסריקה משתנה מאתר לאתר בהתאם לתדירות השינויים באתר ובהתאם למספר הקישורים שמובילים לאתר. ככל שיש יותר קישורים המובילים לאתר העכביש יבקר בו יותר פעמים (זאת רק אחת הסיבות לחשיבות כמות גדולה של קישורים נכנסים לאתר). יש אתרים אותם העכביש סורק מידי דקה, ויש אתרים שהעכביש מבקר בהם פעם בשבוע (ניתן לראות את ביקורי העכביש בנתוני הסטטיסטיקה של האתר).

ניתן להטיל הגבלות על עכבישים של מנועי החיפוש בשתי דרכים:

1. תגיות HTML בקוד האתר שאומרות לעכביש האם לאנדקס או לא (index/noindex) את העמוד המסויים ואם להמשיך או לא (follow/nofollow) אחרי הקישורים היוצאים מהעמוד.
2. קובץ robots.txt זהו קובץ טקסט שיושב על השרת ושם ניתן להכניס הוראות שונות לעכביש ולבקש ממנו לסרוק/לא לסרוק ספריות, סוגי קבצים, עמודים ועוד. במידה ולא קיים קובץ כזה, העכביש יסרוק את כל האתר בהתאם למגבלות שנקבעו בתגיות הHTML .

הרעיון הבסיסי בקידום אתרים הוא לחשוב כמו מנוע החיפוש ולבנות אתר בהתאם. כמובן שנוחות וידידותיות לגולש הם עקרונות חשובים מאד בבניית אתר ובקידומו, אבל מתברר שבדרך כלל אתרים ידידותיים למנועי חיפוש הם גם ידידותיים ונוחים לגולשים.