קידום אתרים משנות ה-90 ועד היום

איך הכול התחיל?

באמצע שנות ה 90 החלו מספר מנועי חיפוש את מסע סריקת האינטרנט הראשון שלהם. במסע זה הפעולות אותם ביצעו מנועי החיפוש היו סריקת אתרי אינטרנט ופיזור המידע הסרוק בתוך אינדקס מסודר מתוכו ישאבו מידע בשלב מאוחר יותר. באותה תקופה כל שהיו צריכים לעשות מנהלי האתרים כדי שהאתר שלהם יופיע במנועי החיפוש, זה לרשום את אתר האינטרנט שלהם לאתרי מנועי החיפוש השונים, אותם מנועי חיפוש כבר היו שולחים את הזחלן שלהם לסרוק את האתר ולאחסן את המידע בצורה מסודרת בתוך האינדקס שלהם שיושבים על שרתיהם. כמו כן, הזחלן ידע לקרוא את כל הקישורים שיוצאים מהאתרים שאונדקסו, להגיע גם כן אליהם, ולהכניס את האתרים החדשים שגילה גם לאינדקס, כמו כן, קבע טיימר בו יגיע חזרה לאותו אתר, יסרוק אותו ויבדוק האם יש משהו חדש או שמשהו שונה מאז האינדוקס האחרון.

הרבה בוני אתרים ומנהלי אתרים כבר באותה התקופה זיהו את הפוטנציאל בדירוג גבוהה במנועי חיפוש. לראשונה נכתב המונח SEO  ובעברית – קידום אתרים בשנת 1997 – על ידי בעלים של חברת שיווק ושמו ג'ון אודט.

במהרה החלו הרבה מונחים כמו מטה טאגס, פוטר, טיטלים שקשורים באופן ישיר לדרך שבה האתר מוצג למנועי החיפוש לעניין את בוני האתרים. הרבה מקרים בהם התוכן והאופן שהוא הוזן לתוך דפי האינטרנט אותם בוני האתרים ניסו לקדם היה שגוי (מחוסר ניסיון וכלים), דבר זה גרם להרבה דפי אינטרנט להופיע בביטויים מאד לא רלוונטיים במנועי חיפוש. כמו כן עוד שינויים בוצעו בקוד ה HTML של אתרי האינטרנט באותה תקופה בניסיון לקבל דירוג טוב יותר במנועי החיפוש.

באמצעות השימוש הלא מפוקח של בוני האתרים על כמות המילים שיופיעו באתרי האינטרנט אותם הם ניסו לדרג במילות חיפוש נפגעו מספר רב של מנועי חיפוש מאותה התקופה. והמגננה של מנועי החיפוש היתה רק הצגה של תוצאות רלוונטיות בלבד בעבור מילות החיפוש אותן מחפש הגולש. היה ברור שמנועי החיפוש זה הדבר הבא בעולם האינטרנט, ותוצאות שגויות זה בדיוק מה שיגרום לגולשים לחפש מנוע חיפוש טוב יותר, עם תוצאות תקינות. לכן, מנועי החיפוש החלו לבנות אלגוריתמים יותר ויותר מתוחכמים במטרה לייאש את בוני האתרים ולחסום אותם מהפעלת מניפולציות. כבר אז התחילו לצוץ מנועי חיפוש מובילים כמו Astalavista.

בשנים מאוחרות יותר, כבר מנועי חיפוש נהיו מאד נוקשים – בשנת 2005 פורסם מאמר שעשה הרבה מאד רעש בארה"ב על חברה בשם Traffic Pwoer – החברה השתמשה בשיטות קידום מאד אגרסיביות, בכדי לקדם את לקוחותיה בדירוגים במנועי חיפוש (אז כבר גוגל היתה מנוע החיפוש המוביל) מאט קאטס – אחראי מחלקת ספאם בגוגל אישר כי גוגל נידו את החברה ואת כל לקוחותיה מתוצאות החיפוש בגוגל.

מאז אותם שנים שבאמת מנועי החיפוש היו פוגעים בעסקים (אפילו עסקים גדולים מאד כמו BMW) שהיו מקודמים בצורה ברברית ולא מבוקרת, החלו מנועי החיפוש לתת מידע וטיפים איך לקדם את האתרים בצורה בריאה, התחילו בהפצת כלים מאד יעילים, פרסום מאמרים, ארגנו כנסים וצ'אטים חיים עם נציגים מטעם חברות מנועי החיפוש. שתי דוגמאות בולטות – תוכנת ה-Google Search Console של גוגל שעוזרת למנהלי אתרים להבין למה האתר שלהם לא מאונדקס בצורה טובה, או למה חסרים דפים בדרך שמנוע החיפוש רואה אותו. כמו כן, Yahoo השיקו את כלי ה Site Explorer שהוא כלי מדהים לכל הדעות בעבור מקדמי אתרים כדי לראות אילו אתרים ממליצים על האתר שלהם ומה היא גודל וחשיבות ההמלצה.