גילוי תחום הדומיין המפוקד וכיצד סיווגתי עשרת אלפים דומיינים בלילה אחד

שוק הדומיינים המפוקדים הוא פינה מוזרה של האינטרנט שבה ארכיאולוגיה של אתר אינטרנט נפגשת בהשקעה ספקולטיבית. בכל יום, אלפים של דומיינים פוקעים משום שהבעלים שלהם שכחו לחדש, החליטו שהפרויקט לא שווה להמשיך, או פשוט עברו להשקעות אחרות. דומיינים אלה חוזרים לבריכה הציבורית והופכים זמינים לכל אחד להרשם במחיר סטנדרטי. מה שהופך כמה מדומיינים שפקעו אלה לבעלי ערך, לפעמים יוצאים מן הכלל, הוא ההיסטוריה שהם נושאים. דומיין שאירח בלוג בריאות פופולארי למשך חמש שנים נצבר קישורים אחורנים מאתרי אינטרנט אחרים בתחום הבריאות, בנה סמכות דומיין בחרקי החיפוש, וקבע רלוונטיות הנושא בנישת הבריאות. אם דומיין זה פוקע וזה שחדש להרשום אותו לבנות אתר אינטרנט בריאות חדש, האתר החדש יורש חלק מהערך ה-SEO המצטבר. הקישורים האחורנים עדיין מצביעים על הדומיין. סמכות הדומיין, למרות שהיא יורדת בחוזקה ללא תוכן טרי, אינה מתאפסת לאפס בלילה.

זו היסוד של אסטרטגיית השקעה בדומיינים שפקעו שהפכה לתעשייה משמעותית. משקיעי דומיינים סורקים רשימות של דומיינים שמתפקעות מדי יום, מחפשים שמות בעלי פרופילי קישורים חזקים, ציוני סמכות דומיין גבוהים, והיסטוריות נקיות ללא ספאם או עונשים. הדומיינים המפוקדים הטובים ביותר יכולים להימכר בעבור אלפי דולרים לעסקים והשמות פרו-סיו סיוו שרוצים התחלה טובה בעלייה של נוכחות מנוע החיפוש של אתר אינטרנט חדש. אך יש דרישה קריטית שמפרידה בין השקעה רווחית בדומיינים לבין הנחשים יקרים: הדומיין צריך להתאים את הנישה של השימוש המיועד. דומיין בעל מאה קישורים אחורנים מאתרי אינטרנט פיננסיים הוא זהב עבור מישהו שבונה בלוג פיננסי. זה חסר ערך עבור מישהו שבונה אתר אינטרנט בישול, משום שהקישורים האחורנים מגיעים מנישה לא רלוונטית וסמכות הנושא אינה עוברת לקטגוריות שונות.

האתגר עבור משקיעי דומיינים בעצם כל סולם משמעותי הוא שרשימות דומיינים שפקעו מכילות אלפים של ערכים מדי יום, ובדיקה ידנית של הנישה של כל אחד היא בלתי אפשרית מבחינה פיזית. ביקור במכונת הוויי-באק כדי לראות מה כל דומיין השתמש בו לפי העבר, קריאת תוכן מאוחסן, ניתוח טקסטי קישור אחורני, ויצירת קביעת נישה עבור כל דומיין לוקח חמש עד עשר דקות לכל דומיין. בקצב זה, עיבוד אפילו מאה דומיינים ביום הוא עבודה במשרה מלאה. עשרת אלפים דומיינים, הנפח הדרוש כדי לעקוב אחר מציאת קומץ מהתכשיטים הראויים באמת בכל רשימת ירידה יומית, היה לוקח אדם אחד בערך שלושה חודשים עבודה שמונה שעות ביום. ה-בודק הדומיין עם נקודת הקצה שלו לגילוי הנישה בנוי כדי לכווץ את תהליך הידני של שלוש חודשים לתוך הפעלה אחת בלילה.

כיצד גילוי הנישה של הדומיין פועל

נקודת הקצה של גילוי הנישה מנתחת את שם הדומיין ואת המטא-נתונים המשויכים שלו כדי לסווג אותו לקטגוריית נושא. הסיווג מצטיירים בסימנים מרובים. שם הדומיין עצמו הוא הסימן הראשון והברור ביותר. דומיין המכיל מילים כגון "כושר", "אימון", או "ספורט" יש אינדיקטור לקסיקלי חזק של הנישה שלו. אך שמות דומיינים הם לעתים קרובות מקוצרים, יצירתיים, או לחלוטין מופשטים (חשבו על שמות מותג כמו "זאפיר" או "שופיפיי" שלא נושאים אותות נישה לקסיקליים), כך שהשם לבדו אינו מספיק לסיווג אמין.

נתוני התוכן ההיסטוריים מספקים את הסימן השני. מכונת הוויי-באק וקרנות אינטרנט דומות שומרות צילומי מסך של מה שדומיין אירח במהלך חייו הפעילים. ניתוח התוכן בטקסט, כותרות הדף, תיאורי מטא, מבנה כותרה של עמודים אלו מאוחסנים חושף את ההתמקדות הנושאית של אתר האינטרנט לשעבר בביטחון גבוה. דומיין שעמודים מאוחסנים שלו דנים ב"שיעורי משכנתא", "הון משכנתא", ו"אפשרויות עיסוק" הוא בבירור בנישת הפיננסים האישיים, ללא קשר למה שמציע שם הדומיין שלו. ניתוח התוכן ההיסטורי זה הוא הסימן הסיווג האמין ביותר אך גם העלות החישובית ביותר, וזו הסיבה לכך שהוא שמור לדומיינים העוברים בדיקה ראשונית בהתבסס על סימנים אחרים.

ניתוח טקסט הקישור האחורני מספק את הסימן השלישי. הטקסט שאתרי אינטרנט אחרים משתמשים בו בעת קישור לדומיין משקף כיצד האינטרנט הרחב הבין את התוכן של דומיין זה. אם רוב הקישורים האחורנים לדומיין משתמש בטקסט קישור הקשור ל"מתכונים טבעוניים", "בישול מבוסס צמחים", וחלופות חלב אחרות", נישת הדומיין היא מזון עם התמחות טבעונית, גם אם שם הדומיין עצמו הוא משהו גנרי. סימן זה שימושי במיוחד לגילוי סיווג משנה שחורג מעבר לקטגוריות רחבות, הבחנה בין דומיין מזון כללי לדומיין טבעוני ספציפי, או בין דומיין טכנולוגיה כללי לדומיין ספציפי במיוחד למיבטחון קיברנטי.

השילוב של סימנים אלו מייצר סיווג נישה עם ניקוד ביטחון. דומיינים בהם כל שלושת הסימנים מסכימים מקבלים דירוגי ביטחון גבוהים. דומיינים שבהם השם מציע נישה אחת אך התוכן והקישורים האחורנים מציעים אחרת מקבלים דירוגי ביטחון נמוך יותר עם הערות על הסימנים הסותרים. דומיינים עם נתונים בלתי מספיקים (ללא תוכן מאוחסן, קישורים אחורנים מעטים, שמות גנריים) מקבלים סיווג בהתבסס על כל סימנים זמינים, מסומנים בבירור כהערכות ביטחון נמוכות. גישה ניואנסית זו היא מה שהופכת את המערכת לשימושית באמת לקבלת החלטות בהשקעה, משום שסיווג נישה בביטחון גבוה נושא משמעות השקעה שונה מאוד מהערכה.

עשרת אלפים דומיינים בלילה אחד

עיבוד הקבוצה הלילי של עשרת אלפים דומיינים היה המבחן התפעולי שאישר את כל הגישה. הדומיינים הגיעו מרשימת ירידה יומית, הזנת עלנות זמינה לעולם של דומיינים שהשלימו את מחזור המחיקה שלהם והיו עומדים להיות זמינים להרשמה. המטרה הייתה לעבד כל דומיין דרך נקודת הקצה של גילוי הנישה, לסווג כל אחד לקטגוריית נושא, להקצות ניקוד ביטחון, ולהפיק פלט ממוין שהדגיש את יעדי הרכישה המבטיחים ביותר. הקריטריונים עבור "מבטיח" היו ספציפיים: דומיינים שסווגו כפיננסים, בריאות, טכנולוגיה, או נדל"ן (ארבע הניסות בעלות הערך המסחרי הגבוה ביותר עבור תוך-SEO), עם ניקודי ביטחון גבוהים והיסטוריות דומיין נקיות.

עיבוד הקבוצה רץ כעבודה מתוזמנת החל בחצות. כל דומיין הוצע ל-API עם עיכוב קצר בין בקשות כדי להישמר בתוך מגבלות קצב. ה-API עיבד כל דומיין, ניתח את הסימנים הזמינים, והחזיר תגובת סיווג. התוצאות נאספו למסד נתונים שאחסן את שם הדומיין, נישה גילויה, ניקוד ביטחון, וראיות תומכות (אילו סימנים תרמו לסיווג). בעד 6 בבוקר, כל עשרת אלפים דומיינים עובדו, והתוצאות היו מוכנות לבדיקה על פני כוס קפה בבוקר.

מתוך עשרת אלפים דומיינים, בערך 3,200 קיבלו סיווגי נישה בביטחון גבוה. ה-6,800 הנותרים היו או גם כללי מדי כדי לסווג, היו בעלי נתונים היסטוריים בלתי מספיקים, או הפיקו סימנים סותרים שמנעו קביעה אמינה. בין 3,200 דומיינים מסווגים, התפלגות על פני תשעים משקפת בערך את התפלגות של אתרי אינטרנט באינטרנט באופן רחב יותר: טכנולוגיה ומחשוב היתה הקטגוריה הגדולה ביותר, ואחריה עסקים ופיננסים, בריאות ובריאות, בידור, חינוך, וכל דבר אחר. ארבע הנישות שבמטרה (פיננסים, בריאות, טכנולוגיה, נדל"ן) חשבו כ-1,100 דומיינים, שזה מספר ניהול לבדיקה אנושית של המועמדים המבטיחים ביותר.

בתוך 1,100 דומיינים, מסנן משני בהתבסס על גיל דומיין, כמות קישור אחורני, והערכות סמכות דומיין הפחית את הרשימה לבערך ארבעים דומיינים שעמדו בכל הקריטריונים כדי להיות רכישות בעלות ערך פוטנציאלי. ארבעים דומיינים מתוך עשרת אלפים. שיעור זה 0.4% ממחיש הן את האתגר של השקעה בדומיינים שפוקעו (רוב הדומיינים המפוקדים אין להם ערך משמעותי) והן את ההכרח של סינון אוטומטי (מציאת אותם ארבעים מחטים בערימת עשרת אלפים דומיינים ידנית היתה דורשת שבועות). כמה מאותם ארבעים דומיינים רכשו במחיר רישום סטנדרטי ולאחר מכן נמכרו למשתמשים סופיים בכפלים משמעותיים. העלות הכוללת של עיבוד ה-API עבור כל קבוצה הייתה פחות מדמי הרישום עבור דומיין יחיד.

מעבר להשקעה בדומיינים וביישומים אחרים להגדלת הנישה

בעוד השקעה בדומיינים היא מקרה השימוש הדרמטי ביותר לגילוי נישה קבוצה, זה לא היחיד. אנשי מקצוע תוך-SEO משתמשים בסיווג נישה להערכת מקורות קישור פוטנציאליים. בעת בניית קישורים עבור לקוח בנישת הביטוח, זיהוי אילו דומיינים ברשימת הפרוספקט הם בעצם רלוונטיים לביטוח (לעומת דומיינים דומים באופן אחיד בנישות לא קשורות) חוסך בזמן וודא שמאמצי בנייה קישורים יעדים אתרי אינטרנט רלוונטיים לנושא. ה-API של דומיין נישה מספק סיווג זה בסדר גודל, וממיר משימה מחקר ידנית למדרגת-הסימנים אוטומטית.

קבוצות הגנת המותג משתמשות בסיווג נישה כדי לשמור על ניטור האם דומיינים שפוקעו דומים לשם המותג שלהם מסוג מחודש על ידי מתחרים או שחקנים רעים. אם דומיין שנשמע דומה למותג שירותי פיננסים מסוג מחודש וסיווג "פיננסים", קבוצת הגנת המותג יכולה לחקור האם היא משמשת לתוך דיוג, הונאה של שותף, או הפניית מתחרה. סיווג הנישה מוסיף הקשר שבדיקת זמינות דומיין פשוטה לא יכולה לספק: ההבדל בין "דומיין זה הורשם" ל"דומיין זה הורשם ונמצא בשימוש בתעשייה שלנו" הוא ההבדל בין תצפית שגרתית להתרעה פעלה.

חוקרי שוק משתמשים בסיווג נישת דומיין כדי ללמוד על מגמות בתעשייה. הנפח וההתפלגות של נישה של דומיינים שנרשמו לאחרונה ובעלי פוקעים בחדיוt יכול לשמש כאינדיקטור מובילה של פעילות שוק. עלייה בהרשמה דומיינים חדשים מסווגים "קריפטוגרפיה" או "DeFi" מתאם עם עניין עולה בחלקים אלו. עלייה מתאימה בפוקעות שנה או שתיים מאוחר יותר מתאם עם הניער המשתלם בהכרח. בעוד נתוני הרישום בדומיין הם אות רועש לניתוח שוק, זה אות מוקדם בעצם ייחודי: אנשים רושמים דומיינים לפרויקטים הם תכננו, אשר פירושו פעילות דומיין מקדימה את פעילות השוק בפועל בחודשים או אפילו שנים.

הכלכלה של קנה המידה בסיווג דומיינים

הכלכלה של השקעה בדומיינים שפוקעו תמיד חיזקה מפעילים שיכלו לעבד נפחים גדולים. שיעור זה על דומיינים פוקעו בעלי ערך באמת הוא נמוך, בדרך כלל בין 0.1% ל-1% תלוי בנישה והקריטריונים. פירוש הדבר הוא שכדי למצוא דומיין בעל ערך אחד ליום, משקיע צריך להעריך בין מאה ל-אלף מועמדים. כדי למצוא עשרה דומיינים בעלי ערך ליום, נפח הערכה צריך להגיע לאלפים. בקצבי הערכה ידניים (חמש עד עשר דקות לכל דומיין), אפילו הקצה התחתון של נפחים אלו אינו מעשי. ההגבלה על רווח אינה זמינות של דומיינים טובים. זה מהירות הערכה.

ה-API של בודק דומיין עם גילוי נישה מסיר את המגבלה זו. עיבוד עשרת אלפים דומיינים עלויות פחות מדמי רישום של דומיין אחד ומשלימים בתוך כמה שעות. הפלט הוא רשימה מוקדמת-מסננת וסיווגת-נישה שמפחית את עומס העבודה של הבדיקה האנושית מעשרת אלפים דומיינים לכמה עשרות מועמדים בעלי פוטנציאל גבוה. הכישרון האנושי שמשקיעי דומיינים מביאים לשולחן (הערכה של ברנדביליות, הערכה של איכות קישור אחורני, הערכה של ערך היפוך) מיושם רק לדומיינים שעברו בהצלחה את הסינון האוטומטי, מה שמשמעותו כישרון זה משמש ביעילות ולא מיוזל על פני אלפים של ערכים לא רלוונטיים.

עבור אחסן קבוצה בלילה של עשרת אלפים דומיינים, ההשקעה הכוללת הייתה כ-שלושים דקות של זמן הגדרה (כתיבת סקריפט קבוצה), אפס זמן פעיל במהלך עיבוד (הסקריפט רץ באופן אוטונומי), וחוות שתי שעות של זמן ביקורת לאחר הבוקר הבא להערכת ארבעים מועמדים קטנים. השקעה כוללת של שתיים וחצי שעה ייצרה כמה רכישות רווחיות. אותה הערכה שנעשתה ידנית היתה דורשת מאות שעות של עבודה משעממת וחוזרת שלא יכול כל אדם להחזיק בעקביות על פני שבועות וחודשים. ההבדל בין הערכה ידנית ואוטומטית אינו רק מהירות. זה כושר קיימא. תהליך ידני שעובד פעם אחת מתמוטט תחת חזרה יומית. תהליך אוטומטי שעובד פעם אחת עובד כל יום עם אפס זמן נוסף, ונפח היומי יכול להרחיב מעשרת אלפים לחמישים אלף למאה אלף בהתאם פרמטרי קבוצה ולא תעסוקה של צוות נוסף.