Виявлення ніші застарілого домену та як я класифікував десять тисяч доменів за ніч

Ринок застарілих доменів — це дивна кутина Інтернету, де археологія веб-сайтів зустрічається зі спекулятивним інвестуванням. Щодня тисячі доменів закінчуються тому, що їхні власники забули їх поновити, вирішили, що проект не варто продовжувати, або просто перейшли до інших заходів. Ці домени повертаються у публічний пул і стають доступними для реєстрації всім бажаючим за стандартною ціною. Те, що робить деякі з цих застарілих доменів цінними, іноді надзвичайно цінними, — це історія, яку вони несуть з собою. Домен, який розміщував популярний блог про здоров'я протягом п'яти років, накопичив зворотні посилання з інших веб-сайтів, пов'язаних зі здоров'ям, створив авторитет домену в пошукових системах і встановив тематичну відповідність у ніші здоров'я. Якщо цей домен закінчується і хтось його реєструє для побудови нового веб-сайту про здоров'я, новий сайт успадковує частину того накопленого SEO значення. Зворотні посилання все ще вказують на домен. Авторитет домену, хоча він з часом розпадається без свіжого контенту, не скидається на нуль за ніч.

Це основа стратегії інвестування в застарілі домени, яка стала значною індустрією. Інвестори в домени щодня сканують списки доменів, які закінчуються, шукаючи імена з сильними профілями зворотних посилань, високими оцінками авторитету домену та чистою історією без спаму або штрафів. Найкращі застарілі домени можуть продаватися за тисячі доларів комерційним компаніям та фахівцям з SEO, які хочуть отримати фору при будівництві присутності нового веб-сайту в пошукових системах. Але є критичний вимір, який відокремлює прибуткове інвестування в домени від дорогих здогадів: застарілий домен повинен відповідати ніші передбачуваного використання. Домен з сотнею зворотних посилань з фінансових веб-сайтів — це золото для того, хто будує блог про фінанси. Це марно для того, хто будує веб-сайт про кулінарію, тому що зворотні посилання надходять з не пов'язаної ніші, а тематичний авторитет не передається між категоріями.

Завдання для інвесторів доменів, що працюють у будь-якому значущому масштабі, полягає в тому, що списки застарілих доменів містять тисячі записів щодня, і ручна перевірка ніші кожного з них фізично неможлива. Відвідування Wayback Machine, щоб побачити, що кожен домен раніше розміщував, прочитання кешованого контенту, аналіз текстів якорів зворотних посилань та визначення ніші для кожного домену займає п'ять-десять хвилин на домен. З такою швидкістю обробка навіть сотні доменів на день є повною роботою. Десять тисяч доменів, обсяг, необхідний для послідовного пошуку кількох справді цінних самоцвітів у списку скидання кожного дня, взяв би одну людину приблизно три місяці, працюючи восьм годин на день. Утиліта перевіреч домену з її точкою виявлення ніші було побудовано для скорочення цього трьохмісячного ручного процесу в один ночеквий пакетний запуск.

Як працює виявлення ніші домену

Точка виявлення ніші аналізує назву домену та пов'язані з ним метаданих, щоб класифікувати його в категорію теми. Класифікація спирається на кілька сигналів. Сама назва домену — це перший і найочевидніший сигнал. Домен, що містить слова на кшталт "фітнес", "тренування" або "спортзал", має сильний лексичний індикатор своєї ніші. Але імена доменів часто скорочені, творчі або цілком абстрактні (подумайте про назви брендів на кшталт "Zapier" або "Shopify", які не мають лексичного сигналу ніші), тому одна назва недостатня для надійної класифікації.

Історичні дані контенту надають другий сигнал. Wayback Machine та подібні вебархіви зберігають знімки того, що домен розміщував під час свого активного життя. Аналіз текстового контенту, заголовків сторінок, метаопису та структури заголовків цих архівованих сторінок розкриває тематичну спрямованість колишнього веб-сайту з високою впевненістю. Домен, архівовані сторінки якого обговорюють "іпотечні ставки", "власний капітал" та "варіанти рефінансування", явно знаходиться в ніші особистих фінансів, незалежно від того, що його назва домену пропонує. Цей аналіз історичного контенту — це найнадійніший сигнал класифікації, але він також найбільш обчислювально дорогий, тому він зарезервований для доменів, які пройшли початкове скринінг на основі інших сигналів.

Аналіз тексту якорів зворотних посилань надає третій сигнал. Текст, який інші веб-сайти використовують при посиланні на домен, відображає те, як ширша мережа сприймала вміст цього домену. Якщо більшість зворотних посилань на домен використовує текст якора, пов'язаний з "веганськими рецептами", "рослинною кулінарією" та "альтернативами молочних продуктів", ніша домену — це їжа зі спеціалізацією на веганстві, навіть якщо сама назва домену щось загальне. Цей сигнал особливо цінний для виявлення класифікації під-ніші, яка виходить за межі широких категорій, розрізняючи між загальним продовольчим доменом і веган-специфічним, або між загальним технологічним доменом і кібербезпеки-специфічним.

Поєднання цих сигналів дає класифікацію ніші з оцінкою впевненості. Домени, де всі три сигнали збігаються, отримують високі оцінки впевненості. Домени, де назва пропонує одну нішу, але контент і зворотні посилання пропонують іншу, отримують нижчі оцінки впевненості з примітками про конфліктуючі сигнали. Домени з недостатніми даними (немає архівованого контенту, мало зворотних посилань, загальні імена) отримують класифікацію на основі будь-яких доступних сигналів, чітко позначені як низькокреативні оцінки. Цей тонкий підхід — це те, що робить систему справді корисною для інвестиційних рішень, тому що високовпевнена класифікація ніші має дуже різні наслідки для інвестицій, ніж здогад.

Десять тисяч доменів в одну ніч

Нічна пакетна обробка десяти тисяч доменів була операційним тестом, який підтвердив весь підхід. Домени походили зі списку щоденного скидання, загальнодоступного каналу доменів, які завершили цикл видалення і були на межі доступності для реєстрації. Мета полягала в обробці кожного домену через точку виявлення ніші, класифікуванні кожного в категорію теми, привласненні оцінки впевненості та створенні відсортованого виходу, який висвітлював найбільш перспективні цілі придбання. Критерії для "перспективних" були конкретними: домени, класифіковані як фінанси, здоров'я, технологія або нерухомість (чотири ніші з найвищою комерційною цінністю для SEO), з високими оцінками впевненості та чистою історією домену.

Пакетна обробка запустилась як запланована робота, починаючи з півночі. Кожен домен був поданий до API з невеликою затримкою між запитами, щоб залишатися в межах обмежень швидкості. API обробив кожен домен, проаналізував доступні сигнали та повернув реакцію класифікації. Результати були зібрані в базу даних, яка зберігала назву домену, виявлену нішу, оцінку впевненості та підтримуючі докази (які сигнали сприяли класифікації). До 6 ранку всі десять тисяч доменів були оброблені, і результати були готові для огляду над ранковою кавою.

З десяти тисяч доменів приблизно 3200 отримали класифікацію високої впевненості. Решта 6800 була або занадто загальною для класифікації, мала недостатньо історичних даних, або дала конфліктуючі сигнали, які перешкоджали надійному визначенню. Серед 3200 класифікованих доменів розподіл по нішам приблизно відбивав розподіл веб-сайтів в Інтернеті в цілому: технологія та обчислення були найбільшою категорією, за нею йшли бізнес та фінанси, здоров'я та благополуччя, розваги, освіта та все інше. Чотири цільові ніші (фінанси, здоров'я, технологія, нерухомість) становили приблизно 1100 доменів, що було керованою кількістю для людського перегляду найбільш перспективних кандидатів.

У межах цих 1100 доменів вторинний фільтр на основі віку домену, кількості зворотних посилань та оцінок авторитету домену зменшив список приблизно до сорока доменів, які відповідали всім критеріям для потенційно цінних придбань. Сорок доменів з десяти тисяч. Цей коефіцієнт успіху 0,4% ілюструє як виклик інвестування в застарілі домени (абсолютна більшість застарілих доменів не мають значної цінності), так і необхідність автоматизованої фільтрації (пошук тих сорока голок у стозі з десяти тисяч доменів вручну займе тижні). Кілька з цих сорока доменів були придбані за стандартну ціну реєстрації та пізніше продані кінцевим користувачам із значними кратними. Загальна вартість обробки API для всієї партії була менше, ніж комісія реєстрації для одного домену.

Крім інвестування в домени та інші використання виявлення ніші

Хоча інвестування в домени є найбільш драматичним випадком використання виявлення ніші партії, це не єдиний. Фахівці з SEO використовують класифікацію ніші для оцінки потенційних джерел зворотних посилань. При побудові посилань для клієнта в ніші страхування визначення того, які домени в переліку перспектив насправді відповідають страхуванню (на відміну від поверхнево подібних доменів у не пов'язаних нішах), економить час і забезпечує, щоб діяльність побудови посилань спрямовувалась на тематично відповідні сайти. API ніші домену надає цю класифікацію у масштабі, перетворюючи ручне дослідження на автоматизований етап попередньої кваліфікації.

Команди з захисту бренду використовують класифікацію ніші для моніторингу того, чи буд чи цільні подібні до їхніх назв брендів доменів реєструються конкурентами або поганими акторами. Якщо домен, який звучить подібно до бренду фінансових послуг, реєструється та класифікується як "фінанси", команда з захисту бренду може дослідити, чи використовується він для фішингу, афіліаційного шахрайства або перенаправлення конкурента. Класифікація ніші додає контекст, який простіша перевірка доступності домену не може забезпечити: різниця між "цей домен був зареєстрований" та "цей домен був зареєстрований і використовується в нашій індустрії" — це різниця між звичайним спостереженням та дійсною тривогою.

Дослідники ринку використовують класифікацію ніші домену для вивчення тенденцій індустрії. Обсяг та розподіл ніш новозареєстрованих та нещодавно закінчених доменів у певному секторі можуть служити провідним індикатором активності ринку. Скачок у нових реєстраціях доменів, класифікованих як "крипто-валюта" або "DeFi", корелює зі зростанням інтересу до цих секторів. Відповідний скачок у закінченнях рік або два пізніше корелює з неминучим змаганням. Хоча дані про реєстрацію домену є гучним сигналом для аналізу ринку, це унікально ранній сигнал: люди реєструють домени для проектів, які вони планують, що означає, що активність домену передує фактичній активності ринку на місяці або навіть роки.

Економіка масштабу в класифікації доменів

Економіка інвестування в застарілі домени завжди сприяли операторам, які можуть обробляти великі обсяги. Коефіцієнт успіху на справді цінних застарілих доменів низький, як правило, від 0,1% до 1% залежно від ніші та критеріїв. Це означає, що для пошуку одного цінного домену на день інвестор повинен оцінити від ста до тисячі кандидатів. Для пошуку десяти цінних доменів на день обсяг оцінки повинен досягти тисяч. При ручних швидкостях оцінки (п'ять-десять хвилин на домен) навіть нижча межа цих обсягів непрактична. Обмеження на прибуток — це не наявність хороших доменів. Це швидкість оцінки.

API перевіреч домену з виявленням ніші усуває це обмеження. Обробка десяти тисяч доменів коштує менше, ніж реєстраційна комісія одного домену і завершується за кілька годин. Результатом є попередньо відфільтрований, класифіцьований по нішам список, який скорочує обсяг людського огляду з десяти тисяч доменів до кількох десятків високопотенційних кандидатів. Людська експертиза, яку інвестори в домени приносять до таблиці (оцінка брендованості, оцінка якості зворотних посилань, оцінка вартості перепродажу), застосовується тільки до доменів, які вже пройшли автоматизовану фільтрацію, що означає, що ця експертиза використовується ефективно, а не розсіюється по тисячах невідповідних записів.

Для нічної партії десяти тисяч доменів загальні інвестиції становили приблизно тридцять хвилин часу настройки (написання скрипту пакетної обробки), нульовий активний час під час обробки (скрипт запускався автономно) та приблизно дві години часу огляду наступного ранку для оцінки сорока відібраних кандидатів. Цей два з половиною години загальних інвестицій дав кілька прибуткових придбань. Таке саме оцінювання, зроблене вручну, вимагало б сотень годин нудної, повторюваної роботи, яку жодна людина не могла б послідовно витримати протягом тижнів і місяців. Різниця між ручним та автоматизованим оцінюванням — це не просто швидкість. Це стійкість. Ручний процес, який працює один раз, коливається під щоденним повторенням. Автоматизований процес, який працює один раз, працює щодня з нульовими додатковими зусиллями, і щоденний обсяг може масштабуватися від десяти тисяч до п'ятидесяти тисяч до сотні тисяч шляхом коригування параметрів пакета, а не найму додаткового персоналу.