Откриване на нишата на изтекъл домейн и как класифицирах десет хиляди домейна през нощта

Пазарът на изтекли домейни е странен ъгъл на интернета, където археологията на уебсайтове се срещна със спекулативни инвестиции. Всеки ден хиляди домейни изтичат, защото техните собственици забравят да ги подновят, решат, че проектът не си струва да продължи, или просто се преместват на други начинания. Тези домейни отново влизат в публичния басейн и стават достъпни за всеки да ги регистрира по стандартната цена. Това, което прави някои от тези изтекли домейни ценни, понякога изключително ценни, е историята, която носят със събе си. Домейн, който е бил домакин на популярен блог за здраве в продължение на пет години, натрупа връзки от други уебсайтове за здраве, развита авторитет на домейна в търсачките и установена тематична релевантност в нишата здраве. Ако този домейн изтече и някой го регистрира, за да построи нов уебсайт за здраве, новият сайт наследява част от натрупаната SEO стойност. Връзките все още сочат към домейна. Авторитетът на домейна, макар да намалява с течение на времето без свежо съдържание, не се нулира през нощта.

Това е основата на инвестиционната стратегия с изтекли домейни, която се превърна в значителна индустрия. Инвеститорите в домейни сканират списъци с изтичащи домейни ежедневно, като търсят имена с силни профили на връзки, високи оценки на авторитета на домейна и чисти истории, свободни от спам или наказания. Най-добрите изтекли домейни могат да се продадат за хиляди долари на бизнеси и SEO професионалисти, които искат да получат предимство при изграждането на присъствието на нов уебсайт в търсачката. Но има критично изискване, което отделя печелившото инвестиране в домейни от скъпи гадания: изтеклият домейн трябва да съответства на нишата на предвидената употреба. Домейн със сто връзки от уебсайтове за финанси е злато за някого, който строи финансиален блог. Той е безполезен за някого, който строи уебсайт за готвене, защото връзките идват от нерелевантна ниша и тематичния авторитет не се прехвърля между категориите.

Предизвикателството за инвеститорите в домейни, работещи в някакъв смислен мащаб, е, че списъците с изтекли домейни съдържат хиляди записи ежедневно, и ръчното проверяване на нишата на всеки един е физически невъзможно. Посещението на Wayback Machine, за да видите какво е бил домакин всеки домейн, четенето на кеширано съдържание, анализирането на текстове на връзки и определянето на ниша за всеки домейн отнема пет до десет минути на домейн. При този темп обработването на дори сто домейни на ден е пълнавремена работа. Десет хиляди домейни, обемът, необходим за постоянно намиране на няколко наистина ценни съкровища в списъка с дневни отпускания, би отнел на един човек приблизително три месеца, работещ осем часа на ден. Инструментът за проверка на домейна с неговата крайна точка за откриване на ниша е построен, за да съкрати този тримесечен ръчен процес на един нощен пакетен ход.

Как работи откриването на ниша на домейн

Крайната точка за откриване на ниша анализира име на домейн и свързани метаданни, за да го класифицира в категория тема. Класификацията се основава на множество сигнали. Самото име на домейна е първият и най-очевиден сигнал. Домейн, съдържащ думи като "фитнес", "тренировка" или "спортна зала", има силен лексикален индикатор на своята ниша. Но имената на домейни често са съкратени, творчески или напълно абстрактни (мислете на марки като "Zapier" или "Shopify", които не носят никакъв лексикален сигнал на ниша), така че самото име е недостатъчно за надеждна класификация.

Историческите данни за съдържанието предоставляват втория сигнал. Wayback Machine и подобни уеб архиви запазват снимки на това, което домейн е бил домакин по време на активния си живот. Анализирането на текстовото съдържание, заглавията на страниците, описанията на метаданни и структурата на заглавията на тези архивирани страници разкрива тематичния фокус на бившия уебсайт с висока надеждност. Домейн, чиито архивирани страници обсъждат "лихвени проценти на ипотеки", "собственост капитал" и "възможности за рефинансиране", е ясно в нишата на личните финанси, независимо какво предлага неговото име на домейна. Този анализ на историческото съдържание е най-надеждният сигнал за класификация, но също и най-скъпия изчислително, което е причина той да бъде запазен за домейни, които преминат началното сито, основано на други сигнали.

Анализът на текста на връзка с връзка предоставля третия сигнал. Текстът, който други уебсайтове използват при свързване към домейн, отразява как по-широката мрежа е възприела съдържанието на този домейн. Ако мнозинството от връзките към домейн използват текст на връзка, свързан с "веган рецепти", "растително основано готвене" и "алтернативи без млеко", нишата на домейна е храна със специализация веган, дори ако самото име на домейна е нещо генерично. Този сигнал е особено ценен за откритването на подклассификация на ниша, която надвишава широки категории, отличавайки се между генерален домейн за храна и веган-специфичен, или между генерален технологичен домейн и киберсигурност-специфичен.

Комбинацията от тези сигнали произвежда класификация на ниша с оценка на доверие. Домейните, където и трите сигнала се съгласяват, получават високи оценки на доверие. Домейните, където името предполага една ниша, но съдържанието и връзките предполагат друго, получават по-ниски оценки на доверие с бележки за конфликтни сигнали. Домейните с недостатъчни данни (без архивирано съдържание, няколко връзки, генерични имена) получават класификация, основана на всички налични сигнали, ясно маркирана като малодостоверна оценка. Този нюансиран подход е това, което прави системата наистина полезна за инвестиционни решения, защото класификация на ниша с висока доверие носи много по-различно инвестиционно последствие от гаданието.

Десет хиляди домейни в една нощ

Нощния пакетен процес от десет хиляди домейни е бил оперативният тест, който валидира целия подход. Домейните идват от дневния списък с отпускания, публично достъпна поток от домейни, които завършиха цикъла си на изтриване и бяху на точка да бъдат достъпни за регистрация. Целта е да се обработи всеки домейн чрез крайната точка за откриване на ниша, да се класифицира всеки един в категория тема, да се присвои оценка на доверие и да се произведе сортиран резултат, който подчертава най-обещаващите цели за придобиване. Критериите за "обещаващо" бяха специфични: домейни, класифицирани като финанси, здраве, технология или недвижимост (четирите нишити с най-висока търговска стойност за SEO), с високи оценки на доверие и чисти истории на домейни.

Пакетният процес се управляваше като насрочена работа, която започна в полунощ. Всеки домейн беше изпратен към API с кратко забавяне между заявките, за да остане в граници на лимитите на скорост. API обработи всеки домейн, анализира наличните сигнали и върна отговор на класификация. Резултатите бяха събрани в база данни, която съхранява име на домейна, открита ниша, оценка на доверие и поддържащи доказателства (кои сигнали допринесоха за класификацията). До 6 часа сутринта всички десет хиляди домейни бяха обработени и резултатите бяху готови за преглед през сутрешното кафе.

От десет хиляди домейни приблизително 3200 получиха класификации на ниша с висока доверие. Останалите 6800 бяху или твърде генерични за класификация, имаха недостатъчни исторически данни, или произвеждаха конфликтни сигнали, които предотвратиха надеждно определяне. Сред 3200-те класифицирани домейни, разпределението на нишите приблизително отразяваше разпределението на уебсайтове в интернета по-общо: технология и изчисления бе най-голямата категория, последвана от бизнес и финанси, здраве и благосъстояние, развлечение, образование и всичко останало. Четирите целеви нишити (финанси, здраве, технология, недвижимост) отчетоха приблизително 1100 домейна, което беше управляемо число за преглед на човека на най-обещаващите кандидати.

В рамките на тези 1100 домейни, вторичен филтър, основан на възраст на домейн, количество връзки и оценки на авторитета на домейна, намали списъка до приблизително четиридесет домейна, които отговориха на всички критерии за потенциално ценни придобивания. Четиридесет домейна от десет хиляди. Този процент на попадане от 0,4% илюстрира както предизвикателството на инвестирането в изтекли домейни (огромното мнозинство от изтекли домейни нямат смислена стойност), така и необходимостта на автоматизирано филтриране (намирането на тези четиридесет иглички в хей от десет хиляди домейна ръчно би отнело седмици). Няколко от тези четиридесет домейна бяху придобити по стандартната цена на регистрация и впоследствие бяху продадени на крайни потребители при значителни кратни. Общата цена на обработката на API за целия пакет беше по-малка от таксата за регистрация на един единствен домейн.

Отвъд инвестирането в домейни и други употреби за откриване на ниша

Докато инвестирането в домейни е най-драматичният сценарий за използване на пакетното откриване на ниша, това не е единственият. SEO професионалисти използват класификация на ниша, за да оценят потенциални източници на връзки. При изграждането на връзки за клиент в нишата застраховка, идентифицирането кои домейни в списъка с потенциали всъщност са релевантни застраховка (спрямо повърхностно подобни домейни в нерелевантни нишити) спестява време и гарантира, че усилията за изграждане на връзки са насочени към тематично релевантни сайтове. API на домейна ниша предоставя тази класификация в мащаб, превръщайки ръчната изследователска задача в автоматизирана стъпка за преквалификация.

Екипите за защита на марката използват класификацията на ниша, за да наблюдават дали изтекли домейни, подобни на имената на техните марки, са регистрирани от конкуренти или неблагоустройни субекти. Ако домейн, който звучи подобно на марка за финансови услуги, получи регистрирана и класифицирана как "финанси", екипът за защита на марката може да проучи дали се използва за фишинг, аферата на асоциирани лица или пренасочване на конкурента. Класификацията на нишата добавя контекст, който проста проверка на наличността на домейна не може да предостави: разликата между "този домейн е бил регистриран" и "този домейн е бил регистриран и се използва в нашата индустрия" е разликата между рутинно наблюдение и действително предупреждение.

Изследователите на пазара използват класификацията на домейн ниша, за да изучават тенденциите в индустрията. Обемът и разпределението на ниша на нововикористирани и наскоро изтекли домейни в конкретен сектор могат да служат като начален индикатор на дейност на пазара. Рязък скок в новите регистрации на домейни, класифицирани като "криптовалута" или "DeFi", корелира с нарастващ интерес към тези сектори. Съответния рязък скок в изтичане година или две по-късно корелира с неизбежния разтрес. Докато данните за регистрация на домейни са шумен сигнал за анализ на пазара, това е уникално ранен сигнал: хората регистрират домейни за проекти, които планират, което означава дейност на домейна предшества действителната дейност на пазара с месеци, дори години.

Икономиката на мащаба в класификацията на домейни

Икономиката на инвестирането в изтекли домейни винаги са благоприятни за операторите, които могат да обработят големи обеми. Процентът на попадане на наистина ценни изтекли домейни е нисък, обикновено между 0,1% и 1% в зависимост от нишата и критериите. Това означава, че за намиране на един ценен домейн на ден, инвеститор трябва да оцени между сто и хиляда кандидати. За намиране на десет ценни домейна на ден, обемът на оценка трябва да достигне хилядите. При ръчна оценка скорост (пет до десет минути на домейн), дори по-ниския край на тези обеми е непрактичен. Ограничението на печалба не е наличието на добри домейни. Това е скоростта на оценка.

API на инструмент за проверка на домейна с откритието на ниша премахва това ограничение. Обработката на десет хиляди домейни струва по-малко от цената на регистрация на един домейн и се завършва в няколко часа. Резултатът е преди-филтриран, класифициран по ниша списък, който намалява работата на преглед на човека от десет хиляди домейна до няколко дузина висок потенциал кандидати. Човешката експертиза, която инвеститорите в домейни носят на масата (оценка на маркетинговост, оценка на качество връзка, оценка на преродажа стойност), се прилага само към домейни, които вече са преминали автоматизирано сито, което означава, че тази експертиза се използва ефективно вместо да бъде разреждана на хиляди нерелевантни записи.

За нощния пакет от десет хиляди домейни, общото инвестиране беше приблизително тридесет минути време на настройка (писане на скрипт на пакет), нулево активно време по време на обработка (скриптът се управляваше автономно) и около два часа преглед време на следващо утро, за да оцени четиридесет скъсочни кандидати. Това инвестиране от две и половина часа произведе няколко печелившо придобивания. Същата оценка направена ръчно би изискала стотици часа скучна, повторяща се работа, която никой човек не може да поддържа постоянно в продължение на седмици и месеци. Разликата между ръчна и автоматизирана оценка не е просто скорост. Това е устойчивост. Ръчен процес, който работи веднъж, се срива под дневна повторение. Автоматизиран процес, който работи веднъж, работи всеки ден с нулево допълнително усилие, и дневният обем може да мащабира от десет хиляди до петдесет хиляди до сто хиляди чрез коригиране на параметрите на пакета вместо наемането на допълнителен персонал.