Detektering av inriktning för utgångna domäner och hur jag klassificerade tiotusen domäner över en natt

Den utgångna domänmarknaden är ett konstigt hörn av internet där webbarkäologi möter spekulativ investeringar. Varje dag löper tusentals domäner ut eftersom deras ägare glömde att förnya, beslutade att projektet inte var värt att fortsätta, eller helt enkelt gick vidare till andra satsningar. Dessa domäner återgår till den allmänna poolen och blir tillgängliga för vem som helst att registrera till standardpriset. Det som gör några av dessa utgångna domäner värdefulla, ibland extraordinärt mycket, är den historia de bär med sig. En domän som var värd för en populär hälsoblogg i fem år ackumulerade backlinks från andra hälsowebbplatser, byggde domänmyndighet i sökmotorer och etablerade ämnesrelevans inom hälsoinriktningen. Om domänen löper ut och någon registrerar den för att bygga en ny hälsowebbplats, ärver den nya webbplatsen något av det ackumulerade SEO-värdet. Backlinks pekar fortfarande på domänen. Domänmyndigheten, även om den försämras över tiden utan nytt innehål, återställs inte till noll över natten.

Detta är grunden för investeringsstrategin för utgångna domäner som har blivit en betydande industri. Domäninvesterare skannar listor över utgångna domäner dagligen och letar efter namn som har starka backlinkprofiler, höga domänmyndighetspoäng och rena historiker fria från skräppost eller straff. De bästa utgångna domänerna kan säljas för tusentals dollar till företag och SEO-proffs som vill ha ett försprång när de bygger en ny webbplats sökmotorstillvaro. Men det finns ett kritiskt krav som skiljer lönsam domäninvestering från kostsamt gissande: den utgångna domänen måste matcha inriktningen av den avsedda användningen. En domän med hundra backlinks från finanswebbplatser är guld för någon som bygger en finansblogg. Det är värdelöst för någon som bygger en matlagningswebbplats, eftersom backlinksen kommer från en irrelevant inriktning och den ämnesliga myndigheten överförs inte mellan kategorier.

Utmaningen för domäninvesterare som arbetar i någon meningsfull skala är att utgångna domänlistor innehåller tusentals poster dagligen, och att manuellt kontrollera inriktningen för varje en är fysiskt omöjligt. Att besöka Wayback Machine för att se vad varje domän brukade vara värd för, läsa cachad innehål, analysera backlink-ankartexter och göra en inriktningsbestämning för varje domän tar fem till tio minuter per domän. I den takten är det att bearbeta även hundra domäner per dag ett heltidsjobb. Tiotusen domäner, volymen som behövs för att konsekvent hitta handfulla verkligt värdefulla pärlor i varje dags droplista, skulle ta en person ungefär tre månader som arbetar åtta timmar om dagen. Domänkontrollanten med sin inriktningsdetekteringsslutpunkt byggdes för att kollapsa denna tre månaders manuella process till en enda natt batchkörning.

Hur domäninriktningsdetektering fungerar

Slutpunkten för detektera-inriktning analyserar ett domännamn och dess associerade metadata för att klassificera det i en ämneskategori. Klassificeringen bygger på flera signaler. Domännamnet själv är den första och mest uppenbar signalen. En domän som innehåller ord som "fitness", "träning" eller "gym" har en stark lexikal indikator på sin inriktning. Men domännamn är ofta förkortade, kreativa eller helt abstrakta (tänk på varumärkesnamn som "Zapier" eller "Shopify" som inte bär någon lexikal inriktningssignal), så namnet ensamt är otillräckligt för tillförlitlig klassificering.

Historisk innehållsdata ger den andra signalen. Wayback Machine och liknande webarkiv bevarar ögonblicksbilder av vad en domän värde under sitt aktivt liv. Analysering av textinnehål, sidtitlar, metabeskrivningar och rubrikstruktur på dessa arkiverade sidor avslöjar det topiska fokus på den tidigare webbplatsen med högt förtroende. En domän vars arkiverade sidor diskuterar "bolåneräntor", "hemkapital" och "refinansieringsalternativ" är tydligt inom personlig finansinriktning, oavsett vad domännamnet föreslår. Denna historisk innehållsanalys är den mest tillförlitliga klassificeringssignalen men även den mest beräkningsmässigt dyr, varför den är reserverad för domäner som passerar den initiala screeningen baserad på andra signaler.

Analys av backlink-ankartext ger den tredje signalen. Texten som andra webbplatser använder när de länkar till en domän reflekterar hur det bredare webben uppfattade domänens innehål. Om majoriteten av backlinks till en domän använder ankartext relaterad till "veganska recept", "växtbaserad matlagning" och "mejeriöverenskommelser", är domänens inriktning mat med en vegansk specialisering, även om domännamnet själv är något generiskt. Denna signal är särskilt värdefull för att detektera sub-nicheklassificering som går bortom breda kategorier, skiljer mellan en allmän matdomän och en vegansk-specifik, eller mellan en allmän teknikdomän och en cybersäkerhet-specifik.

Kombinationen av dessa signaler producerar en inriktningsklassificering med ett konfidensscore. Domäner där alla tre signaler är överens får höga konfidensbetyg. Domäner där namnet föreslår en inriktning men innehållet och backlinksen föreslår en annan får lägre konfidensbetyg med anteckningar om de motsägande signalerna. Domäner med otillräcklig data (inget arkiverat innehål, få backlinks, generiska namn) får en klassificering baserad på vilka signaler som helst, tydligt markerad som låga konfidensuppskattningar. Denna nyanserad approach är det som gör systemet verkligt användbart för investeringsbeslut, eftersom en högkonfidensklassificering för inriktning bär en mycket annorlunda investeringskonsekvens än en gissning.

Tiotusen domäner på en natt

Nattbatchbearbetningen av tiotusen domäner var det operationella testet som validerade hela approachen. Domänerna kom från en daglig droplista, en offentligt tillgänglig feed av domäner som hade genomfört sin borttagningscykel och var på väg att bli tillgängliga för registrering. Målet var att bearbeta varje domän genom inriktningsdetekteringsslutpunkten, klassificera varje en i en ämneskategori, tilldela ett konfidenspoäng och producera en sorterad utmatning som markerade de mest lovande förvärvsmålen. Kriterierna för "lovande" var specifika: domäner klassificerade som finans, hälsa, teknik eller fastighet (de fyra inriktningarna med högsta kommersiell värde för SEO), med höga konfidenspoäng och rena domänhistorier.

Batchbearbetningen kördes som ett planerat jobb som började vid midnatt. Varje domän skickades till API:n med en kort fördröjning mellan förfrågningar för att stanna inom hastighetsgränser. API:n bearbetade varje domän, analyserade de tillgängliga signalerna och returnerade ett klassificeringssvar. Resultaten samlades in i en databas som lagrade domännamnet, detekterad inriktning, konfidenspoäng och stödande bevis (vilka signaler som bidrog till klassificeringen). Vid klockan 6 på morgonen hade alla tiotusen domäner bearbetats och resultaten var klara för granskning över morgonkaffet.

Av tiotusen domäner fick ungefär 3 200 högkonfidensklassificeringar. De återstående 6 800 var antingen för generiska för klassificering, hade otillräcklig historisk data eller producerade motsägande signaler som förhindrade en tillförlitlig bestämning. Bland de 3 200 klassificerade domänerna speglade fördelningen mellan inriktningar ungefär fördelningen av webbplatser på internet mer brett: teknik och datorer var den största kategorin, följt av affärer och finans, hälsa och wellness, underhållning, utbildning och allt annat. De fyra måldomänerna (finans, hälsa, teknik, fastighet) utgör ungefär 1 100 domäner, vilket var ett hanterbar tal för mänsklig granskning av de mest lovande kandidaterna.

Inom dessa 1 100 domäner reducerade ett sekundärt filter baserat på domänålder, backlinksmängd och domänmyndighetsuppskattningar listan till ungefär fyrtio domäner som uppfyllde alla kriterier för potentiellt värdefulla förvärv. Fyrtio domäner av tiotusen. Den 0,4% träfffrekvensen illustrerar både utmaningen för domäninvesteringar (det överväldigande flertalet utgångna domäner har inget meningsfull värde) och nödvändigheten av automatiserad filtrering (att hitta dessa fyrtio nålar i en tiotusen domäner höstack manuellt skulle ta veckor). Flera av dessa fyrtio domäner förvärvades till standardregistreringspriset och såldes därefter till slutanvändare till betydande multiplar. Den totala kostnaden för API-bearbetningen för hela batchen var mindre än registreringsavgiften för en enda domän.

Bortom domäninvesteringar och andra användningar för inriktningsdetektering

Även om domäninvesteringar är det mest dramatiska användningsfallet för batchinriktningsdetektering, är det inte det enda. SEO-proffs använder inriktningsklassificering för att utvärdera potentiella backlinkkällor. När du bygger länkar för en klient inom försäkringsinriktningen, identifiering av vilka domäner i en prospektlista som faktiskt är relevanta för försäkring (kontra ytligt liknande domäner i orelaterade inriktningar) sparar tid och säkerställer att länkbyggningsinsatser riktar mot ämnesmässigt relevanta webbplatser. API:n för domäninriktning tillhandahåller denna klassificering i stor skala, vilket omvandlar en manuell forskningsuppgift till ett automatiserat förkvalificeringssteg.

Varumärkeskyddsteam använder inriktningsklassificering för att övervaka om utgångna domäner som liknar deras varumärkesnamn registreras av konkurrenter eller dåliga aktörer. Om en domän som låter liknande en finansservicevarumärke registreras och klassificeras som "finans", kan varumärkeskyddsteamet undersöka om det används för phishing, affiliatebedrägeri eller konkurrentomdirigering. Inriktningsklassificeringen lägger till sammanhang som en enkel domäntillgänglighetskontroll inte kan ge: skillnaden mellan "denna domän registrerades" och "denna domän registrerades och används i vår industri" är skillnaden mellan en rutinmässig observation och en åtgärd varning.

Marknadsforskare använder domäninriktningsklassificering för att studera industritrender. Volymen och inriktningsfördelningen av nyregistrerade och nyligen utgångna domäner i en viss sektor kan tjäna som en ledande indikator på marknadsaktivitet. En ökning av nya domänregistreringar klassificerade som "kryptovaluta" eller "DeFi" korrelerar med ökande intresse för dessa sektorer. En motsvarande ökning av expireringar ett eller två år senare korrelerar med den oundvikliga schakten. Även om domänregistreringsdata är en bullrig signal för marknadsanalys, är det en unikt tidig signal: människor registrerar domäner för projekt de planerar, vilket innebär att domänaktivitet föregår själva marknadsaktiviteten med månader eller till och med år.

Ekonomin för skala inom domänklassificering

Ekonomin för investeringar i utgångna domäner har alltid gynnats operatörer som kan bearbeta stora volymer. Träfffrekvensen på verkligt värdefulla utgångna domäner är låg, vanligtvis mellan 0,1% och 1% beroende på inriktning och kriterier. Detta innebär att för att hitta en värdefull domän per dag måste en investerare utvärdera mellan hundra och tusen kandidater. För att hitta tio värdefulla domäner per dag måste bedömningsvolymen nå tusentalen. Vid manuella bedömningshastigheter (fem till tio minuter per domän) är även den lägre änden av dessa volymer opraktisk. Begränsningen för vinst är inte tillgängligheten av goda domäner. Det är bedömningshastigheten.

API:n för domänkontrollanten med inriktningsdetektering tar bort denna begränsning. Bearbetning av tiotusen domäner kostar mindre än registreringspriset för en domän och slutförs på några timmar. Utmatningen är en förfiltrerad, inriktningsklassificerad lista som reducerar den mänskliga granskningsarbetsbördan från tiotusen domäner till ett fåtal dussintal höglika kandidater. Den mänskliga expertis som domäninvesterare tar till bordet (utvärdering av varumärkesbarhet, bedömning av backlinkskvalitet, uppskattning av återförsäljningsvärde) tillämpas endast på domäner som redan har passerat den automatiserade screeningen, vilket innebär att denna expertis används effektivt snarare än diluerad över tusentals irrelevanta poster.

För nattbatchen med tiotusen domäner var den totala investeringen ungefär trettio minuters inställningstid (skriva batchskriptet), noll aktiv tid under bearbetning (skriptet kördes autonomt) och ungefär två timmars granskingstid nästa morgon för att utvärdera de fyrtio förlistad kandidaterna. Det två och ett halvt timmars totala investeringen producerade flera lönsamma förvärv. Samma bedömning gjord manuellt skulle ha krävt hundratals timmars tröttsamt, repetitiv arbete som ingen människa kunde upprätthålla konsekvent över veckor och månader. Skillnaden mellan manuell och automatiserad bedömning är inte bara hastighet. Det är hållbarhet. En manuell process som fungerar en gång kollapsar under daglig upprepning. En automatiserad process som fungerar en gång fungerar varje dag med noll ytterligare ansträngning och den dagliga volymen kan skalas från tiotusen till femtiotusen till hundratusen genom att justera batchparametrarna snarare än att anställa ytterligare personal.