Iniziamo subito con il codice dello script principale:
#!/usr/bin/perl
# script which-forum.pl
# (c) 2010 Alexandr A Alexeev, http://website/
usare rigoroso;
# righe commentate - per rigore
# se l'attività è raccogliere le statistiche del motore, lascialo così com'è
# se crei un elenco di forum - decommenta
i miei $dati ;
$dati .= $_ mentre (<>
)
;
# controlla quanti erano Powered by phpBB senza link a piè di pagina Questo e altri script menzionati nel post possono essere trovati in questo archivio. Sceneggiatura quale-forum.pl esamina il codice della pagina html per la presenza di firme del motore del forum in esso. Abbiamo usato una tecnica simile per definire WordPress e Joomla, ma ci sono un paio di differenze. Innanzitutto, lo script stesso non carica il codice della pagina, ma lo legge dallo stdin o da un file passato come argomento. Questo ci consente di scaricare la pagina una volta, ad esempio, utilizzando wget, e quindi eseguirla attraverso diversi parser, se ne abbiamo più di uno. In secondo luogo, in questo script, la presenza di una firma è un segno al 100% del motore. L'ultima volta, la presenza della firma ha solo dato peso al motore corrispondente e ha "vinto" il motore con il peso più alto. Ho deciso che in questo caso un simile approccio avrebbe solo complicato inutilmente il codice. Per testare la sceneggiatura, ho fatto una piccola ricerca. Ho compilato un elenco di diverse migliaia di forum e ho eseguito ciascuno di essi attraverso il mio script, determinando così la percentuale di attivazioni del programma e la popolarità dei vari motori. Per ottenere l'elenco dei forum, ho usato il mio parser di Google. Al motore di ricerca sono state inviate query come sito:forum.*.ru e così via. È possibile trovare il codice completo del generatore di query nel file gen-forumsearch-urls.pl. Oltre alla zona .ru, sono stati utilizzati anche .su .ua .kz e .by. L'ultima volta è stato difficile condurre uno studio del genere, poiché i siti WordPress e Joomla non hanno tali firme nell'URL. Cataloghi come cmsmagazine.ru/catalogue/ non forniscono una dimensione sufficiente del campione. Cosa sono 600 siti su Drupal? Devo ammettere che i risultati dell'esperimento mi hanno deluso. Dei 12.590 siti studiati, solo 7.083 motori sono stati identificati con successo, cioè solo nel 56% dei casi. Forse non ho tenuto conto di qualche motore? Bitrix ha partecipato a metà dei forum? O avrei dovuto dedicare più tempo alla ricerca delle firme? In generale, qui sono necessarie ulteriori ricerche. Tra il 56% dei motori identificati con successo, IPB (31%), phpBB (26,6%) e vBulletin (26,5%) sono stati i più popolari, come previsto. Seguono da vicino SMF (5,8%) e DLEForum (5,3%). Il mio punBB preferito era solo al 6° posto (1,64%). Non consiglierei di fidarsi fortemente di queste cifre (dicono che ogni terzo forum in Runet funziona su IPB), ma ovviamente si possono trarre alcune conclusioni. Ad esempio, se intendi creare un sito su un motore di forum e prevedi di modificare il forum, ad esempio pagando agli utenti 0,01 $ per ogni messaggio con prelievo automatico di fondi una volta alla settimana, allora dovresti scegliere uno dei tre motori più popolari . Più il forum è popolare, più è probabile che trovi un programmatore esperto in esso. Se non sono previsti cambiamenti significativi nel motore, potrebbe avere senso scegliere un motore meno popolare, come SMF o punBB. In questo modo, ridurrai il numero di attacchi di hacker al tuo forum e la quantità di spam inviata automaticamente ad esso. Gli script per trovare/definire forum possono anche trovare più di un uso pratico. La prima cosa che mi è venuta in mente personalmente è stata quella di ordinare i forum identificati da TCI e inserire post con collegamenti a uno dei loro siti tra i primi cento. Tuttavia, un centinaio di link dofollow del forum non hanno influenzato in alcun modo il TIC (sono passati 2 aggiornamenti), quindi è meglio non perdere tempo qui a meno che tu non sia interessato alle transizioni. È chiaro che l'uso con nome degli script è tutt'altro che l'unico. Penso che tu possa facilmente capire in quale altro modo puoi usarli. Organizzato da Botmaster Labs, non pianificato. Non c'è tempo, il video è necessario per il concorso, come tendenza nuova, anche se è più facile spiegare tutto con buoni screenshot (il mio IMHO), e non voglio davvero girare nulla. Sono rimasti pochissimi argomenti redditizi, lo spam stupido non regna più, qui bisogna pensare e nessuno sparerà all'argomento, se solo gli obsoleti provassero a metterlo in un bel involucro e spolverare un po '. :) Ma non si tratta di noi. In generale, questi 3 "non", credo, sono diventati sostanzialmente barriere alla partecipazione al concorso per la maggior parte dei potenziali partecipanti. È come con la riparazione di un'auto su tre: economica, di alta qualità, veloce: nel servizio possono soddisfare solo 2 condizioni contemporaneamente. siediti e scegli ciò che ti è più vicino. :) È lo stesso con la competizione: ho tempo, posso fare un video, ma non c'è argomento, oppure posso fare un video, ho un argomento, ma non ho tempo, o c'è tempo libero e c'è un piccolo argomento, ma il video fa paura. Ma va bene se 2 condizioni sono soddisfatte contemporaneamente. Ok, lasciamo perdere i testi. Continuerò per me stesso. Non avevo intenzione di farlo, quindi parteciperò al concorso, ho anche scelto per quale articolo voterò. Dì quello che vuoi, ma Doz conosce molto bene il software e sa come usarlo in modo molto sensato. Ma oggi ho saputo che l'intrigo è apparso nella competizione. Si scopre che non potrò votare, ma solo i principianti che hanno acquistato il software nel 2011 e il concorso è pensato per loro possono farlo. Sono rimasto un po' sorpreso, ma il proprietario è un gentiluomo. Il concorso è una campagna pubblicitaria e Alexander sa meglio come condurla. In generale, ho deciso allora di pubblicare un articolo, è un po 'più facile da scrivere quando è chiaro per chi, infatti, è impossibile farlo per l'intera fattoria collettiva. Alimentato da php-Fusion Nella versione 7.07 di Chrumer, il programma è stato addestrato con diversi nuovi motori: forumumi.biz, forumb.biz, 1forum.biz, 7forum.biz, ecc. phpBB-fr.com, tema Solaris phpBB E il processo di apprendimento di cose nuove va avanti continuamente. Alimentato da SMF 1.1.2 Alimentato da SMF 1.1.3 Alimentato da SMF 1.1 RC2 Alimentato da SMF 1.1.4 Alimentato da SMF 1.1.8 Alimentato da SMF 1.1.7 "2006-2008, Macchine semplici LLC" E non è tutto. Quando raccogliamo le versioni dei motori, troviamo la sporgenza "2001-2006, Lewis Media" nel piè di pagina di alcuni forum SMF. Controlliamo questa richiesta, ci soddisfa pienamente. Troviamo una query simile: "2001-2005, Lewis Media". Scorrendo ulteriormente i piè di pagina troviamo la seguente richiesta: "SMFone design by AMA, porting to SMF 1.1". Dai un'occhiata - fantastico. E così via. Mezz'ora di lavoro e hai un meraviglioso database di query sul motore, e per queste query Google vieterà molto meno spesso che se utilizzi gli operatori in esse. E allo stesso tempo, il tuo database sarà molto più pulito che se utilizzi query come "index.php?topic=", perché qui Google fornirà non solo i forum di cui abbiamo bisogno, ma anche molte risorse lasciate dove era possibile lasciare un link all'argomento del forum. Puoi discutere, dicono, cosa c'è di sbagliato in questo? Altri hanno lasciato un link, così possiamo. Ma! I collegamenti possono essere lasciati non solo da Hrumer, ma anche da altri programmi. inoltre, possono essere appositamente affilati per lasciare commenti in una determinata risorsa, il cosiddetto software altamente specializzato, inoltre tali collegamenti potrebbero essere lasciati a mano. Anche in questo caso, ripeto, non è la quantità di spazzatura che è importante per noi, ma la qualità, raccoglieremo comunque la base con le giuste richieste. Il vantaggio di questo metodo è che praticamente non avrai bisogno di configurare filtro a setaccio
伟哥 - viagra 吉他 - chitarra 其他 - riposo 保险公司 - assicurazione Inserisci questi codici nel file Words per sostituirli: %E4%BC%9F%E5%93%A5 %E5%90%89%E4%BB%96 %E5%85%B6%E4%BB%96 %E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8 Se stai promuovendo un sito di assicurazioni, quindi pubblicando un link nel tuo profilo su un tematico (!) anche un forum cinese trovato su richiesta " forum SMF" 保险公司 sarà molto buono.
stampa "phpbb \N"
se ($dati =~ /
# $data =~ /viewforum\.php\?[^""]*f=\d+/i o
$data =~ /phpBB\-SEO/io
$dati =~ /)
;
stampa "ipb \N"
se ($dati =~ /
$dati =~ /
$dati =~ /
$dati =~ /index\.php\?[^""]*showforum=\d+/i)
;
print "vbollettino \N"
se ($dati =~ /Potenziato da:?[^<]+vBulletin[^<]+(?:Version)?/i
O
$dati =~ /)
;
stampa "smf \N"
se ($dati =~ /
$dati =~ /index\.php\?[^""]*board=\d+\.0/i)
;
stampa "punbb \N"
se ($dati =~ /
# $data =~ /viewforum\.php\?[^""]*id=\d+/i);
print "fluxbb \N"
# if($data =~ /viewtopic\.php\?id=\d+/io
if ( $dati =~ /
stampa "exbb \N"
se ($dati =~ /
# $dati =~ /forum\.php\?[^""]*forum=\d+/i);
stampa "yabb \N"
se ($dati =~ /
$data =~ /YaBB\.pl\?[^""]*num=\d+/i ) ;
print "dleforum \N"
se ($dati =~ /\(Powered By DLE Forum\)<\/title>/io O
$dati =~ /
stampa "iconboard \N"
se ($dati =~ /
$dati =~ /\N"
se ($dati =~ /\N"
# if($data =~ /forums\.php\?fid=\d+/io
# $data =~ /topic\.php\?fid=\d+/io
se ($dati =~ /
print "stokesit \N"
# if($data =~ /forum\.php\?f=\d+/io
se ($dati =~ /
print "podio \N"
# if($data =~ /topic\.php\?t=\d+/io
se ($dati =~ /
stampa "usebb \N"
# if($data =~ /forum\.php\?id=\d+/io
se ($dati =~ /
print "wrforum \N"
# if($data =~ /index\.php\?fid=\d+/io
se ($dati =~ /
print "ancoraaltroforumnet \N"
if ($data =~ /Yet Another Forum\.net/io
$dati =~ /default\.aspx\?g=post&t=\d+/i)
;
sito:talk.*.ru
sito:bordo.*.ru
sito:smf.*.ru
sito:phpbb.*.ru
....
La lunga introduzione è finita, ora al punto.
Di cosa ha bisogno un principiante quando ha acquisito un tale super mietitore, che è il complesso Xrumer + Hrefer? Esatto, impara a lavorarci sopra e scarta l'illusione che iniziando a spammare fogli, puoi guadagnare soldi. Se la pensi così, dona subito i tuoi soldi in beneficenza. Devi imparare a usare gli strumenti del complesso, preferibilmente affinandolo per te stesso. Il tempo di "prendere di più - gettare di più" è finito. La quantità lascia il posto alla qualità. Quindi raccoglieremo la base per noi stessi, non impareremo come farlo: cadrai dietro il treno. Ovviamente Khrefer ci aiuterà in questo. Se prevedi di promuovere le tue risorse su Google, dobbiamo anche cercare siti donatori tramite Google. Penso che questo sia comprensibile e logico. Ma Google, in quanto padrona della montagna di rame, non regala a tutti la sua ricchezza. Ha bisogno di un approccio. Vorrei dire subito che non sperare che secondo i segni che trovi nel pubblico, tu possa raccogliere qualcosa. Ecco perché sono disponibili in pubblico perché non hanno valore. Non svilupperò ulteriormente l'argomento. È meglio dirti come assemblarlo correttamente in modo da vedere il risultato, il resto lo finirai tu stesso, l'importante è capire il principio. È necessario raccogliere secondo quello corretto in base ai segni dei motori specifici di cui abbiamo bisogno, e non ai segni dei forum in generale. Questo è l'errore principale dei principianti: non concentrarsi su una cosa in particolare, ma cercare di coprire tutto nel suo insieme. Eppure, se vuoi analizzare una base più o meno normale, rifiuta di usare gli operatori nelle query. Nessun "inurl:", "site:", "title" ecc. Google vieterà immediatamente gli utenti come te. Pertanto, studiamo attentamente i motori con cui sta attualmente lavorando Chrumer:
In generale, dobbiamo preparare le query corrette per l'analisi da parte di Khrefer. Prendiamo il forum dizhok come esempio. Forum SMF. E inizieremo a smontarlo in parti per l'analisi. Il nostro amato Google ci aiuterà in questo. Inserimento di una query di Google Forum SMF- un sacco di spazzatura nel problema, riavvolgi fino alla tredicesima pagina e seleziona qualsiasi collegamento. Mi sono imbattuto in questo: http://www.volcanohost.com/forum/index.php?topic=11.0 . Apriamolo ed esploriamo. Dobbiamo trovare qualcosa di caratteristico nella pagina che possa essere applicato alla ricerca di altre pagine su questo motore. Nel piè di pagina notiamo la seguente iscrizione Alimentato da SMF 1.1.14, lo citiamo e lo inseriamo in Google, ci mostra che per questa richiesta conosce circa 59 milioni di opzioni. Scorriamo i link, aggiungiamo un paio di opzioni in più a questa parola chiave, ad esempio, Pioppo "Powered by SMF 1.1.14". O Alimentato da SMF 1.1.14 viagra. Siamo convinti che la richiesta sia chic, nell'emissione di soli forum e quasi nessuna spazzatura per te.
Inoltre, non siamo interessati alla quantità, ma alla qualità, come ho detto sopra. Andare avanti. Dallo stesso forum prendiamo un'altra frase dal piè di pagina: , citalo e forniscilo a Google. In risposta, rivela di conoscere più di 13 milioni di risultati. Ancora una volta, scorriamo l'output, aggiungiamo altre parole e controlliamo l'output con esse. Ci assicuriamo che la richiesta sia eccellente e che non ci sia quasi spazzatura. In generale, ci sono già 2 richieste di ferro. Suggerisco di lasciare in pace il primo forum per ora e di continuare a raccogliere richieste da altri forum. Fortunatamente, Google è aperto su richiesta 2006-2008 Macchine semplici LLC. Prendiamo dal problema, ad esempio, questi forum: http://www.snowlinks.ru/forum/index.php?topic=1062.0 e http://litputnik.ru/forum/index.php?action=printpage; topic=380.0 a piè di pagina prendiamo da loro le seguenti richieste: "Powered by SMF 1.1.7" e "Powered by SMF 1.1.10" (vi consiglio sempre di guidare le richieste per Khrefer tra virgolette, perché abbiamo bisogno prima della qualità Tutto). Penso che sia chiaro cosa stiamo facendo, alla fine avremo un certo database di query per la ricerca nei forum sul motore SMF (è stato scelto come esempio, con il resto dei motori è simile).
Sarà simile a questo: 
Penso che sia molto importante imparare a usare correttamente Chrefer nella fase iniziale, perché avendo imparato questo, puoi sempre trovare un uso per Chrumer, indipendentemente da come cambia la situazione. Le protezioni stanno diventando più complicate e se la protezione è stata rafforzata su alcuni tipi di motori e Khrumer non può farcela al momento, allora non ha senso sprecare risorse per raccogliere questi collegamenti e poi lavorarci sopra con Khrumer, è meglio concentrarsi su ciò che dà il risultato. E allo stesso tempo, se il team di Botmaster Labs ha insegnato a Chrumer qualcosa di nuovo, puoi sezionare rapidamente un nuovo paziente e preparare la base di Chrumer mentre il paziente è ancora caldo. Il tempo è denaro, la risorsa potrebbe non essere più rilevante quando acquisti la base. raccolti da qualcuno. Inoltre, la corretta raccolta di basi per te espande notevolmente l'uso "bianco" di Khrumer. Ed è esattamente qui che tutto si muove, che ci piaccia o no, ma il processo di sbiancamento o ingrigimento è in corso. Fogli neri per tutto ciò che puoi andare nel passato.
Tutti gli altri aspetti già tecnici del lavoro con Hrefer possono essere visualizzati nell'aiuto e non ha senso soffermarsi su di essi, tutti gli obiettivi-punti-secondi sono impostati empiricamente per ogni vettura individualmente.
Come bonus, posterò qui un modello per l'analisi del motore di ricerca cinese Baidu, l'altro giorno mi è stato chiesto a riguardo, quindi l'ho fatto tra una volta e l'altra, scusate il gioco di parole. :)
Nome host=http://www.baidu.com
Domanda=s?wd=
LinkMaschera=
Pagine totali=100
Pagina successiva=
NextPage2=
CaptchaURL=
CaptchaImmagine=
Campo Captcha=
Ho provato a testarli analizzandoli, non c'era alcun divieto, Khrefer raccoglieva rapidamente le risorse, tutte le richieste di analisi erano simili a quelle di Google, ma c'erano molte risorse cinesi e con un alto PR, e inoltre c'erano molti posti dove gli europei non avevano messo piede. È meglio analizzare con richieste cinesi. Google Translate ti aiuterà in questo, digita un elenco di parole chiave in russo e traducilo in cinese. La verità dentro parole"Le parole di Chrefer non possono essere messe insieme in cinese, devono essere ricodificate.
Invece del cinese: 
In conclusione, vorrei dire che non ho mai capito le persone che si lamentavano del fatto che i Khrefer fossero cattivi o non analizzassero, ho sempre voluto dirlo, semplicemente non sai come cucinarli. Nessun parser è migliore di un referrer, deve solo essere corretto. Hrefer è un'auto: buona, solida, made in German, ma una persona la controlla e tutto dipende da quanto è intelligentemente guidata, non puoi forzare l'auto ad andare a destra ea sinistra contemporaneamente.
Un argomento a parte è la pulizia delle basi, una volta 3 anni fa per il concorso precedente. Da più lì, tutto è ancora rilevante, ma ora puoi rifiutarti di controllare 200 OK, questo processo non mi è piaciuto molto, gli errori erano molto grandi, molto superfluo è stato filtrato. Ora questo può essere fatto quasi automaticamente durante il lavoro di Chrumer, sebbene questo processo non sia un analogo completo del controllo di "200 OK". In generale, al punto: non molto tempo fa, a Khrumer è apparsa una meravigliosa opportunità: rubare informazioni dalle risorse al momento dell'esecuzione del progetto. Sembra così. Guidi in un modello che verrà elaborato durante il lavoro e le informazioni raccolte in base al modello verranno inserite nel file xgrabbed.txt nella cartella Registri. Puoi usare questa funzione per qualsiasi cosa, il volo della fantasia è enorme. Uso questa funzione una volta alla settimana per rimuovere i collegamenti dal database di lavoro "scaduto". Non è un segreto che i forum muoiano ogni giorno per ripulire la base da tali risorse e lo strumento "Autograbbing" ci aiuterà in questo caso.
Dopotutto, devi ammettere, digitando spesso, ad esempio, http://www.laptopace.com/index.php, vediamo che questo dominio è già, ad esempio, goudyadya, ma non c'è un forum lì. Quindi, per buttare via queste scorie dalla base, deruberemo. :) Apriamo il codice sorgente della pagina e vediamo questa voce lì:
Ora tutti i "morti" di goudaddi ci saranno conosciuti per nome.
Ecco una piccola selezione per lo strumento "Autograbbing", se vuoi pulire il database da diversi domini "scaduti":