Part III : Доры - Генерируем тонны контента и фармим своего домашнего вебкраулера гугла в промышленных масштабах на базе динамического доргена

eJzFVm2P2jgQ/itWdFXhhChwXaml2g9ZNly5C8kuCWpXFAVvYsBdY2dthy5C+99v
7ABhX447qdJdPmXseWYez5u9dTRWd+pKEkW0crqTrZPbf6frXFC+QDd4KQTyAnQZ
fgn80L1ElKPo2ncaTo6lItKAJk7kdbtGH5YzMscF005j6+hNTsCQWBMpaUZgk2Yg
51I8bCTRkhIFa2vMCqPWbrWcx79HFYpYYIXQsiAnAFb7FnNOspQRzIv82FnnpDOL
7S1JekfkEerXkxi8IKkouK4A7dYJfUb5ncqJNLgjH7+dJMawDfJemfBTypIsqOBH
6oVyHqeNMl02s/8qX/995F8WR+fs/07XxsQrycQK0+OQjjnVJEORxpooVPP4glG1
rJ/yXFp6msmJzWwC+Zz+I9KylpvneZ02IOEKUqn6Qq6waeHJG6SFYKr5XTUXREPf
rju1t9lt0ml13ietD0nnI7iEQ/3gbxvoviBy00B5uwl9ncNPx/7UP6E3U+dgPMJr
EgswPqeMVMt9kAK8MmzUPXv3qo8m7AACZxnVUJiYlUTNCKnIQ0Dv7aG4qU7DCSqh
L8WqcmmJ7g85cX6xsgMmCou9LjFlmTYcBYT7GJDZYWOOmYIdyJzEWsgwN3RgfesI
7jLmkzVhlZo1f1FQlsG4c+cAGuyAr6uEL2w8Hk537AqS+0MChz1RK1yEwwqUCV8s
4NzZLZya0RXVIKuerdqu04LFO0LyQ8QCE7GVkOTgpTS88w1TPifc1FFv5Lmxh2L3
wvfQoI+CMEbe10EUR2j2auZmqPaNI/hmNJvBFaBr7XbdwoKx7yN3HIfJIACzQy+I
GzvVO7JJOJTEDK2xTJdY1jpnZ3XU++yO3F7sjVDkxajQ8w+oF/q+IWSEBJKYiowk
KT042FtUnOY5XFQzxARfaPKgX7G2un3/xCDIp2xini6FBJND73IwHsbe1/jnjRaS
gcWfJlhauxoNhu7oBv3p3aCaSUB952YcDK7Hnl0/Cnat+q9/43W4vH8fBN75cDOI
3CG69Pru2C+PCITOnxE6f0nok+FRNbqb74rIeVb2T7r46WIq+Jwuwt0022sWPIbH
R8h7YpUzYvqAF4w1zH0zqoaKq3Zta4RDw70A96wL0yv7+8yxo++PqKSaSwpD68wQ
XEHnHXvdmUwxY+ORf7xjgEqLPOSelM/a/cBoshffQbOY0JuGYQJnTf2gzVRK4WpY
CJhQ5nllagIMX5noj5LIc0e9z+CFPOSYZwTi2n6cwh29f10dXmbb6o3V3cJoqK5w
EEH+rq5KhCGlSh2ItzIPALD5Fxg7TMs=

function _cleanSnippet(snippet) {
    /*
            теги
            [^anc.match[<.*?>|&.*?^;][g]{ }]
            много тирешек в одну
            [^anc.match[- -][g]{-}][^anc.match[- -][g]{-}][^anc.match[- -][g]{-}][^anc.match[- -][g]{-}][^anc.match[- -][g]{-}][^anc.match[- -][g]{-}][^anc.match[- -][g]{-}]
            урлы
            [^anc.match[http(s?)://([A-Za-z0-9-\.\/]+(^$| |\.))][g]{ }]
            почтовые ящики
            [^anc.match[([A-Za-z0-9-\.]+)\@([A-Za-z0-9-]+)\.(\w+)][g]{}]
            хвосты анкорные
            [^anc.match[\|(.*)^$][g]{}]
            всякая х#йня
            [^anc.match[("|“|\*|#|„|\+|>|<|^;)][g]{}]
            даты/время
            [^anc.match[(\d+):(\d+):(\d+)][g]{}]
            [^anc.match[(\d+):(\d+)][g]{}]
            [^anc.match[(\d+)\.(\d+)\.(\d+)][g]{}]
            [^anc.match[(\d+)\. (\d+)\. (\d+)][g]{}]
            [^anc.match[(\d+)\\(\d+)\\(\d+)][g]{}]
            [^anc.match[(\d+)/(\d+)/(\d+)][g]{}]
            [^anc.match[(\d+) (\d+)][g]{}][^anc.match[(\d+) (\d+)][g]{}][^anc.match[(\d+) (\d+)][g]{}][^anc.match[(\d+) (\d+)][g]{}][^anc.match[(\d+) (\d+)][g]{}][^anc.match[(\d+) (\d+)][g]{}]
            [^anc.match[(\d+)^;(\d+)][g]{}][^anc.match[(\d+)^;(\d+)][g]{}][^anc.match[(\d+)^;(\d+)][g]{}][^anc.match[(\d+)^;(\d+)][g]{}][^anc.match[(\d+)^;(\d+)][g]{}][^anc.match[(\d+)^;(\d+)][g]{}]
            [^anc.match[(\d+)^; (\d+)][g]{}][^anc.match[(\d+)^; (\d+)][g]{}][^anc.match[(\d+)^; (\d+)][g]{}][^anc.match[(\d+)^; (\d+)][g]{}][^anc.match[(\d+)^; (\d+)][g]{}][^anc.match[(\d+)^; (\d+)][g]{}]
            еще теги - лёгкие
            [^anc.match[(<(\w+)>|</(\w+)>)][g]{}]
            троеточия
            [^anc.match[…][g]{}]
            [^anc.match[\.\.\.][g]{}]
            [^anc.match[\.\.][g]{.}]
            [^anc.match[\.\.][g]{.}][^anc.match[\.\.][g]{.}][^anc.match[\.\.][g]{.}][^anc.match[\.\.][g]{.}][^anc.match[\.\.][g]{.}]
            какие то палки
            [^anc.match[\|\|\| \|\|\|][g]{|||}][^anc.match[\|\|\| \|\|\|][g]{|||}]
            [^anc.match[\|\|\|][g]{.}]
            еще х#йня
            [^anc.match[ ·| •| ✓][g]{,}]
            [^anc.match[^; ^;][g]{}]
            еще тирешки
            [^anc.match[--][g]{-}][^anc.match[--][g]{-}][^anc.match[--][g]{-}][^anc.match[--][g]{-}]
            шаб каких то фейсбуков наверное
            [^anc.match[(\w+) (\d+), (\d+) - (\d+) Likes, (\d+) Comments - ][g]{}]
            [^anc.match[(\d+) views][]{}]
            мелочи
            [^anc.match[\.,][g]{,}]
            [^anc.match[,\.][g]{.}]
            [^anc.match[ ,][g]{,}]
            [^anc.match[\?\?\?][g]{?}]
        */
    // html-теги
    let result = snippet.replace(/<\/?[^>]+(>|$)/gi, '');
    // html entities
    result = result.replace(/&[^;]+;/gi, ' ');
    // урлы
    result = result.replace(/(?:https?|ftp):\/\/[\n\S]+/gi, ' ');
    // email
    result = result.replace(/([^.@\s]+)(\.[^.@\s]+)*@([^.@\s]+\.)+([^.@\s]+)/gi, '');
    // какие-то палки
    result = result.replace(/\|\|\|\s+\|\|\|/gi, '|||');
    result = result.replace(/\|\|\|/gi, '.');
    // отсекаем всё после символа |
    // скорее всего это будет строка типа такого: | www.SiteName.com
    result = result.split(/\s*\|/, 1)[0];
    // много тирешек в одну: - -- -- -
    result = result.replace(/\-\s+\-/gi, '-');
    result = result.replace(/\-+/gi, '-');
    // всякие символы
    result = result.replace(/("|“|”|\*|#|„|\+|>|<|;\s+;|·|•|✓|…|®|™)/gi, '');
    // дата и время
    result = result.replace(/[A-z]{3}\s+\d{1,2},\s+\d{2,4}/gi, '');     // Dec 12, 2022
    result = result.replace(/\d{1,2}\s+[A-z]{3}\s+\d{2,4}/gi, '');      // 12 Dec 2022
    result = result.replace(/\d{1,2}\s+[A-z]{3,10}\s+20\d\d/gi, '');    // 12 December 2022 - годы только с 2000
    result = result.replace(/\d{2}:\d{2}:\d{2}(\s+(AM|PM))?/gi, '');    // 10:20:22 AM
    result = result.replace(/\d{2}:\d{2}(\s+(AM|PM))?/gi, '');
    result = result.replace(/\d{1,2}\.\s*\d{1,2}\.\s*\d{2,4}/gi, '');
    result = result.replace(/\d{1,4}\/\d{1,4}\/\d{1,4}/gi, '');
    result = result.replace(/\d{1,4}\\\d{1,4}\\\d{1,4}/gi, '');
    // 13 hours ago, 13 days ago
    result = result.replace(/\d+(\s+hours|\s+hour|\s+days|\s+day)?\s+ago/gi, '');
    // все годы - в текущий год
    const curYear = (new Date()).getFullYear().toString();
    result = result.replace(/(19\d\d|20\d\d)/gi, curYear);
    // точки
    result = result.replace(/\.\s*\.\s*\./gi, '');
    result = result.replace(/\.\s*\./gi, '.');
    // шаб каких то фейсбуков наверное:
    // Dec 12, 2022 - 3 Likes, 10 Comments -
    // 10 views
    result = result.replace(/\w+\s+\d+,\s+\d+\s+-\s+\d+\s+Likes?,\s+\d+\s+Comments?\s+-\s+/gi, '');
    result = result.replace(/\d+\s+views?/gi, '');
    // мелочи
    result = result.replace(/,{2,}/gi, ',');
    result = result.replace(/\.,/gi, ',');
    result = result.replace(/,\./gi, '.');
    result = result.replace(/\s+,/gi, ',');
    result = result.replace(/\?{2,}/gi, '?');
    result = result.replace(/\s*—\s*/gi, '');
    result = result.replace(/,\s*$/gi, '');
    // 5 и более цифр с дефисом (скорее всего это номер телефона) заменяем на пробел
    // также вначале этого номера может быть +
    result = result.replace(/\+?\d[\d\-]{4,}/gi, ' ');
    // несколько пробелов заменяем одним
    result = result.replace(/\s+/gi, ' ');
    return result.trim();
}

function Tools() {
}

Tools.prototype.sum = function(a, b) {
    return a + b;
}

Tools.prototype.eval = function(code) {
    return eval(code);
}

Tools.prototype.removeWWW = function(domain) {
    return domain.replace(/^www\./i, '');
}

Tools.prototype.cleanSnippet = function(snippet) {
    return _cleanSnippet(snippet);
}

Tools.prototype.getSQL = function(tableName, addTitle, query, serp1, serp2=null, serp3=null, serp4=null, serp5=null) {
    let snippets = [];
    const parsedData = [serp1, serp2, serp3, serp4, serp5];
    for (let i = 0; i < parsedData.length; i++) {
        const rows = parsedData[i];
        if (!rows)
            continue;
        for (let j = 0; j < rows.length; j++) {
            const row = rows[j];
            let textChunks = [];
            if (addTitle && row.anchor)
                textChunks.push(row.anchor);
            if (row.snippet)
                textChunks.push(row.snippet);
            if (!textChunks.length)
                continue;
            const cleanedSnippet = _cleanSnippet(textChunks.join('. '));
            if (!cleanedSnippet)
                continue;
            snippets.push(cleanedSnippet);
        }
    }
    snippets = [... new Set(snippets)];
    let snippetsStr = snippets.join(' ');
    snippetsStr = snippetsStr.replace(/\\u([0-9A-z]{4})/g, '###u$1###');
    snippetsStr = snippetsStr.replace(/[\r\n\\]/g, ' ').replaceAll("'", "\\'");
    snippetsStr = snippetsStr.replace(/###u([0-9A-z]{4})###/g, '\\u$1');
    //snippetsStr = snippetsStr.replace(/[\u007F-\uFFFF]/g, function(chr) {
    //    return '\\u' + ('0000' + chr.charCodeAt(0).toString(16)).substr(-4)
    //});
    let queryStr = query.replace(/[\r\n\\]/g, ' ').replaceAll("'", "\\'");
    if (!queryStr || !snippetsStr)
        return '';
    return `INSERT IGNORE INTO ${tableName} VALUES (NULL, '${queryStr}', '${snippetsStr}');\n`;
}

Tools.prototype.getSQLv2 = function(tableName, query, serp1, serp2=null, serp3=null, serp4=null, serp5=null) {
    let snippets = [], anchors = [], urls = [];

    const parsedData = [serp1, serp2, serp3, serp4, serp5];
    
    for (let i = 0; i < parsedData.length; i++) {
        const rows = parsedData[i];
        if (!rows)
            continue;
        
        for (let j = 0; j < rows.length; j++) {
            const row = rows[j];
            
            const snippet = row.snippet ? _cleanSnippet(row.snippet) : '';
            if (snippet)
                snippets.push(snippet);
            
            const anchor = row.anchor ? _cleanSnippet(row.anchor) : '';
            if (anchor)
                anchors.push(anchor);
            
            const url = row.link ? row.link : '';
            if (url)
                urls.push(url);
        }
    }
    
    snippets = [... new Set(snippets)];
    anchors = [... new Set(anchors)];
    urls = [... new Set(urls)];

    let snippetsStr = snippets.join('|||');
    snippetsStr = snippetsStr.replace(/\\u([0-9A-z]{4})/g, '###u$1###');
    snippetsStr = snippetsStr.replace(/[\r\n\\]/g, ' ').replaceAll("'", "\\'");
    snippetsStr = snippetsStr.replace(/###u([0-9A-z]{4})###/g, '\\u$1');
    
    let anchorsStr = anchors.join('|||');
    anchorsStr = anchorsStr.replace(/\\u([0-9A-z]{4})/g, '###u$1###');
    anchorsStr = anchorsStr.replace(/[\r\n\\]/g, ' ').replaceAll("'", "\\'");
    anchorsStr = anchorsStr.replace(/###u([0-9A-z]{4})###/g, '\\u$1');
    
    let urlsStr = urls.join('|||');
    urlsStr = urlsStr.replace(/[\r\n\\]/g, ' ').replaceAll("'", "\\'");

    let queryStr = query.replace(/[\r\n\\]/g, ' ').replaceAll("'", "\\'");
    if (!queryStr || !snippetsStr || !anchorsStr)
        return '';

    return `INSERT IGNORE INTO ${tableName} VALUES (NULL, '${queryStr}', '${snippetsStr}', '${anchorsStr}', '${urlsStr}');\n`;
}

new Tools; //return Tools object