Автоматично откриване на двигателя на форума. Първи стъпки в оптимизацията за търсачки Simple Machines Forum: премахване на авторски права и външни връзки Изготвено от index php тема, захранвана от smf

Този и други скриптове, споменати в публикацията, могат да бъдат намерени в този архив.

Скрипт който-форум.plпроверява кода на html страницата за наличие на сигнатури на двигателя на форума в него. Използвахме подобна техника, когато дефинирахме WordPress и Joomla, но има няколко разлики. Първо, самият скрипт не зарежда кода на страницата, а го чете от stdin или файл, подаден като аргумент. Това ни позволява да изтеглим страницата веднъж, например с помощта на wget, и след това да я прекараме през няколко парсера, ако имаме повече от един. Второ, в този скрипт наличието на подпис е 100% знак на двигателя. Последният път присъствието на подписа придаде тежест само на съответния двигател и „спечели“ двигателя с най-голямо тегло. Реших, че в този случай подобен подход само ще усложни ненужно кода.

За да тествам сценария, направих малко проучване. Съставих списък от няколко хиляди форума и прекарах всеки от тях през моя скрипт, като по този начин определих процента на активиране на програмата и популярността на различните двигатели.

За да получа списъка с форуми, използвах моя анализатор на Google. На търсачката бяха изпратени заявки като

сайт: форум.*.ru
сайт: talk.*.ru
сайт: борд.*.ru
сайт: smf.*.ru
сайт:phpbb.*.ru
....

и така нататък. Можете да намерите пълния код на генератора на заявки във файла gen-forumsearch-urls.pl. В допълнение към зоната .ru бяха използвани и .su .ua .kz и .by. Последният път беше трудно да се проведе подобно проучване, тъй като сайтовете на WordPress и Joomla нямат такива подписи в URL адреса. Каталози като cmsmagazine.ru/catalogue/ не осигуряват достатъчен размер на извадката. Какво е 600 сайта на Drupal?

Трябва да призная, че резултатите от експеримента ме разочароваха. От изследваните 12 590 обекта само 7 083 двигателя са идентифицирани успешно, тоест само в 56% от случаите. Може би не съм взел предвид някой двигател? Битрикс стоеше ли на половината форуми? Или трябваше да прекарам повече време в търсене на подписи? Като цяло тук са необходими повече изследвания.

Сред 56% от успешно идентифицираните машини IPB (31%), phpBB (26,6%) и vBulletin (26,5%) бяха най-популярните, както се очакваше.

Те са плътно следвани от SMF (5,8%) и DLEForum (5,3%). Моят любим punBB беше едва на 6-то място (1,64%). Не бих посъветвал силно да се доверявате на тези цифри (те казват, че всеки трети форум в Runet работи на IPB), но някои изводи, разбира се, могат да бъдат направени.

Например, ако възнамерявате да направите сайт на форумна машина и планирате да модифицирате форума, да речем, да плащате на потребителите 0,01 $ за всяко съобщение с автоматично теглене на средства веднъж седмично, тогава трябва да изберете една от трите най-популярни машини . Колкото по-популярен е форумът, толкова по-вероятно е да се намери програмист, който е добре запознат с него.

Ако не се очакват значителни промени в двигателя, тогава може да има смисъл да изберете по-малко популярен двигател, като SMF или punBB. Правейки това, вие ще намалите броя на хакерските атаки към вашия форум и количеството спам, изпращан автоматично към него.

Скриптовете за намиране/дефиниране на форуми също могат да намерят повече от една практическа употреба. Първото нещо, което ми хрумна лично, беше да сортирам идентифицираните форуми по TCI и да поставя публикации с връзки към някой от техните сайтове в първите сто. Въпреки това стотици форумни връзки dofollow не повлияха по никакъв начин на TIC (минаха 2 актуализации), така че е по-добре да не губите време тук, освен ако не се интересувате от преходи.

Ясно е, че посоченото използване на скриптове далеч не е единственото. Мисля, че лесно можете да разберете как иначе можете да ги използвате.

В случай, че някой не знае, Simple Machines Forum - накратко SMF - е, както е посочено на официалния уебсайт, безплатен пакет на професионално ниво, който ще ви позволи да организирате своя собствена онлайн общност за няколко минути. на този двигател, можете да видите тук. Аз самият поставих моя форум на него (между другото, посетете FreeForum.biz).

Няма значение колко или колко малко спам се появява във вашия форум. Важното е да отделите ценното си време за умереност. Настройването на плъгин, който ще свърши цялата работа вместо вас, отнема няколко минути и ще ви спести общо дни и месеци, което ще се сумира от минутите, които бихте похарчили за изтриване на съобщения и изтриване на потребители.

Ще отбележа, че се опитах сам да се боря със спамерите - блокирах достъпа по IP и дори по подмрежи. Наистина проработи, филтрира много боклук, но въпреки това веднъж на всеки един-два дни някой си пробиваше път. И доста време беше изразходвано за попълване на базата данни със забранени IP адреси. Мислех си, че трябва да има по-удобен начин и наистина беше!

1. Инсталиране и конфигуриране на Stop Spammer

За две седмици работа този плъгин блокира 2202 фалшиви потребители. Всеки от тях би оставил поне едно съобщение. Разпространителите на спам няма да се забавят и всеки ден прекарвам време в изчистване на форума си.

Вместо това на всеки няколко дни отивам на страницата за управление на потребителите и виждам нещо подобно:

Обръщам се към секцията „Чакащо одобрение“ (това са откритите спамери, които не могат да оставят съобщения, докато акаунтите им не бъдат одобрени от администратора). Слагам отметка "Избери всички" и ги изтривам с едно кликване:

Това е всичко, всички спам акаунти отиват в забвение. Назад към нашия списък с потребители:

Вижда се, че списъкът осезаемо е оредял, но кои са останалите? Изберете всички и изпратете с един бутон за проверка:

Появи се едно „червено“, веднага го изтриваме. Ако имате свободно време, можете да направите други. Ако няма време, тогава не правете нищо с новите потребители - повечето от тях ще се "изчервят" при последващи проверки. Ако имате време, можете да отидете в профилите им и да видите - ако има линк в подписа - незабавно баннат, това са фалшиви акаунти на спамери, които никога няма да оставят нито едно полезно съобщение.

Казах ви как да използвате този магически плъгин, сега ще ви кажа как да го инсталирате.

Изтеглете два файла: language_full.zip (това е езиковият пакет за превод на плъгина) и StopSpammer_v2_3_9.zip (номерът може да е различен при актуализиране на версиите). Разархивирайте съдържанието на архива StopSpammer_v2_3_9.zip в някоя папка. Разархивирайте архива language_full.zip в същата папка, съгласете се да замените файловете. Сега компресирайте нашата папка.

Отидете в административния панел, за да инсталирате пакети. Срещу надписа "Изтегляне на пакет" има бутон за избор на файл на компютъра. Изберете нашия нов архив (където заменихме езиковия файл), качете го във форума и активирайте пакета.

Това е!

Допълнителна конфигурация на плъгина се извършва в администраторския панел: отидете на

Потребители → Регистрация → Настройки

Можете да оставите стойностите по подразбиране там. Има и поле "Вашият API ключ". Без този ключ няма да можете да докладвате за нови спамъри (но приставката ще работи и ще филтрира познатите спамъри). Ако искате да получите свой собствен API ключ, отидете на www.stopforumspam.com, за да се регистрирате и след това въведете ключа тук. Ако все още не сте получили ключа, оставете полето празно. Тогава ще се използва ключът по подразбиране.

2. Инсталиране и конфигуриране на анти-спам връзки

Адептите на SEO религията (можете да видите повече за отношението ми към SEO-нистите в друга) са твърдо убедени, че чрез увеличаване на броя на връзките към техния сайт, те го „популяризират“ (по някаква причина идеята за създаването на интересно и висококачествено съдържание не е предназначено за никого, от когото не идват на ум). Ще има издънка, но има начини да вземете пари от него. И така, някои "граждани" предоставят услуги за "пускане" на сайтове във форуми. Те създават голям брой акаунти в различни форуми и вмъкват обратни връзки в подписи и други налични полета. Въпреки факта, че дори „seo-експериментаторите“ вече са доказали чрез опит, че тези връзки не са от полза, някои предупреждават, че можете да получите забрана от търсачките за това, Yandex, например, просто игнорира връзките във ВСИЧКИ форуми и сайтове, където всеки може да остави линкове. Google също има подобни алгоритми - игнориране на връзки в коментари и т.н. Но законът не е писан за глупаци ... Следователно ние, собствениците на форуми, трябва да се съобразяваме с фактите, че "готините SEO-оптимизатори" поръчват "пускане " от техните лайна занаяти за хиляда рубли.

Приставката Stop Spammer ще филтрира много. Но ние можем да му помогнем! Възможно е да избиете изпод краката на спамерите самия интерес към публикуване на връзки във вашия форум. За това са анти-спам връзките. Този плъгин (конкретни числа могат да се променят в настройките) прави това:

• тези, които например имат по-малко от пет съобщения, изобщо не могат да оставят връзки
• тези, които например имат по-малко от 15 публикации, не могат да оставят активни линкове, http:// се премахва от линкове и като цяло тези линкове стават nubolink (newbielink)
• тези с например по-малко от 50 публикации могат да оставят активни връзки, но всички връзки получават атрибута nofollow.
• добре, тези с повече от 50 публикации могат да вмъкнат най-често срещаните активни връзки, които прехвърлят тежестта на сайта към страницата, към която препращат.

Повярвайте ми, бъдещите SEO специалисти са много внимателни към формата, в която тяхната връзка стига до сайта. Те ще загубят интерес към вашия форум много бързо, ако не могат лесно да публикуват връзките си към своите глупави сайтове там.

Да, между другото, горните правила работят в такива области като подписи.

За да инсталирате този плъгин, отидете на официалната му страница. Изтеглете anti_spam_links_v1.0.1.zip архив (номерът може да е различен). Отново в администратора на форума отидете на инсталиране на пакети (както направихте с предишния пакет) и го инсталирайте. Няма езиков файл за този пакет, така че не е необходимо да разопаковате архива или да правите нещо с него.

За да конфигурирате приставката, отидете в секцията

Конфигуриране → Конфигуриране на модове… → Конфигуриране на модове

По ваше желание запишете колко съобщения трябва да има потребителят, за да надгради своите възможности.

Заключение

Тези два плъгина МНОГО ще улеснят живота на вас, собственика на форума, и ще спестят много време. Въпреки това, от време на време спамерите проникват и поне веднъж седмично трябва да „разредите“ потребителите и да изтриете спам съобщенията. Затова не изоставяйте своите уеб ресурси!

Какви двигатели използват успешните форуми? На какви сървъри работят? В какво кодиране се съхраняват съобщенията, написани от потребителите? Криптираният HTTPS ще замени ли добрия стар HTTP?

Проучването използва статистиката на „Рейтинга на форумите Runet, Uanet и Bynet“. Този рейтинг съдържа над 400 най-големи рускоезични (повече от 1 милион съобщения), украиноезични (повече от 50 хиляди съобщения) и беларускоезични (повече от 2 хиляди съобщения) форуми.

На 3-то място с малко изоставане е безплатният phpBB, разпространяван под GNU GPL лиценз. Освен него доста популярен е и SMF (Simple Machines Forum) – наследникът на YaBB SE, който от своя страна води историята си от YaBB до Perl. Този двигател също е безплатен, но за разлика от phpBB има BSD лиценз.

Особено внимание заслужава платеният XenForo, който имаше първата си публична бета версия през октомври 2010 г. и първата си стабилна версия на 8 март 2011 г. Въпреки платената и силна конкуренция, той успя да влезе в първите пет най-популярни двигатели. Освен това някои форуми изоставиха използвания преди това софтуер и преминаха към XenForo. Най-големият от тях е BMW Club с над 27 милиона съобщения. Преди това е работил за платен vBulletin.

Интересното е, че някои големи проекти използват услуги на форуми - главно безплатни хостинг форуми на uCoz.

Използването на стари двигатели, като IkonBoard 2 (Ru.Board Computer Forum) или YaBB 1 (Absolute Games Forums Central), се дължи на голямата възраст на тези форуми, както и, очевидно, на консервативните администратори и (или) потребители, които не желаят да преминат към модерен софтуер. В допълнение, тези форуми са силно модифицирани и почти не приличат на оригиналния IkonBoard и YaBB.

Само около 16% от форумите работят на чист Apache.

IIS (Интернет информационни услуги) от Microsoft е още по-рядко срещан. Използва се от по-малко от 2% от форумите. Най-големият от тях е форумът SQL.ru с над 19 милиона публикации.

Значителна част от форумите от позицията „Други или недефинирани“ са сайтове, които използват услуги за защита от DDoS атаки – CloudFlare, Qrator, DDoS-GUARD.

Още по-интересно е, че все още има форуми, които използват кодирането KOI8-R. Сред най-големите са Farit.ru (повече от 8 милиона съобщения), HiTV Portal Conference (повече от 2 милиона съобщения) и Kuking Culinary Forum (повече от 1 милион съобщения).

Преди това HTTPS се използваше само за определени части от някои сайтове, където наистина се изискваше защитено предаване на данни (например интернет банкиране). Но с течение на времето обикновените сайтове започнаха да преминават към HTTPS. Сред най-големите са Google, Yandex, Wikipedia, Facebook, VKontakte, Odnoklassniki.

Тази тенденция засегна и форумите. И така, днес повече от 10% от най-големите форуми използват HTTPS протокола и броят им непрекъснато нараства. Отчасти това може да се дължи на по-благоприятното отношение на Google към такива сайтове („Google увеличава сайтове с HTTPS в резултатите от търсенето“).

Засега обаче около 90% продължават да работят по HTTP протокола.

Подобен консерватизъм може да се обясни с факта, че големите форуми, като правило, работят на специални сървъри. А администраторите обикновено не са склонни да актуализират софтуера, освен ако не е абсолютно необходимо.

Заключение

• платените IPB и vBulletin остават най-популярните двигатели;
• преход на някои форуми към новия търговски двигател XenForo;
• използване на сървъра nginx, както и услуги за защита срещу DDoS атаки;
• бавен преход към UTF-8 кодиране при запазване на сериозни позиции в Windows-1251;
• по-голямата част от форумите все още използват HTTP протокола, но има постепенен преход към HTTPS.