Relácia Pozor, vlak môže pri vysvetľovaní moderných internetových hrozieb priblížiť aj technológie, ktoré chránia webové služby pred automatizovaným zberom údajov. Jedným z takýchto riešení je Anubis, ktorého cieľom je zvýšiť náklady masového scrapovania bez zbytočného zaťažovania bežných používateľov.
Pri jednotlivých požiadavkách je dodatočné zaťaženie zanedbateľné, no pri masovom scrapovaní sa postupne sčítava a výrazne predražuje automatizované získavanie údajov.
Ako funguje princíp dodatočnej záťaže
Myšlienka spočíva v tom, že pri jednotlivých požiadavkách je dodatočné zaťaženie zanedbateľné, no pri masovom scrapovaní sa postupne sčítava a výrazne predražuje automatizované získavanie údajov.
Takýto prístup neznamená, že každá jednotlivá návšteva musí byť pre používateľa výrazne pomalšia alebo komplikovanejšia. Rozdiel sa prejaví najmä pri veľkom počte automatizovaných požiadaviek, keď sa aj malá výpočtová úloha opakuje tisíce alebo milióny ráz.
| Typ používania | Účinok dodatočnej záťaže |
|---|---|
| Jednotlivá požiadavka | Zanedbateľné dodatočné zaťaženie |
| Masové scrapovanie | Dodatočná záťaž sa sčítava |
| Automatizované získavanie údajov vo veľkom meradle | Scrapovanie sa stáva výrazne drahším |

Anubis ako dočasné riešenie
V konečnom dôsledku ide o dočasné riešenie, ktoré má poskytnúť viac času na identifikáciu bezhlavých prehliadačov a vytváranie ich odtlačkov.
Takéto odtlačky môžu využívať napríklad spôsob vykresľovania písiem.
Cieľom je, aby sa stránka s výpočtovou úlohou typu proof of work nemusela zobrazovať používateľom, pri ktorých je oveľa pravdepodobnejšie, že sú legitímni.
Identifikácia bezhlavých prehliadačov
Ďalší vývoj ochrany sa má viac sústrediť na vytváranie odtlačkov a identifikáciu bezhlavých prehliadačov.
Jedným z príkladov je sledovanie toho, ako bezhlavý prehliadač vykresľuje písma.
Takéto rozlišovanie môže pomôcť oddeliť pravdepodobne legitímnych používateľov od automatizovaných nástrojov bez toho, aby sa výpočtová úloha proof of work zobrazovala každému.
- Najprv sa vyhodnotí, či požiadavka pravdepodobne pochádza od legitímneho používateľa.
- Následne možno sledovať charakteristiky prehliadača vrátane spôsobu vykresľovania písiem.
- Výpočtová úloha proof of work sa nemusí zobrazovať používateľom, ktorí sú oveľa pravdepodobnejšie legitímni.
- Pri podozrivom alebo masovom automatizovanom prístupe môže dodatočná záťaž zvýšiť cenu scrapovania.
Požiadavky na moderný JavaScript
Anubis vyžaduje používanie moderných funkcií JavaScriptu.
Doplnky, ako je JShelter, tieto funkcie deaktivujú.
Preto treba pri používaní takýchto doplnkov počítať s tým, že môžu ovplyvniť fungovanie ochrany založenej na modernom JavaScripte.
JavaScript ES6 - 01. Úvod do video kurzu moderný JavaScript ES6
Proof of work a používateľská skúsenosť
Výpočtová úloha proof of work slúži ako dodatočná prekážka pre automatizované požiadavky.
Pri jednotlivých požiadavkách je dodatočné zaťaženie zanedbateľné, no pri masovom scrapovaní sa postupne sčítava a výrazne predražuje automatizované získavanie údajov.
Zámerom je, aby sa takáto stránka nemusela zobrazovať používateľom, pri ktorých je oveľa pravdepodobnejšie, že sú legitímni.
Ochrana preto kombinuje dočasné zvýšenie nákladov pre masové scrapovanie s dlhodobejším vývojom metód na identifikáciu bezhlavých prehliadačov.
Obmedzenia kompatibility
Anubis vyžaduje moderné funkcie JavaScriptu, ktoré doplnky, ako je JShelter, deaktivujú.
To znamená, že kompatibilita závisí od toho, či prehliadač a jeho doplnky umožňujú používanie funkcií potrebných na fungovanie ochrany.
Pri posudzovaní problémov preto treba rozlišovať medzi samotnou ochranou a zásahmi doplnkov, ktoré moderné funkcie JavaScriptu vypínajú.