pricewatch.io tarayıcısı
Bu adresi sunucu günlüklerinizde bulduysanız, bu sayfa isteğin ne olduğunu, ne topladığını ve nasıl durdurulacağını anlatır. pricewatch'un yayımladıklarının çoğu tarama sonucu değildir: yeniden kullanım için yayımlanmış resmî açık veri akışlarından gelir.
Tam User-Agent
Getiricinin yaptığı her istek bu başlığı değiştirilmeden taşır. Bir istek pricewatch olduğunu iddia edip bu dizeyle tam eşleşmiyorsa, o biz değiliz.
pricewatch.io/1.0 (+https://pricewatch.io/bot)Tamamını seçmek için bloğa tıklayın.
Ne yapar
- Her ziyaretçiye açık sayfalardan yayımlanmış fiyat verisini alır.
- Her istekte yukarıdaki User-Agent ile kendini tanıtır.
- Başka bir şey istemeden önce robots.txt'yi okur ve crawl-delay dahil uyar.
- Host başına hız sınırlar; aynı anda tek istek ve istekler arasında bekleme.
- 429 ve 503'te sıkı yeniden denemek yerine geri çekilir; Retry-After'a uyar ve tekrarda aralığı genişletir.
Ne yapmaz
- Girişe kapalı içerik yok. Hesabı yoktur ve hiçbir sitenin kimlik bilgisini tutmaz.
- Kişisel veri yok. Fiyat, satıcı, yer ve zaman damgası kaydeder; kullanıcılarınız hakkında hiçbir şey değil.
- Hiçbir erişim denetimini aşma girişimi yok: ödeme duvarı aşma, CAPTCHA çözme, dönen IP'ler veya sahte user agent yok.
- Form gönderimi, ödeme akışı, hiçbir türde yazma yok. Yalnızca GET isteği yapar.
Nasıl engellenir
Bunu robots.txt dosyanıza ekleyin. Tarayıcı her çalıştırmadan önce robots.txt'yi yeniden okur; engelleme bir sonraki ziyarette geçerli olur ve bizden onay ya da başvuru gerekmez.
User-agent: pricewatch.io Disallow: /Tamamını seçmek için bloğa tıklayın.
robots.txt ile engellemek yeterlidir. Kenarınızda User-Agent ile engellemek de işe yarar ve etrafından dolaşmayız.
Bir insana ulaşmak
Tarayıcı size yük bindiriyorsa, almaması gereken bir şeyi aldıysa ya da robots.txt'ye dokunmadan gitmesini istiyorsanız bize yazın; bir insan okuyacak. Her mesajı iki iş günü içinde yanıtlarız ve talep üzerine bir hostu neden diye sormadan taramayı bırakırız.
Verinin çoğu taranmıyor
pricewatch'un tuttuğunun büyük kısmı, kaynağın kendisi tarafından yeniden kullanıma izin veren bir lisansla yayımlanan toplu açık veri akışlarıyla gelir. Örneğin Fransız akaryakıt fiyatları, binlerce sayfa isteği yerine tek bir planlı indirmeyle, Licence Ouverte 2.0 kapsamında prix-carburants.gouv.fr adresinden gelir. Tarama, akışı olmayan kaynaklar için yedek yoldur ve her kayıt kaynağını ve lisansını yanında taşır.