Informacja o botach
Te boty są częścią aplikacji jaksytuacja, która monitoruje utrudnienia w komunikacji miejskiej i wysyła użytkownikom powiadomienia push. Działamy z poszanowaniem zasad odwiedzanych serwisów i staramy się minimalizować obciążenie serwerów.
O naszych botach
> Czytnik RSS
Czyta publiczne kanały RSS i strony z komunikatami przewoźników, żeby wykrywać utrudnienia w kursowaniu.
> Kolektor GTFS
Pobiera publicznie udostępniane otwarte dane transportowe w formacie GTFS i GTFS-Realtime (pozycje pojazdów, aktualizacje kursów, komunikaty o utrudnieniach), żeby mierzyć faktyczny ruch pojazdów.
Identyfikacja botów
Boty identyfikują się jednoznacznymi nagłówkami User-Agent, zawierają numer wersji oraz przyrostki oznaczające środowisko. Obecnie w użyciu:
Czytnik RSS
Kolektor GTFS
Jak działamy
Źródła danych
Zbieramy dane z publicznie dostępnych stron internetowych, kanałów RSS oraz portali otwartych danych publikujących kanały GTFS / GTFS-Realtime.
Częstotliwość żądań - czytnik RSS
Kanały RSS: nie częściej niż raz na minutę. Pojedyncze strony: odwiedzane tylko wtedy, gdy w kanale pojawi się nowy wpis.
Częstotliwość żądań - kolektor GTFS
Kanały GTFS-Realtime odpytujemy zwykle co 10-30 sekund, w zależności od częstotliwości odświeżania danych. Staramy się nie odpytywać kanału częściej, niż odświeża się jego źródło - interwał ustawiamy osobno dla każdego kanału po zmierzeniu rzeczywistego tempa publikacji. Statyczne archiwa rozkładów GTFS pobieramy najwyżej raz dziennie.
Minimalizacja obciążenia
Wszystkie żądania wysyłają nagłówki warunkowe (If-None-Match, If-Modified-Since) i respektują odpowiedź 304 Not Modified. Odpowiedzi identyczne z poprzednią są odrzucane, a nie pobierane ponownie w inny sposób. Przy błędach stosujemy wykładniczy backoff, do 5 minut między próbami, zamiast ponawiać natychmiast.
Wykorzystanie danych
Zebrane dane służą wyłącznie do działania aplikacji. Nie zbieramy ani nie przechowujemy danych osobowych. Informacje o źródle i warunkach licencyjnych zapisujemy osobno dla każdego kanału i respektujemy wszędzie tam, gdzie dane są używane.
Kontakt
Masz pytania lub wątpliwości? Napisz do nas:
Zwykle odpowiadamy w ciągu 24-48 godzin.