Czy testy DxOMark można traktować jako wiarygodne?

Portal DxOMark od lat wzbudza kontrowersje. Niektórzy zarzucają mu stronniczość, inni brak profesjonalizmu, jeszcze inni oskarżają o płatne recenzje. Niektóre recenzje bolą fanów danej marki, inne po prostu wzbudzają nieufność. Jak jest w istocie? 

Reklama

Kilka dni temu szerokim echem odbiła się publikacja testu niezbyt już nowego smartfona LG G7 ThinQ. Mówiąc w skrócie, możliwości optyczne tego telefonu zostały zrównane z ziemią, a, patrząc na punktację, powinniśmy go raczej unikać. Lepsze efekty osiągniemy sprzętem nawet kilkuletnim. Od razu podniosły się głosy, że sprzęt wypadł słabo, bo LG nie współpracuje z DxOMark:

CZYM JEST DXOMARK?

Odpowiedzmy sobie najpierw na pytanie czym jest DxOMark. Na pewno nie jest to instytucja charytatywna czy portal blogerski. Jest to prywatna firma konsultingowa, zarabiająca na dwóch rzeczach: doradztwie w zakresie optyki oraz sprzedaży zestawów DxO Analyzer, kompleksowych rozwiązań do badania jakości w produkowanych zestawach optycznych czy kamerach telefonów.

Oczywiście nie ma nic złego w prowadzeniu takiej formy działalności. Dostarczanie wysokiej klasy zestawów laboratoryjnych służy poprawie jakości w całej branży. Niektórzy jednak zapominają o tym, że DxOMark jet firmą komercyjną, traktując jej oceny niemal jak wyrocznię. Wpływ, jaki DxOMark ma w mediach prowadzi do tego, że coraz więcej producentów korzysta z rozwiązań konsultacyjnych i sprzętowych w celu poprawy jakości oferowanych przez siebie produktów.

Rodzi to pewien dylemat natury moralnej. Czy przypadkiem nie jest tak, że firma nie pobiera żadnych opłat za recenzje, o czym sama wielokrotnie publicznie wspominała, ale z drugiej strony, jeśli ktoś chce dobrze wypaść w testach laboratoryjnych DxO, to „dobrze by było”, gdyby miał odpowiednio skalibrowany sprzęt pod kątem tych testów? Znamy przypadki, gdzie firmy odpowiednio optymalizują i podkręcają oprogramowanie po to, by osiągnąć nieco lepsze wyniki w różnego rodzaju benchmarkach. Problemem nie będzie więc rzetelność testów, bo te, powiedzmy, wykonywane są na dużych próbach, ale nastawienie samych producentów telefonów, którzy zrobią wszystko, by osiągnąć o kilka punktów więcej.

Pytanie też na czym polegają płatne konsultacje i w jakich aspektach wpływają na końcowy wynik oceny? Jeśli firma sprzedaje informacje nie tylko, co ocenia, ale jak ocenia i co trzeba poprawić, by wyniki były lepsze, to czy takie działania są fair? Nie mi to oceniać. Przyjmijmy, że działania konsultingowe DxOMark są transparentne i rzetelne. Gdyby nie były, firma straciłaby sporo na swojej wiarygodności i na potencjalnych zyskach.

Paradoksalnie problemem DxOMark stała się też jego pozycja. Producenci i media branżowe eksponują każdą nową publikację niczym pochodzącą z ust Pytii. Media same nakręcają histerię wokół prezentowanych wyników, tak jakby nie było innych benchmarków, a ocena DxOMark była całkowicie niepodważalna i przejrzysta.

JAK TESTUJE DXOMARK?

Spójrzmy na drugi aspekt krytyki DxOMark. Jak są prowadzone testy i czy wyniki są do końca wiarygodne? Wiele osób zarzuca portalowi, że oceny biorą się znikąd, podczas gdy na samej stronie w miarę dokładnie opisano procedury testowe. DxOMark każdorazowo ocenia próbkę ponad 1500 zdjęć i kilkaset RAW-ów, o ile są dostępne, do tego co najmniej 2 godziny filmów wykonanych w różnych warunkach oświetleniowych. Testy mają charakter laboratoryjny, a próbki pobierane są w różnych warunkach.

Ocena ogólna możliwości optycznych danego smartfona to średnia ważona dwóch składowych: oceny możliwości fotograficznych oraz możliwości wideo. Każda z tych ocen to z kolei wynikowa ocen cząstkowych, obejmujących ekspozycję, autofokus, szczegółowość, odwzorowanie barw itd, każdorazowo wykonywanych w różnych warunkach oświetleniowych. Procedura oceny możliwości jest więc mocno zaawansowana, ale też nie do końca przejrzysta. Portal nigdzie nie zamieścił tak podstawowej informacji, jak wagi poszczególnych ocen cząstkowych. Może być więc tak, i czasami jest, że smartfon z wyższym wynikiem ogólnym wykonuje słabsze zdjęcia od innego urządzenia, bo jego ocenę ogólną zawyża ocena możliwości wideo.

Ocena ogólna DxOMark nie odzwierciedla wyłącznie możliwości fotograficznych, co wiele osób i recenzentów pomija. Dla przykładu HTC U12+ oraz Samsung Galaxy Note 9 otrzymały identyczną ocenę ogólną 103 pkt. Czy wykonują identyczne zdjęcia? Oczywiście, że nie. Ocena HTC U12+ to składowa 106 za zdjęcia i 95 za filmy, natomiast Samsung Galaxy Note 9 odpowiednio 107 i 94 pkt. Note 9 wypada więc o oczko wyżej w ocenie możliwości fotograficznych. Czyli jest lepszym rozwiązaniem…? I znowu nie do końca. Jeśli spojrzymy na oceny składowe, to okaże się, że HTC U12+ ma dużo wyższą ocenę za jakość kolorów, autofokus, jakość tła, mniejszą ilość artefaktów, lepszy flash. Dlaczego Samsung Galaxy Note 9 mimo wszystko wygrywa? Bo ma aż 16 pkt więcej za zoom i 4 pkt za brak szumów oraz ekspozycję.

Widzimy więc pierwszy problem: ocena ogólna DxOMark wcale nie oznacza, że dany smartfon jest lepszy lub gorszy optycznie. I, jeśli weźmiemy pod uwagę tylko ocenę „Photo”, to analiza składowych może dać nam całkowicie inny obraz danego urządzenia. Jeśli nie interesuje nas zoom, to HTC U12+ wygrywa w kluczowych parametrach. Zresztą, dwie ostatnie składowe tj. zoom i bokeh wprowadzono dopiero niedawno i doprowadziło to do lekkiej konsternacji w branży. Zarzucano wtedy, że składowe te wprowadzono specjalnie po to, by „podbić” oceny nowych smartfonów z teleobiektywami. Mówiąc dosadniej: zmieniono parametry oceny „przypadkiem” tuż przed premierą iPhone’a 7 Plus.

W tym miejscu można postawić faktyczny zarzut. Nawet jeśli procedury oceny są rygorystyczne i laboratoryjne, to przyjęty zakres składowych oraz ich wagi zaburzają obraz możliwości optycznych danego urządzenia. DxOMark ocenia dodatkowe funkcje cyfrowego bokeh, ale nie daje dodatkowych punktów za szeroki kąt czy fotografię czarno-białą. Ocenie podlega aparat w trybie auto podczas gdy wyróżnikiem np. LG V30 jest tryb manualny wideo z filtrami CineVideo czy też możliwość zapisu do plików Cine Log. DxOMark pomija więc funkcje profesjonalne. LG G6 w automacie może robić słabe zdjęcia, ale w trybie ręcznym dostajemy nowe możliwości. Podobnie jak po aktualizacji ThinQ z tego roku, która diametralnie zmieniła możliwości tego telefonu. Ale o tym nie przeczytamy w ocenie DxOMark. Nie przeczytamy, bo LG G6 nigdy nie został oceniony. Może to i nawet lepiej dla tego telefonu. Poniżej próbka możliwości trybu nocnego LG G6. Widać gołym okiem jak zmiana oprogramowania potrafi podbić możliwości danego sprzętu:

Po lewej zdjęcie nocne wykonane w automacie, po prawej też w automacie, ale w trybie nocnym z oversamplingiem. Po lewej widzimy typową dla LG nocną „sieczkę” bez szczegółów. Zmiana trybu na nocny i zapis z użyciem ultrapikseli zmienia tę samą scenę w sposób diametralny. Może nie jest to jakość znana z Huawei P20 Pro, ale w swojej obecnej klasie cenowej LG G6 nie ma się obecnie czego wstydzić i np. pisanie, że Samsung Galaxy S7 robi lepsze fotki to nieporozumienie. Tak było może rok temu.

Zatrzymajmy się jeszcze na chwilę przy ocenie LG G7 ThinQ. Telefon ten może nie jest mistrzem fotografii i w testach innych portali przegrywa jakościowo z V30, ale ocena wystawiona przez DxOMark, jest nie tylko lakoniczna, spóźniona, ale też momentami tendencyjna. Smartfon największy spadek otrzymuje za spadek detali, co skwitowane jest tylko dwoma zdaniami: Texture and noise are also among the G7 ThinQ’s weaknesses. A loss of detail in finer textures is noticeable even in bright light, and there can be noise in areas of low contrast or uniform colors even when shooting in good light conditions. Brak jakichkolwiek próbek i sampli potwierdzających tę ocenę.

Dwa, ocena cierpi też przez brak teleobiektywu: The G7 ThinQ’s secondary camera is a super-wide-angle rather than a tele (as for some competitors). This can be useful if you want to squeeze more of a scene into your image, but it also means that zoom performance is poor compared to some direct rivals, as the LG relies purely on digital zoom. Szeroki kąt zostaje wspomniany, ale wg portalu jest to w sumie wada, bo prowadzi do gorszych możliwości zoomu cyfrowego! I czy taką ocenę można brać za miarodajną? I jeszcze jedna rzecz: LG G7 ThinQ zostaje zmiażdżony za słaby bokeh (40 pkt) przy czym… najnowszy iPhone XS Max ma bokeh równie tragiczny (patrz artefakty wokół dłoni), ale punktów znacznie więcej bo 60.

LG G7 ThinQ otrzymuje również bardzo słabe oceny za brak szczegółowości i detali przy powiększeniu. Dam tutaj tylko jeden kontr przykład w oparciu o zdjęcia pobrane bezpośrednio z testu Huawei P20 Pro. Telefon ten otrzymuje praktycznie maksymalne noty. Spójrzmy na poniższe próbki. Faktycznie kolorystyka wygląda na całkiem niezłą, ale w tym konkretnym przykładzie razi kompletny brak detali.

Wystarczy otworzyć powyższe zdjęcia w osobnych oknach, by zobaczyć faktyczną jakość tła i brak szczegółowości. To, za co LG jest krytykowane, w przypadku Huaweia nie jest nawet wspomniane jednym zdaniem.

Polecam otworzyć powyższe wycinki. Widać wyraźnie, że w tym konkretnym przykładzie Huawei 20 Pro został wręcz zdeklasowany jakościowo przez swoich dwóch konkurentów. Być może jest to faktycznie najlepszy fotosmartfon na rynku, ale akurat z powyższego przykładu kompletnie to nie wynika. Czy przeczytamy o tym w recenzji? Nie, bo wyniki mają charakter laboratoryjny, a opis jest zdawkowy. Jak widać w oparciu o same przykłady pobrane ze strony DxOMark można podważyć rzetelność wystawianych ocen. Gdybym miał wybierać telefon w oparciu o tę jedną próbkę, bez wahania sięgnąłbym po Pixela 2, którego szczegółowość i dbałość o detale przypomina tę z Lumii 950.

Podsumowując, jakie są moje zarzuty co do ocen portalu DxOMark?

  • Ocena ogólna danego urządzenia to średnia ważona możliwości foto i wideo. Te dwa aspekty nie powinny być moim zdaniem łączone.
  • Ocena fotograficzna to średnia ważona składowych, których wybór może być tendencyjny (np. punkty za słaby, cyfrowy bokeh).
  • Oceny składowe mają charakter analityczny (kolor, szumy), bardziej czytelna byłaby ocena składowa za zdjęcia dzienne, nocne, portretowe, a nie na odwrót. Aktualna ocena nic nie mówi konkretnego o możliwościach fotografowania w nocy, bo warunki oświetleniowe stanowią składowe dla np. oceny za kolor, a powinno być na odwrót. Każdy inny test osobno ocenia fotografię dzienną, osobno nocną.
  • Portal ocenia de facto możliwości aparatów w trybie automatycznym. W zasadzie nigdy nie spotkałem się z analizą trybu ręcznego zarówno foto, jak i wideo, czy analizą plików RAW. Ktoś powie, że 95 % ludzi pstryka w automacie. Odpowiem: 95 % ludzi nie kupuje flagowców. Jeżeli komuś zależy na fotografii, to ocenia pracę urządzenia nie tylko w trybie automatycznym, ale we wszystkich możliwych trybach i bierze pod uwagę możliwości korekty manualnej.
  • Nawet duże rozbieżności w ocenie niekoniecznie oznaczają, że smartfon X jest znacznie gorszy od Y.
  • Komentarze co do jakości zdjęć nie zawsze są spójne z prezentowanymi samplami.
  • W podsumowaniach praktycznie brak porównania cropów z danych ujęć.
  • Oficjalne recenzje i podsumowania testów są lakoniczne i miałkie, a przez to tworzą wrażenie nie do końca rzetelnych.
  • Niektóre telefony nie zostały nigdy ocenione, trudno więc pisać, że smartfon X jest najlepszy na rynku, gdy w bazie ocen brakuje niektórych, topowych urządzeń uważanych za co najmniej bardzo dobre, jak Lumia 950 z 2015 roku. Wiem, obecnie telefony z Windowsem już wymarły, ale w 2015 roku Lumia 950 oferowała jakość niespotykaną na rynku.
  • I na koniec: Pay to Win – wpływ na wynik końcowy może mieć kalibracja urządzeń za pomocą płatnych zestawów DxO Labs. Płacąc za dostęp do procedur testowych dana firma jest o dwa kroki przed konkurencją.

DxOMark stosuje rygorystyczne zasady oceny, pytanie tylko czy wybrane kategorie tej oceny w pełni odzwierciedlają możliwości sprzętu? Osobiście przed zakupem telefonu zalecałbym sprawdzenie jego możliwości w co najmniej kilku testach, bo czasami wyniki są mocno rozbieżne.

To oczywiście moja subiektywna ocena. Jeśli macie inne zdanie, zapraszam do dyskusji. Jak Wy oceniacie DxOMark? Oceny tego portalu są dla Was ważne przy wyborze nowego telefonu czy traktujecie je raczej z przymrużeniem oka?

  1. Zmieniam fona 3 lub 4 razy do roku, i jakie robi foty sam oceniam, opinię dxo i cyferki mam w pompie
    W tym roku miałem Galaxy S8, S9, Huawei P20, Asus Zenfone 5Z, wszystkie robią zdjęcia wysokiej jakości mimo różnic w dxo.
    Teraz chyba kupię tego LG G7..Laboratorium to jedno , a człowiek drugie, jak ktoś jest fotograficznym ciamajdą to nawet w automacie w Huawei Mate 20 Pro wyjdzie kaszana:)

  2. Wiadomo że nie do końca oceny są rzetelne Ale nie oszukujmy się.. można mieć wątpliwości o 1 czy 3 pkt .. jednak ciężko mieć do testów pretensje o 10pkt

  3. dlatego zawszę to powtarzam – cyferki cyferkami – trzeba samemu szukać podobnych zdjęć i porównywać „ręcznie” :D
    super, że jest DxO – baza sampli do porównania i tyle :)

  4. A jak mozna traktowac jako wiarygodne testy na blogach, na ktorych dominuja artykuly sponsorowane jednego producenta? Niestety Internet juz dawno nie jest obiektywny i tak samo dotyczy to DxO jak i Tabletowo.

  5. Dxo może faktycznie nie jest idealne, ale czy jest coś lepszego?
    Ja patrzę po prostu na zwycięzców i mam pewność że ten smartfon będzie robił dobre fotki. Nie zdarzyło się jeszcze, żeby jakiś telefon dostał dobra ocenę, a nie powinien.
    A to że jakiś tam model powinien być na 34, a nie 62 miejscu… cóż, trudno. Może to i nie jest sprawiedliwe, ale czy ktoś producentowi bronił zakupić soft do kalibracji? Widocznie mu nie zależało.

    1. No i dobrze widać jak słaby jest G7 na tle konkurencji. P20 Pro w 40 Mpix, S8/S9 i 2XL to czołówka jak dla mnie. Nawet Mi Mix 2S lepiej wypada od G7.

        1. Akurat G6 pominąłem przy porównywaniu, teraz zajrzałem i.. szok. Faktycznie G6 robi wyraźnie lepsze fotki, znacznie więcej detali. Pewnie po zmroku G7 wygra ale fotki w dzień to wręcz o klasę lepsze na G6.

      1. Zapewne jedynym telefonem jaki ma jest S7. Już niedawno czytałem elaborat o tym jak to G6 niszczy S7 i S8 w kwestii foto-wideo, zaglądam w profil i: „Użytkownik LG G6”.

          1. To tak nie działa. Najpierw kupujesz (niekoniecznie będąc zdecydowanym) a potem w internecie starasz się każdego przekonać, że Twój wybór był najlepszy. Tak naprawdę taka osoba stara sama siebie przekonać, że dokonała słusznego wyboru. Wtedy żadne argumenty już nie trafiają. Typowy polski szczęśliwy posiadacz, jego zawsze jest najmojsze.

          2. G6 na aparacie googla robi faktycznie lepsze foty niż na tym od LG ale do S8 to mu jednak jeszcze daleko. Miałem przez chwile G6 i S8 i mogłem sobie porównać.

  6. DxO to nie tylko DxOMark i pakiet analityczny, to również doskonałe oprogramowanie DxO PhotoLab, czerpiące swoje możliwości automatycznej korekcji zdjęć z wszechstronnych badań optyki i matryc i profilowania konkretnych zestawów. A od niedawna oferują także Nik Collection.

  7. To porównanie zdjęć nocnych z G6 to takie trochę nie bardzo. Przecież zdjęcie po lewej jest kompletnie nieostre, papka jest spowodowana tym, że aparat po prostu nie złapał focusu.
    Z kolei porównanie tych 3 zdjęć z DxO – zdjęcie z Huawei na miniaturce wygląda na najostrzejsze. W pełnym rozmiarze wychodzi kiszka, ale to tylko dowód na to, jak mocno ingerują algorytmy w obróbkę. Jak mniemam ta fotka to z trybu auto, czyli 10Mpix. A w trybie 40 Mpix telefon nawet kolorystykę zupełnie inaczej dobiera (bliżej do iPhone’a), nie mówiąc o ilości detali.

    1. Taki jesteś pewien, że to brak złapania focusu w G6? Bo ja miałem do czynienia z tym telefonem i wiem, że jak robi się ciemno to zdjęcia zaczynają powoli zmierzać w stronę Krueger & Matz

      1. Sam mam telefon, który w nocy robi sieczkę z detali i nigdy nie zrobił tak rozmytego zdjęcia. Dla mnie ewidentnie fotka jest out-of-focus. No chyba że LG jest takie zdolne że tak u nich typowe zdjęcie nocne wygląda :D

        1. Z autofokusem to racja. Trochę nie załapał i w trybie nocnym to ogólnie różnie wychodzi ale po aktualizacji do ThinQ już jest dużo lepiej zwłaszcza w trybie ręcznym.

      1. No co „no właśnie”. Trzeba było spróbować jeszcze raz. Przecież tryb nocny nie naprawi magicznie AF. Nie złapało, bo jest mało światła. Obie fotki są tak samo jasne, więc powinien złapać i na automacie.

  8. DxOMark ma swoje wady, ale mimo wszystko daje jakieś pojęcie. Szczególnie, gdy nie patrzy się na wynik ogólny, a więcej uwagi zwraca się na składowe. Główną wadą DxOMark jest to, że po zmianie oprogramowania nie przeprowadzają ponownych testów. To czasem spora różnica.
    Mało jest miarodajnych testów. Jeśli ktoś ma wątpliwości może porównać chociażby na vcx-forum.org Inna metodologia, ale często wyniki zbliżone.

  9. Najbardziej merytoryczny wpis tutaj od jakiegoś czasu. Poproszę o więcej od tego autora (nie mówię, że jego poprzednie wpisy były złe),.

  10. Fajny wpis.
    Ja sam czytam testy DxO ale nie podejmuję na ich podstwie wyborów. I tak zawsze kupuję Pixele (kiedyś Nexusy). Bardziej przekonują mnie testy porównawcze na Youtube. Wydaje mi się, że takie testy są mniej syntetyczne i pokazują różnice, które będą miały znaczenia dla zwykłego zjadacza chleba.

  11. Bardzo dobry artykuł. Ja DxO mark szanuję, bo bardzo konkretnie idzie wyczytać ile punktów za co, na pewno są to o wiele bardziej dogłębne i wiarygodne testy niż to co pojawia się zazwyczaj w recenzjach. Bardzo dużo konkretów. Tylko ja czytam ich testy, a nei tylko patrzę na końcową punktację

  12. Wielkie brawa dla autora artykułu. Szkoda, że na Tabletowo brakuje artykułów na tak wysokim poziomie. Niestety od pewnego czasu nadawane przez DxOMark punkty poszczególnym smartfonom traktuję z dużym przymrużeniem oka.Testy te dają jakiś ogląd, ale lepiej samemu wczytać się w ich treść i porównywać sample, ponieważ niekonsekwencji w ocenach jest więcej a potem ludzie piszą głupoty. Przykładem jest słaby artykuł Grzegorza Dąbka z Tabletowo: ” Ale wstyd! LG G6 robi znacznie gorsze zdjęcia niż LG G5!”, którego autor raczej sugerował się cyferkami a nie logiką.

  13. pozornie merytoryczny tekst z wybiórczymi przykładami dopasowanymi do tezy. trochę jak manifest rozżalonego licealisty nad wynikami swojego ukochanego LG ;)))

    kompromitujące, że redakcja Tabletowo puszcza takie babole na swoich stronach. taki sam tekst można by przygotować w kontekście testów ocen i punktacji dla Optyczne.pl czy Dpreview.com albo Tabletowo.pl :))) po prostu nie każdy dorósł do takich publikacji i musi to sobie jakoś kompensować

    https://c1.staticflickr.com/1/473/31653792660_64922383b2.jpg

  14. Abstrahując od jakości testów dxo, to absolutnie nie ma w tym nic dziwnego, że 2 letni flagowiec może robić lepsze zdjęcia niż nowy. Analizując każdy test należy brać pod uwagę kryteria jakimi kierują się oceniający i co dokładnie testują. Każdy ma inne wymagania, na inne cechy aparatu zwraca uwagę. Część osób może mieć całkowicie rozbieżne oczekiwania od autorów testu i jest to naturalne ale nie dyskredytuje całkowicie testu. Takie zestawienia należy umieć analizować i wyciągać z nich wnioski. Ja na przykład nie przykładam najmniejszej nawet wagi do trybu portretowego, manualnego, a zależy mi aby aparat miał stabilizację i dobierał rozdanie krótki czas naświetlania aby zdjęcie robione na szybko, , ręki było zawsze ostre nawet kosztem ziarna, bo nic tak nie denerwuje jak ważne chwile, interesujące nas zdarzenia których nie udało się zachować.

  15. Pełna zgoda. Często oglądam zdjęcia na tamtym portalu i zastanawiam się wg jakiej reguły została przyznana im punktacja. Co z tego że testy są w warunkach laboratoryjnych jak ostatecznego rangowania dokonuje człowiek? W testach aparatów fotograficznych nie lepiej.
    Jedno tylko moja wątpliwość, Czemu w tym artykule orz tak dużo o LG? Tez to pachnie brakiem obiektywności. Bo na koniec dnia zostają dwie wiadomości w głowie tDXO mark nierzetelne, a LG robi dobra aparaty, szczególnie jak zaktualizujesz soft ;) Szkoda że zabrakło jeszcze informacji że teraz LG G6 dostaniesz w bardzo atrakcyjnej cenie u naszego partnera….

    1. Nie chcemy pozbawiać was możliwości snucia spiskowych teorii dziejów. A już szczególnie w kontekście współpracy z kimkolwiek, gdyż wiadomo powszechnie, że pod stołem bierzemy kasę od wszystkich ;-)

  16. Odrobinę podobnie jest z Euro NCAP gdzie dodano punktację za kontroli o przekraczaniu pasa, niezapiętych pasów z tyłu itd. Potem efekt taki że auto z lepszą sprawnością w rozpraszaniu energii i sztywniejszym przedziałem pasażerskim gdzie całość daje wyraźnie lepsze zabezpieczenie podróżujących, auto ma gorsze nory od innego z tysiącem kontrolek i przypominaczy i… pękającą szybą czołową, wnikającą deską rozdzielczą do wnętrza.

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *

Reklama