Apel środowiska technologicznego o wstrzymanie prac nad AI
W końcu listopada 2023 r. doszło do spektakularnego zwolnienia i – po kilku dniach – równie widowiskowego przywrócenia do pracy Sama Altmana, dyrektora wykonawczego i współzałożyciela spółki OpenAI. Altman to czołowa postać w branży AI, „złote dziecko Doliny Krzemowej”, zwolennik stworzenia bezpiecznej, tzw. ogólnej lub silnej sztucznej inteligencji (AGI). Wydarzenie to przez kilka dni nie schodziło z czołówek światowych mediów. Jak celnie zauważył „Forbes”, to był scenariusz, którego nie powstydziłaby się sztuczna inteligencja. Wydarzenie podgrzało – i tak gorącą od kilku lat – dyskusję na temat szans i zagrożeń, jakie niesie rozwój AI, ale również wokół prawnych możliwości jej okiełznania.
Podobnej wrzawy medialnej nie wywołała publikacja w marcu 2023 r. listu otwartego podpisanego przez 1000 liderów sektora wysokich technologii IT z Elonem Muskiem i Stevem Wozniakiem na czele (Altmana wśród nich nie było), którzy zaapelowali do światowych laboratoriów AI o natychmiastowe wstrzymanie przynajmniej na 6 miesięcy prac rozwojowych nad technologiami potężniejszymi niż GPT-4. List wywołał spore poruszenie i dyskusje w sektorze AI. Bezpośrednim bodźcem tego apelu było zaprezentowanie przez firmę OpenAI, wspieraną przez Microsoft, kilkanaście dni wcześniej czwartej wersji programu AI GPT (Generative Pre-trained Transformer), który zachwycił użytkowników zdolnościami prowadzenia „ludzkiej” rozmowy, komponowaniem piosenek i kreowaniem długich dokumentów. Sygnatariusze listu ostrzegali, że narzędzia sztucznej inteligencji stanowią „głębokie ryzyko dla społeczeństwa i ludzkości”. Zwraca uwagę zwłaszcza jego następujący fragment: „Współczesne systemy sztucznej inteligencji stają się obecnie konkurencyjne wobec ludzi w ogólnych zadaniach i musimy zadać sobie pytanie: czy powinniśmy pozwolić maszynom zalewać nasze kanały informacyjne propagandą i nieprawdą? Czy powinniśmy automatyzować wszystkie zadania, także te, które dają nam satysfakcję? Czy powinniśmy rozwijać nieludzkie umysły, które w końcu mogą nas przewyższyć liczebnie, przechytrzyć i zastąpić? Czy powinniśmy ryzykować utratę kontroli nad naszą cywilizacją? Nie można delegować takich decyzji na niepochodzących z wyboru liderów technologicznych. Potężne systemy sztucznej inteligencji należy opracowywać dopiero wtedy, gdy będziemy mieli pewność, że ich skutki będą pozytywne, a związane z nimi ryzyko będzie możliwe do opanowania”.
Komentatorzy z branży uznali, że o ile przerwa w dalszych badaniach nad AI to dobry pomysł, to sam apel ocenili jako niejasny, w którym nie potraktowano poważnie problemów regulacyjnych. Niektórym z sygnatariuszy, zwłaszcza Muskowi, zarzucano hipokryzję, ponieważ był jednym ze współfinansujących OpenAI na początku jej drogi, co jednocześnie nie przeszkadzało mu apelować do organów regulacyjnych o zapewnienie, że rozwój AI będzie służył interesowi publicznemu.
Premierowa prezentacja przez OpenAI rozwiązania ChatGPT skłoniła rywali do przyspieszenia prac nad podobnymi modelami językowymi, a wiele firm ściga się, aby „zanurzyć” swoje produkty w sztucznej inteligencji. Inwestorzy nieufni wobec monopolu jednej firmy, wspierają konkurentów OpenAI. Rozpoczął się swoisty „wyścig zbrojeń”.
Technologia ChatGPT przyciąga uwagę amerykańskich prawodawców, którzy niepokoją się o jej wpływ na bezpieczeństwo narodowe i edukację. Unijna policja Europol ostrzega o potencjalnym niewłaściwym wykorzystaniu systemu do prób phishingu, dezinformacji i cyberprzestępczości. Z kolei rząd Wielkiej Brytanii przedstawił propozycje „możliwych do dostosowania” ram regulacyjnych dotyczących sztucznej inteligencji. Nad rozwiązaniami prawnymi pochylają się instytucje i organy Unii Europejskiej.
Stanowienie prawa utrudnia to, że badania i wdrożenia AI pozostają nie w rękach rządów, ale nielicznych firm dysponujących odpowiednimi zasobami. Systemy AI jest trudno tworzyć, ale jeszcze trudniej zdemokratyzować.
Najistotniejsze zagrożenia AI
Pojawieniu się pierwszych rozwiązań w zakresie AI towarzyszyły obawy co do zagrożeń, jakie stwarza ta technologia. Specjaliści wskazują ich wiele, wymienia się najczęściej brak przejrzystości, wpływanie na wybory człowieka i uprzedzenia społeczne, naruszanie prywatności, zagrożenia bezpieczeństwa, koncentrację władzy w rękach kilku korporacji, rewolucję na rynku pracy, nierówności ekonomiczne, zrywanie więzi międzyludzkich, uzależnienie od narzędzi AI, dezinformację i manipulację.
Wszystkie z wymienionych można wszakże sprowadzić do jednego zasadniczego zagrożenia, które wyartykułował Steven Feldstein, profesor na Uniwersytecie Stanowym Boise, a w przeszłości wysoki urzędnik Departamentu Stanu USA: „Na całym świecie systemy sztucznej inteligencji pokazują swój potencjał w zakresie wspierania represyjnych reżimów i wywracania do góry nogami relacji między obywatelem a państwem, przyspieszając w ten sposób globalne odrodzenie autorytaryzmu”. Widać to zwłaszcza na przykładzie Chin, które za kluczowy element strategii geopolitycznej przyjęły rozprzestrzenianie technologii AI wśród reżimów autorytarnych i nieliberalnych. Znaczenie tej technologii zarówno dla światowych autorytaryzmów, jak i ich demokratycznych przeciwników staje się coraz wyraźniejsze. W ostatnich latach autokracje osiągnęły nowy poziom kontroli i manipulacji, stosując zaawansowane systemy komputerowe do przetwarzania ogromnych ilości nieustrukturyzowanych danych dostępnych obecnie w internecie. Technologie rozpoznawania twarzy, które w czasie rzeczywistym sprawdzają obrazy w ogromnych bazach danych, czy też algorytmy penetrujące media społecznościowe w poszukiwaniu oznak aktywności opozycji – wszystkie te innowacje zmieniają zasady gry politycznej i coraz częściej służą do narzucania kierunku dyskursu i zwalczania politycznych oponentów.
Należy podkreślić, że technologia AI nie jest jedyną wykorzystywaną przez autokratów do celów politycznych. Inne, jak zaawansowana biometria, państwowy cyberhaking i techniki zniekształcania informacji, stosowane w połączeniu ze sztuczną inteligencją, mają równie niepokojące skutki. Jednak AI posiada tę przewagę, że dysponuje możliwościami wyższego rzędu, które integrują i ulepszają funkcje innych technologii w nowy, zaskakujący sposób. Ponadto mamy do czynienia z ograniczonym zrozumieniem wpływu technologii AI na politykę; decydenci nadal nie traktują poważnie represyjnych konsekwencji sztucznej inteligencji.
Warto zauważyć w kontekście rozwoju AI, że zmienia się sposób, w jaki autokraci tracą władzę. Liczba zamachów stanu, charakterystycznych dla okresu zimnej wojny, gwałtownie spadła, stanowiąc przyczynę zaledwie 13% upadków „zamordystycznych” reżimów. Najpoważniejszym zagrożeniem dla dyktatur jest niezadowolenie opinii publicznej, wyrażane na ulicach lub przy urnach wyborczych. Wnioski dla autokratów są jasne: należy przekierować zasoby tak, aby utrzymać kontrolę nad popularnymi ruchami obywatelskimi i fałszować wybory. W tych obszarach technologia sztucznej inteligencji zapewnia kluczową przewagę. Zamiast polegać na siłach bezpieczeństwa represjonujących obywateli, ze wszystkimi kosztami i związanym z tym ryzykiem politycznym, przywódcy stosują narzędzia cyfrowe do monitorowania, inwigilowania i nękania ruchów społeczeństwa obywatelskiego oraz do zakłócania wyborów.
S. Feldstein kreśli trzy scenariusze, w których AI może być przydatna dyktaturom i władzom niedemokratycznym: śledzenie powszechnego niezadowolenia i kontrolowanie masowych protestów, trzymanie w ryzach niespokojnej prowincji, wykorzystywanie dezinformacji do delegitymizacji przeciwników.
Rozprzestrzenianie technologii AI, wzrost represji cyfrowych stanowią poważne wyzwania dla liberalnych demokracji. Kluczowa staje się kwestia, czy narzędzia AI mogą spowodować, że same demokracje staną się bardziej represyjne? Czy pokusa skorzystania z potencjału AI może ostatecznie zniszczyć demokratyczne mechanizmy? Niebezpieczeństwo jest znacznie większe dla kruchych demokracji lub krajów o autorytarnych tendencjach. Nawet w systemach politycznych, które są pozornie demokratyczne, rządy mają wysoką motywację do wyposażania sił bezpieczeństwa w wyrafinowaną technologię, zdolną do monitorowania działań przeciwników politycznych i społeczeństwa obywatelskiego (np. wykorzystanie systemu Pegasus w Polsce).
Prawne dylematy. Więcej pytań niż odpowiedzi
Demokracje powinny przejąć inicjatywę w rozwijaniu ram regulacyjnych dotyczących AI, bowiem trudno spodziewać się takich działań ze strony Chin czy Rosji, które nie są skłonne do przywdziania gorsetu międzynarodowych przepisów. To jest i będzie niełatwy proces – innowacje technologiczne często prześcigają zdolność organów regulacyjnych do opracowania rozsądnych standardów i wytycznych. Technologia AI jest narzędziem o „podwójnym zastosowaniu”: można ją użyć do celów szlachetnych, ale także do celów wojskowych i represyjnych. Problem tkwi w tym, że tej technologii nie można precyzyjnie podzielić na oddzielne części: „korzystną” i „szkodliwą”.
Dodatkowa trudność regulacyjna wynika z tego, że AI koncentruje władzę w rękach kilku cyfrowych gigantów internetu. To oni decydują, w jaki sposób większość społeczeństw korzysta z internetu i co sieć im dostarcza. Kumulacja władzy technologicznej, gospodarczej i politycznej w rękach pięciu największych graczy – Google’a, Facebooka, Microsofta, Apple’a i Amazona – zapewnia im nadmierny wpływ w obszarach życia społecznego, istotnych dla budowania opinii: w kręgach władzy wykonawczej, ustawodawczej, społeczeństwie obywatelskim, partiach politycznych, szkole i edukacji, mediach oraz – co najważniejsze – nauce i badaniach. W konsekwencji korporacje technologiczne nie tylko kształtują rozwój i wdrażanie sztucznej inteligencji, ale także debatę na temat jej regulacji.
Złożoność materii sztucznej inteligencji nie pozwala w ramach jednego artykułu odnieść się do wszystkich wyzwań, jakie stwarza ona dla porządku prawnego, stąd autorzy zasygnalizują tylko niektóre z nich.
Zdaniem wielu znawców przedmiotu u źródeł wszystkich problemów prawnych leży brak przejrzystości algorytmicznej sztucznej inteligencji. Algorytm, najprościej ujmując, to metodologiczny zestaw instrukcji służący do przekształcania danych w wiedzę. Stosując kulinarną analogię, to przepis polegający na przekształceniu składników w gotowe danie. Wyrafinowane algorytmy mogą przeglądać masy danych z zadziwiającą szybkością. Media społecznościowe dostarczają kolosalnej ilości danych generowanych przez użytkowników, w większości nieustrukturyzowanych, natomiast algorytmy umożliwiają ich uporządkowanie w popularne tematy, wzorce zachowań użytkowników, potrzeby użytkowników, zasadnicze interakcje, aktywność w komentarzach, żeby wymienić tylko kilka. Informacje na temat funkcjonalności algorytmów są często celowo nieudostępniane. Stąd pojawia się coraz więcej głosów dotyczących odpowiedzialności algorytmicznej AI.
Określenie, kto może zostać pociągnięty do odpowiedzialności za niekorzystne działania sztucznej inteligencji, jest ważne, ale niezwykle trudne. Na przykład określenie „programista” może odnosić się do wielu współpracowników i obejmować takie role, jak architekt programu, ekspert ds. produktu, ale wina może leżeć również po stronie menedżera, który wyznaczył niekompetentnego eksperta lub programistę.
Niektórzy specjaliści eksponują koncepcję „odpowiedzialności rozproszonej”. Jako że operacje AI powstają w wyniku długiego, złożonego łańcucha interakcji między człowiekiem a robotem – od programistów i projektantów po producentów, dostawców i użytkowników, z których każdy ma inne motywacje i wiedzę – można uznać, że wynik sztucznej inteligencji był wynikiem rozproszonego działania. Jednym ze sposobów zapewnienia, że sztuczna inteligencja będzie działać na rzecz „zapobiegania złu i wspierania dobra” może być wdrożenie ram etycznych rozproszonej odpowiedzialności, w których wszyscy uczestnicy będą odpowiedzialni za swoją rolę w kreowaniu wyniku AI. Jednak taki postulat, bez konkretów, pozostaje tylko szlachetnym apelem.
Zaawansowane systemy AI nie tylko wdrażają algorytmy zaprojektowane przez człowieka, ale tworzą własne. Czy istniejące systemy odpowiedzialności przewidują takie sytuacje, czy też należy stworzyć nowe regulacje prawne? Zgodnie z uchwałą Parlamentu Europejskiego z 2017 r. w sprawie sztucznej inteligencji odpowiedzialność prawną za działanie (lub zaniechanie) sztucznej inteligencji tradycyjnie należy przypisywać człowiekowi: właścicielowi, programiście, producentowi lub operatorowi sztucznej inteligencji. Jednak problemy pojawiają się przy zaawansowanych systemach, takich jak samouczące się sieci neuronowe. Jeśli programista nie może przewidzieć działania AI, ponieważ w wyniku szeregu procesów sztuczna inteligencja uległa znacznym zmianom w stosunku do pierwotnego projektu, czy może zostać pociągnięty do odpowiedzialności za to działanie? Pojawia się ryzyko luki w odpowiedzialności. Proponuje się m.in., aby programista sieci neuronowej w coraz większym stopniu stawał się „twórcą organizmów programowych”, mającym bardzo niewielką kontrolę poza kodowaniem, ponieważ zachowanie AI odbiega od pierwotnego programowania, a bardziej staje się produktem jej interakcji z otoczeniem. Ta luka w odpowiedzialności – zdaniem ekspertów – wymaga doprecyzowania i wdrożenia odpowiednich przepisów i zasad etycznych.
Prawa autorskie
Inna sfera wymagająca prawnych uregulowań to kwestia autorstwa i ochrony własności intelektualnej. Istnieją obawy, że wyniki wygenerowane przez systemy AI mogą być podobne do dzieła chronionego prawem autorskim, w związku z czym narażają podmiot, który je rozpowszechnia lub publikuje, na zarzut naruszenia tego prawa. Problem może jednak być innego rodzaju – użytkownicy określonego „tworu” AI nieświadomi zaistniałej sytuacji, tzn. nieznający dzieł chronionych prawem autorskim, nie będą wiedzieć, czy dany produkt AI jest podobny do dzieła chronionego, stąd nieintencjonalnie użytkują (rozpowszechniają) dzieło jako własne. Takie postępowanie nie będzie stanowić podstawy do roszczeń o naruszenie praw autorskich, ale może skutkować znaczną szkodą dla reputacji użytkownika.
Kolejna kwestia dotyczy autorstwa końcowego produktu systemu AI. Czy jest to tylko osoba wprowadzająca dane, czy może generatywny model sztucznej inteligencji, a może kombinacja? Firma OpenAI sugeruje, że część wyników jest uzyskiwana przy użyciu generatywnych modeli sztucznej inteligencji. Z pewnością rodzi się tu pewien problem prawny, bowiem niedokładne podanie autorstwa może skutkować potencjalną odpowiedzialnością. W szczególności może to naruszać przepisy wymagające, aby autor, składając stosowne oświadczenie, nie przypisywał sobie (człowiekowi) wszystkich rezultatów AI, gdy tak nie jest. Ponieważ te same dane wyjściowe mogą być wygenerowane dla innego użytkownika, brak oświadczenia, że wykorzystano generatywną sztuczną inteligencję, może skutkować ewentualnymi zarzutami dotyczącymi wprowadzenia w błąd.
W kwietniu 2020 r. Parlament Europejski opublikował projekt sprawozdania, w którym przyjęto, że dzieła wygenerowane przez sztuczną inteligencję można uznać za „równoważne” z dziełami intelektualnymi i w związku z tym są chronione prawem autorskim. Sprzeciwił się jednak nadawaniu autorstwa samej sztucznej inteligencji, proponując, aby przypisywane było ono osobie, która przygotowuje i publikuje utwór zgodnie z prawem, pod warunkiem że projektant technologii nie poczynił innych zastrzeżeń co do jego wykorzystania. Interesująca jest tu „równoważność” wytworów AI z pracą intelektualną, oparta na propozycji, aby dzieło uznawać na podstawie rezultatu twórczego, a nie procesu twórczego.
Zatem na razie prawa autorskie nie mogą należeć do systemów AI, nie jest to konieczne, aby można było uznać kreatywność tych systemów. Niemniej zastrzeżenia co do roszczenia sobie prawa własności przez kogokolwiek innego są widoczne w ograniczonych prawach przyznanych utworom „wygenerowanym komputerowo”. Okres ten jest zazwyczaj krótszy, a uznany za „autora” nie jest w stanie dochodzić praw osobistych – takich jak prawo do bycia identyfikowanym jako autor dzieła. W dokumencie Światowej Organizacji Własności Intelektualnej (WIPO) odnotowano ten dylemat, stwierdzając, że wykluczenie takich utworów faworyzowałoby twórczość ludzką wobec „twórczości maszynowej” kosztem udostępnienia konsumentom jak największej liczby dzieł twórczych. Zasugerowano, że rozwiązaniem pośrednim mogłoby być „skrócenie okresu ochrony i innych ograniczeń”.
Z kolei amerykański Urząd ds. Praw Autorskich stwierdził, że ochrona prawna oryginalnych dzieł autorskich ogranicza się do dzieł „stworzonych przez człowieka”. Urząd nie rejestruje dzieł „wytworzonych przez maszynę lub zwykły proces mechaniczny, który działa losowo lub automatycznie, bez żadnego twórczego wkładu lub interwencji osobowego autora”. Kluczowe jest tu wszak określenie „żadnego wkładu”, które nasuwa pytanie, jaki poziom zaangażowania człowieka w utwór AI jest wymagany, aby potwierdzić autorstwo.
Do niedawna w Chinach panował ortodoksyjny pogląd, że dzieła stworzone przez sztuczną inteligencję nie podlegają ochronie praw autorskich. Jednak w grudniu 2019 r. jeden z sądów rejonowych orzekł, że artykułu stworzonego przez algorytm nie można kopiować bez pozwolenia. Dotyczyło to raportu finansowego opublikowanego przez korporację Tencent z adnotacją, że został „napisany automatycznie” przez Dreamwriter – program do pisania wiadomości opracowany przez firmę w 2015 roku. Firma Shanghai Yingxun Technology Company skopiowała artykuł bez pozwolenia, ale w wyniku pozwu i wyroku sądowego musiała artykuł usunąć i zapłacić 1500 jenów (216 dolarów) z tytułu „strat ekonomicznych i ochrony praw”.
Patenty na wynalazki
Podobna do kwestii autorstwa, w kontekście rozwoju AI, jest problematyka ochrony wynalazcy, jakkolwiek w obszarze patentowym pojawia się pytanie, czy w ogóle jest to godne rozważania, bowiem w większości jurysdykcji zakłada się, że wynalazcą musi być człowiek. W lipcu 2019 r. brytyjski naukowiec Stephen Thaler postanowił przetestować to założenie, zgłaszając patenty w Wielkiej Brytanii, Unii Europejskiej i Stanach Zjednoczonych, w których jako „wynalazcę” wskazano system sztucznej inteligencji DABUS. System ten, zbiór kodów źródłowych i oprogramowania, zdaniem Thalera, jest w stanie samodzielnie generować wynalazki podlegające ochronie patentowej.
Brytyjski Urząd Własności Intelektualnej był skłonny zaakceptować to, że DABUS stworzył wynalazki, ale odpowiednie przepisy wymagały, aby wynalazcą była osoba fizyczna, a nie maszyna. Europejski Urząd Patentowy (EPO), odrzucając wniosek, przyjął bardziej okrężną argumentację. Założył, że wyznaczenie maszyny jako wynalazcy nie spełniało „wymogów formalnych”. Obejmowały one podanie „nazwiska rodowego, imion i pełnego adresu wynalazcy”. Imię, jak stwierdził EPO, nie tylko identyfikuje osobę, ale umożliwia jej korzystanie z przysługujących jej praw i stanowi część jej osobowości. „Rzeczy” natomiast nie mają praw, z których mogłyby – pod określoną nazwą – korzystać. Wniosek w USA również został odrzucony, częściowo ze względu na to, że odpowiednie ustawy wielokrotnie odnosiły się do wynalazców używających „zaimków charakterystycznych dla osób fizycznych”, takich jak „on” i „ona”. Urząd Patentów i Handlu (USPTO) potwierdził koncepcję, że „kamieniem probierczym wynalazczości” jest „akt umysłowy”, który zachodzi w „umyśle wynalazcy”. W tym sensie wynalazek ogranicza się do osób fizycznych, a nie np. korporacji.
Interesujący wywód dotyczący potencjalnej osobowości prawnej AI przeprowadził Simon Chesterman z Uniwersytetu Singapurskiego. W miarę jak systemy sztucznej inteligencji stają się coraz bardziej wyrafinowane i odgrywają znaczącą rolę w społeczeństwie pojawiają się, według niego, co najmniej dwa odrębne powody, dla których mogą zostać uznane za osoby wobec prawa. Po pierwsze, będzie ktoś (coś), kogo można winić, gdy dojdzie do niekorzystnych sytuacji, zwłaszcza naruszania prawa i byłaby to odpowiedź na potencjalne luki w odpowiedzialności powstałe na skutek szybkości, autonomii i nieprzejrzystości działania systemów AI. Drugim powodem uznania osobowości prawnej systemów AI jest chęć upewnienia się, że jest ktoś (coś), kogo można nagrodzić, gdy „wszystko pójdzie dobrze”.
Pojawiła się literatura naukowa, która podejmuje ten wątek, chociaż wydaje się dotykać kwestii dość nieprawdopodobnej, by nie rzec absurdalnej. Przynajmniej w najbliższej przyszłości lepszym rozwiązaniem jest oparcie się na istniejących kategoriach, a więc założeniu, że odpowiedzialność za naruszenia prawa ponoszą użytkownicy, właściciele czy producenci, a nie same systemy AI. To jednak, według Chestermana, może się to zmienić, bowiem jest prawdopodobne, że pewnego dnia „wyłonią się syntetyczne istoty o wartości moralnej porównywalnej z ludźmi”. Nieuznanie tej wartości może wskazywać, że jesteśmy „gatunkiem autystycznym”, niezdolnym do zrozumienia umysłów innych istot lub wobec nich uprzedzonym. Jeśli tak się stanie, to warto przypomnieć hipotezę, którą postawił Alan Turing w 1951 r.: „wydaje się prawdopodobne, że gdy zacznie działać metoda myślenia maszynowego, prześcignięcie naszych słabych mocy nie zajmie dużo czasu”. Ian McEwen, autor bestsellera „Machines Like Me”, proponuje, że zanim zapytamy, czy jesteśmy w stanie stworzyć takie myślące maszyny, powinniśmy rozważyć, czy powinniśmy to w ogóle czynić.
Prof. Jakub Mądry, specjalista ds. AI w Massachusetts Institute of Technology (MIT), wyraził opinię, że chociaż sztuczna inteligencja rozwija się w nieprawdopodobnym tempie, jej modele są nietransparentne, a brak wiedzy prowadzi do ich antropomorfizacji przez ludzi, to w najbliższej perspektywie nie grozi nam „bunt maszyn” czy „utrata kontroli nad cywilizacją”. Najpilniejszą kwestią jest wdrażanie regulacji prawnych, które powinny rozpocząć się od dobrowolnych „najlepszych praktyk” i dialogu. Jeśli twórcy AI będą napędzani jedynie logiką wyścigu, to stanie się jak w przypadku mediów społecznościowych: maksymalizacja zysków bez względu na skutek. W obszarze AI zapanuje swoisty „Dziki Zachód”.
Robert Nogacki, radca prawny, partner zarządzający, Kancelaria Prawna Skarbiec, specjalizująca się w doradztwie prawnym, podatkowym oraz strategicznym dla przedsiębiorców,
Marek Ciecierski, doktor nauk politycznych, wykładowca akademicki
Zgłoś naruszenie/Błąd
Pozytywnie
Neutralnie 
Negatywnie
Lubię to!
Super
Ekscytujący 
Ciekawy
Smieszny
Smutny
Wściekły
Przerażony
Szokujący
Wzruszający
Rozczarowany
Zaskoczony
Prawda
Manipulacja
Fake news
Oryginalne źródło ZOBACZ
Dodaj kanał RSS
Musisz być zalogowanym aby zaproponować nowy kanal RSS