Przesłuchanie OpenAI przed Radą Miasta Nowy Jork składa laboratoria AI pod przysięgę

OpenAI wystąpi na przesłuchaniu przed Radą Miasta Nowy Jork wraz z trzema głównymi rywalami, pod przysięgą, po tym jak większość zgodziła się stawić dopiero wtedy, gdy prawodawcy zagrozili wezwaniami sądowymi. Sesja 5 października postawi Anthropic, Google, Meta i OpenAI przed wszystkimi 51 członkami rady. Zeznawać ma również były badacz Anthropic Jacob Coxon, który publicznie ostrzegał, że zaawansowana AI może wymknąć się ludzkiej kontroli.

Przesłuchanie OpenAI przed Radą Miasta Nowy Jork nie jest po prostu kolejną debatą przy okrągłym stole na temat polityki. Członkowie rady rozważają propozycje, które mogłyby wymagać zewnętrznej walidacji modeli, nagradzać sygnalistów, ustanowić odpowiedzialność za przewidywalne szkody oraz nakazywać szybkie zgłaszanie incydentów. Środki te przekształciłyby ogólne obietnice dotyczące bezpieczeństwa w obowiązki, które firmy, walidatorzy i podmioty wdrażające mogłyby być zobowiązane dokumentować.

Centralny konflikt dotyczy rozliczalności kontra dobrowolne zarządzanie. Firmy AI opublikowały ramy bezpieczeństwa i przyjęły wewnętrzne obowiązki testowe. Prawodawcy z Nowego Jorku chcą teraz niezależnych dowodów, środków prawnych i zeznań do protokołu. Przesłuchanie sprawdzi, czy czołowe laboratoria potrafią obronić swoje mechanizmy kontroli ryzyka, gdy pytania zadają wybierani urzędnicy, a nie ich własni ewaluatorzy.

Przesłuchanie OpenAI przed Radą Miasta Nowy Jork ma szerszy cel

Przesłuchanie przenosi bezpieczeństwo AI z dokumentów polityki firmowej do publicznych zeznań pod przysięgą.

Rada Miasta Nowy Jork zaplanowała przesłuchanie Komisji Całej Rady na godz. 11:00, 5 października, w City Hall. Komisja Całej Rady gromadzi pełny skład rady, zamiast kierować sprawę do jednej stałej komisji.

Rada opisuje sesję jako analizę zagrożeń stwarzanych przez sztuczną inteligencję. Jej agenda przesłuchania wymienia punkt dotyczący nadzoru oraz dziewięć propozycji legislacyjnych. Propozycje te obejmują walidację modeli, sygnalistów, prywatność chatbotów, zgłaszanie incydentów, odpowiedzialność, planowanie kryzysowe i twierdzenia reklamowe.

Meta zobowiązała się wysłać wysokiego rangą przedstawiciela, zanim Rada zagroziła zastosowaniem środków przymusowych. OpenAI i Google zgodziły się uczestniczyć po ostrzeżeniu o wezwaniach sądowych. Anthropic początkowo odmówił, a następnie potwierdził obecność krótko przed wyznaczonym terminem.

Rada twierdzi, że będą to pierwsze publiczne zeznania pod przysięgą złożone przez cztery firmy w sprawie zagrożeń AI i możliwych odpowiedzi legislacyjnych. To określenie ma znaczenie. Pochodzi od Rady, a przesłuchanie nie ustaliło jeszcze, na co każda firma się zgodzi, czemu zaprzeczy lub co wprowadzi do protokołu.

Zaproszone firmy nie mają wysłać swoich dyrektorów generalnych. Bloomberg podał, że laboratoria będą reprezentować urzędnicy ds. polityki i bezpieczeństwa. Ich tożsamość, uprawnienia i gotowość do odpowiadania na pytania techniczne ukształtują wartość przesłuchania.

SpaceXAI również stało się częścią sporu po tym, jak nie odpowiedziało na początkowe zaproszenie Rady. Przewodnicząca Julie Menin wydała wezwanie sądowe na mocy uprawnień dochodzeniowych Rady. Rada oświadczyła, że mogłaby wystąpić o egzekwowanie nakazu do Sądu Najwyższego Stanu Nowy Jork, gdyby firma nie zastosowała się do wezwania.

Późniejszy lokalny reportaż podał, że SpaceXAI ma wziąć udział. To potencjalne rozszerzenie listy firm nie zmienia jednak głównej konfrontacji. Prawodawcy chcą wiedzieć, czy twórcy frontier AI potrafią wykazać, że ich zabezpieczenia działają poza kontrolowanymi demonstracjami.

Coxon wnosi inny rodzaj zeznań. Według doniesień dotyczących jego odejścia wcześniej prowadził badania nad pretrainingiem w OpenAI i Anthropic. Pretraining to proces na dużą skalę, w którym model uczy się wzorców z obszernych zbiorów danych przed późniejszym dopracowaniem.

Opuścił Anthropic we wrześniu i oskarżył czołowe laboratoria o podejmowanie niedopuszczalnego ryzyka. Według raportu o jego zeznaniach, Coxon powiedział, że osoby budujące zaawansowane systemy wierzyły, iż AI może zabić ludzkość przed końcem dekady.

To nadzwyczajne twierdzenie, a nie potwierdzona prognoza. Reuters poinformował również, że nie mógł niezależnie zweryfikować doniesienia Bloomberga o planowanym wystąpieniu Coxona. Rada osobno przywołała jego rezygnację, wyjaśniając, dlaczego zorganizowała szersze przesłuchanie.

Coxon ma podobno wystąpić wraz z byłym badaczem Google DeepMind Alexem Turnerem oraz Danielem Kokotajlo, byłym badaczem OpenAI, który kieruje AI Futures Project. Ich obecność może uczynić sesję bardziej konfrontacyjną niż przesłuchanie złożone wyłącznie ze świadków firmowych.

Przedstawiciele firm prawdopodobnie opiszą ewaluacje, mechanizmy kontroli wdrożeń i procedury dotyczące incydentów. Byli pracownicy mogą zakwestionować, czy te zabezpieczenia obejmują systemy, które laboratoria ścigają się budować. Członkowie Rady będą mogli następnie porównać obie relacje według tych samych zasad publicznych.

To porównanie jest bezpośrednią zmianą. Debaty o bezpieczeństwie AI często oddzielają zapewnienia firm od ostrzeżeń krytyków. Nowy Jork umieszcza je w jednej sali, jednocześnie rozważając przepisy, które wiążą konsekwencje z niepełną walidacją lub możliwą do uniknięcia szkodą.

Nowy Jork chce dowodów przed wdrożeniem

Najistotniejsza propozycja uczyniłaby niezależną walidację warunkiem oferowania lub wdrażania objętych nią modeli AI w mieście.

Propozycja Rady, wymieniona w agendzie jako T2026-2602, zakazywałaby marketingu, sprzedaży lub wdrażania modelu AI w Nowym Jorku bez walidacji przez stronę trzecią. Wymagałaby również technicznej możliwości pozwalającej ludzkiemu operatorowi wyłączyć model.

Walidacja przez stronę trzecią oznacza, że zewnętrzny ewaluator bada system, zamiast polegać wyłącznie na ocenie dewelopera. Propozycja wskazuje osiąganie zadań, nierówny wpływ, prywatność i bezpieczeństwo jako istotne obszary. Prosi również walidatorów o sprawdzenie, czy działa możliwość wyłączenia przez człowieka.

Walidatorzy musieliby ujawniać interesy związane z modelem. Zgłaszaliby również, czy system został zwalidowany lub był gotowy do wdrożenia. New York City Cyber Command określiłoby zasady wdrożenia i kwalifikacje walidatorów.

Kary stworzyłyby stawkę po obu stronach relacji ewaluacyjnej. Agenda mówi, że kary cywilne mogłyby sięgać 25 000 dolarów, w tym stałej kary 25 000 dolarów za każdy przypadek oferowania lub wdrażania modelu bez wymaganej walidacji. Sfałszowane walidacje mogłyby wiązać się z taką samą kwotą.

Proponowane przepisy dotyczące AI wykraczają poza walidację. Jeden ze środków umożliwiłby ludziom składanie do Department of Consumer and Worker Protection skarg dotyczących naruszeń związanych z objętą przepisami AI. Agencja zasadniczo prowadziłaby dochodzenie, chyba że skarga byłaby błaha, fałszywa lub powielona.

Skarżący mógłby otrzymać 25 procent odzyskanych środków, gdyby miasto prowadziło sprawę na podstawie przedstawionych faktów. Udział ten mógłby wzrosnąć do 50 procent, gdyby urzędnicy wyznaczyli skarżącego do doręczenia zawiadomienia o naruszeniu lub wszczęcia postępowania cywilnego.

Ten mechanizm zachęt próbuje rozwiązać problem informacyjny. Osoby z zewnątrz rzadko wiedzą, jak projektowano wewnętrzne ewaluacje, które ostrzeżenia zostały eskalowane lub dlaczego wdrożenie doszło do skutku. Pracownicy i kontraktorzy często mają lepszy dostęp, ale zgłaszanie nieprawidłowości może zagrozić ich karierom.

Kolejny projekt ustawy doprecyzowałby ochronę sygnalistów dla pracowników miejskich i objętych przepisami kontraktorów. Chroniłby zgłoszenia dotyczące rozwoju lub wykorzystania AI, które pracownicy rozsądnie uznają za stwarzające istotne i konkretne zagrożenie dla bezpieczeństwa publicznego.

Pakiet dotyczy także incydentów związanych z kontraktami miejskimi. Kontraktorzy i agencje miejskie musieliby powiadomić Cyber Command w ciągu 24 godzin od wykrycia zgłaszalnego incydentu bezpieczeństwa AI. Cyber Command musiałoby następnie publicznie ujawnić zgłoszone zdarzenie w kolejnym 24-godzinnym okresie.

Wymóg ten jest węższy niż ogólny obowiązek raportowania każdej awarii modelu. Koncentruje się na objętych nim kontraktach miejskich. Mimo to stworzyłby widoczny rejestr, który badacze, dziennikarze, dostawcy i mieszkańcy mogliby porównywać w czasie.

Prywatne prawo do wniesienia powództwa zajęłoby się kolejną luką w egzekwowaniu przepisów. Na mocy T2026-2600 osoba mogłaby pozwać firmę, której dostępny komercyjnie model spowodował szkodę w wyniku złośliwego lub niewłaściwego wykorzystania przez stronę trzecią. Roszczenie wymagałoby przewidywalnej szkody i niewystarczających zabezpieczeń związanych z tym nadużyciem.

Przewidywalność będzie przedmiotem sporu. Deweloperzy nie mogą zapobiec każdemu złośliwemu promptowi ani późniejszej modyfikacji. Firmy nie mogą jednak traktować przewidywalnego nadużycia jako nieprzewidywalnego tylko dlatego, że inna osoba wydała końcową instrukcję.

Propozycja przekazuje to pytanie do sądu, zamiast pozostawiać je wyłącznie zespołom firm odpowiedzialnym za politykę. Tworzy to presję, by zachowywać wyniki ewaluacji, prognozy nadużyć, wewnętrzne ostrzeżenia i decyzje wdrożeniowe.

Inne środki regulowałyby praktyki dotyczące danych chatbotów oraz reklamy bezpieczeństwa. Dostawcy chatbotów podlegaliby wymogom prywatności, bezpieczeństwa, przejrzystości i dostępu użytkownika. Dostawcy nie mogliby sugerować, że chatbot udziela porad równoważnych poradom licencjonowanego specjalisty.

Reklama modelu AI musiałaby ujawniać, czy został on zwalidowany przez stronę trzecią. Istotnie fałszywe lub wprowadzające w błąd twierdzenia dotyczące bezpieczeństwa mogłyby skutkować karami sięgającymi 25 000 dolarów.

Przepisy te przekształcają język bezpieczeństwa w coś bliższego deklaracji dotyczącej produktu. Jeśli deweloper reklamuje model jako bezpieczny, miasto chce, aby stwierdzenie to było powiązane z możliwym do zidentyfikowania procesem ewaluacji.

Cały pakiet pozostaje proponowanym prawodawstwem. Przesłuchanie 5 października nie jest ostatecznym głosowaniem, a projekty ustaw mogą ulec znaczącym zmianom. Działania Rady mogłyby również zostać poprzedzone pytaniami o wdrożenie, wyzwaniami prawnymi, przepisami agencji lub decyzjami burmistrza.

Ta niepewność nie powinna przesłaniać kierunku zmian. Nowy Jork przechodzi od wąskiego nadzoru nad algorytmami ku szerszej kontroli modeli AI ogólnego przeznaczenia i firm, które je dostarczają.

Dobrowolne bezpieczeństwo AI spotyka się z egzekwowalnym dowodem

Sednem sporu nie jest to, czy firmy testują swoje modele, lecz kto definiuje adekwatne testowanie i kto może zweryfikować wynik.

OpenAI, Anthropic, Google i Meta wszystkie prowadzą ewaluacje modeli. Publikują różne kombinacje kart systemowych, raportów bezpieczeństwa, polityk odpowiedzialnego skalowania, artykułów badawczych i ograniczeń wdrożeniowych.

Dokumenty te dostarczają użytecznych dowodów. Pozostawiają jednak firmom szeroką kontrolę nad projektem testów, progiem ujawniania informacji, harmonogramem i reakcją na niepokojący wynik.

Nowojorska propozycja przekazałaby część tych uprawnień niezależnym walidatorom i urzędnikom miejskim. Ta zmiana wyjaśnia, dlaczego przesłuchanie ma znaczenie poza Nowym Jorkiem. Kwestionuje model zarządzania oparty w dużej mierze na dobrowolnych zobowiązaniach i selektywnej przejrzystości.

Testowanie prowadzone przez firmy może przebiegać szybko i korzystać z wewnętrznego dostępu, którego zewnętrzny ewaluator nie ma. Twórcy modeli lepiej niż większość regulatorów rozumieją swoje systemy, infrastrukturę i plany wdrożenia. Mogą również prowadzić testy w trakcie rozwoju, zanim publiczne wydanie stworzy presję, by bronić wyniku.

Zewnętrzna ocena oferuje inną korzyść. Może podważać założenia, które stały się normalne wewnątrz firmy. Może porównywać dowody między dostawcami i pytać, czy twierdzenie o bezpieczeństwie opiera się na spójnych standardach.

Żadne z tych podejść nie gwarantuje rzetelnego nadzoru. Niezależnemu walidatorowi może brakować dostępu do modelu, kompetencji technicznych lub wystarczającej ilości czasu. Źle zaprojektowany test zgodności może nagradzać biurokrację zamiast realnego ograniczania ryzyka.

Wymóg dotyczący konfliktu interesów w propozycji dostrzega jedną oczywistą słabość. Walidator opłacany przez dewelopera może odczuwać presję, by zatwierdzić system klienta. Ujawnienie takiej relacji pomaga, lecz samo w sobie nie eliminuje zależności finansowej.

Wymóg dotyczący „wyłącznika awaryjnego” rodzi kolejne trudne pytanie. Możliwość wyłączenia systemu przez człowieka brzmi prosto, lecz produkty AI są wdrażane w usługach chmurowych, aplikacjach, agentach i infrastrukturze klientów.

Centralny dostawca może wyłączyć dostęp do hostowanego przez siebie modelu. Niekoniecznie może jednak zatrzymać każdy skopiowany wynik, wyeksportowany artefakt, lokalną integrację czy dalsze działanie już uruchomione przez użytkownika.

Ustawa będzie wymagać precyzyjnej definicji systemu, który ma zostać wyłączony. Musi także odróżniać wyłączoną usługę od opanowanego incydentu. W przeciwnym razie deweloperzy mogliby spełnić formalny wymóg kontroli, nie zajmując się ścieżkami, przez które dochodzi do szkód.

Wydajność zadaniowa jest podobnie zależna od kontekstu. Model, który dobrze radzi sobie w benchmarku, może zawieść w szpitalu, procesie rekrutacji, usłudze prawnej lub autonomicznym agencie programistycznym. Walidacja musi łączyć ogólne możliwości modelu z jego planowanym wdrożeniem.

Nowy Jork zetknął się już z tym problemem w ramach nadzoru nad zautomatyzowaną rekrutacją. Local Law 144 ogranicza pracodawcom i agencjom zatrudnienia używanie objętych przepisami zautomatyzowanych narzędzi do podejmowania decyzji dotyczących zatrudnienia bez niedawnego audytu pod kątem uprzedzeń i wymaganych zawiadomień.

Miasto zaczęło egzekwować ten reżim w lipcu 2023 roku. Jego zasady audytu rekrutacyjnego stworzyły istotny precedens, lecz obecne propozycje są szersze.

Local Law 144 koncentruje się na określonym zastosowaniu w zatrudnieniu. T2026-2602, zgodnie ze streszczeniem Rady, dotyczy modeli AI oferowanych, sprzedawanych lub wdrażanych w mieście. Taki zapis rodzi znacznie większe pytania o zakres, jurysdykcję i wykonalność techniczną.

Wąskie narzędzie ma możliwych do zidentyfikowania użytkowników, decyzje i wyniki. Model ogólnego przeznaczenia może wspierać programowanie, analizę dokumentów, obsługę klienta, badania, pracę kreatywną i autonomiczne działania. Ryzyko zmienia się wraz z każdą integracją.

Przesłuchanie powinno zatem wymagać od świadków konkretnych dowodów. Jaki dostęp do modelu otrzyma walidator? Które oceny muszą zostać przeprowadzone przed wdrożeniem? Jak często walidację trzeba odnawiać po aktualizacji modelu?

Członkowie Rady powinni także zapytać, kto ponosi odpowiedzialność, gdy deweloper dostarcza model, ale inna firma tworzy aplikację. Szeroka regulacja może objąć dostawców modeli, dystrybutorów, podmioty wdrażające lub wszystkie te trzy grupy.

To właśnie tutaj odpowiedzialność i innowacyjność stają się rzeczywistym kompromisem. Słabe standardy pozwoliłyby przechodzić nierzetelnym twierdzeniom. Niejasne lub nadmiernie szerokie standardy mogłyby zniechęcać do użytecznych wdrożeń, nie zapewniając lepszego bezpieczeństwa.

Wiodące laboratoria mają motywację, by opowiadać się za technicznie świadomymi, spójnymi w skali kraju zasadami. Miejscy prawodawcy mają motywację do działania, gdy standardy federalne wydają się niewystarczające. Przesłuchanie wpisuje te konkurujące priorytety do tego samego publicznego rejestru.

Ostrzeżenia sygnalistów wymagają czegoś więcej niż nagłówków

Ostrzeżenie Coxona podnosi stawkę polityczną, ale prawodawcy wciąż potrzebują możliwych do zweryfikowania dowodów dotyczących konkretnych systemów, decyzji i awarii.

Twierdzenia o ryzyku egzystencjalnym przyciągają uwagę, ponieważ rzekoma szkoda jest ogromna. Mogą także przyćmić bardziej bezpośrednie pytania dotyczące prywatności, dyskryminacji, oszustw, cyberbezpieczeństwa i niebezpiecznej automatyzacji.

Pakiet Rady próbuje zająć się oboma poziomami. Planowanie awaryjne i wymogi wyłączania modeli odpowiadają na poważne awarie. Prywatność chatbotów, ujawnianie informacji reklamowych, zasady dotyczące umów i prywatne środki prawne dotyczą szkód, z którymi mieszkańcy mogą zetknąć się wcześniej.

Zeznania Coxona będą najbardziej użyteczne, jeśli przejdą od twierdzeń o prawdopodobieństwie do szczegółów operacyjnych. Prawodawcy muszą zrozumieć, które zdolności go niepokoją, jakie dowody zmieniły jego ocenę oraz jakich zabezpieczeń, jego zdaniem, brakuje obecnym laboratoriom.

Powinni także odróżniać osobiste szacunki ryzyka od udokumentowanych ustaleń firmy. Ostrzeżenie byłego pracownika może ujawnić poważny spór. Nie dowodzi jednak niezależnie, że dojdzie do katastrofalnego rezultatu.

Ten sam standard dotyczy zeznań firm. Oświadczenia dotyczące kultury bezpieczeństwa nie dowodzą, że model przeszedł znaczące testy adversarialne. Ramy odpowiedzialnego skalowania nie pokazują, że pracownicy mogą wstrzymać wydanie, gdy rośnie presja biznesowa.

Rada powinna zapytać każdą firmę, jak poważne wewnętrzne ostrzeżenie przechodzi przez organizację. Kto może opóźnić wdrożenie? Który dyrektor może cofnąć tę decyzję? Jaka dokumentacja pozostaje po sporze?

Ochrona sygnalistów ma znaczenie, ponieważ formalne kanały zgłaszania mogą zawodzić. Pracownicy mogą obawiać się odwetu, utraty przyszłej pracy lub sporu prawnego dotyczącego poufnych informacji. Programy zachęt mogą jednak także przyciągać słabe, powielające się lub strategiczne skargi.

Proponowany system skarg próbuje odfiltrowywać bezzasadne, sfałszowane i powtarzające się zgłoszenia. Jego sukces będzie zależeć od wiedzy eksperckiej agencji i jej zdolności dochodzeniowych. Urzędnicy muszą odróżniać niepopularną ocenę techniczną od naruszenia prawa.

Nagroda finansowa wymaga starannego zaprojektowania. Procent odzyskanych kar może zachęcić osoby z wewnątrz do zgłaszania informacji, których regulatorzy inaczej by nie zobaczyli. Może także tworzyć spory o to, kto jako pierwszy dostarczył rozstrzygające fakty.

Rada musi określić kwalifikujące się informacje, chronione ujawnienia, zasady poufności oraz procedury postępowania z dowodami wrażliwymi dla bezpieczeństwa. Ujawnianie publiczne nie może stać się drogą do wycieku danych osobowych, wag modelu ani podatności możliwych do wykorzystania.

Firmy mają także prawo kwestionować niedokładne zarzuty. Rzetelny proces ma znaczenie, gdy skarga może uruchomić dochodzenia, kary, postępowania sądowe lub publiczną szkodę reputacyjną.

Nie uzasadnia to tajności. Oznacza to, że miasto potrzebuje procesu chroniącego zarówno wiarygodnych sygnalistów, jak i integralność dowodów.

Sceptyczne pytanie brzmi, czy samorząd miejski może prowadzić taki proces w całej branży frontier AI. Nowy Jork ma doświadczenie regulacyjne, agencje techniczne, uprawnienia zakupowe i duży rynek. Nie kontroluje jednak krajowej polityki badawczej, eksportu chipów ani każdego wdrożenia poza swoimi granicami.

Szeroka regulacja modeli może także napotkać spory jurysdykcyjne. Model chmurowy może zostać wytrenowany gdzie indziej, hostowany w innym stanie, udostępniany przez pośrednika i używany przez mieszkańca Nowego Jorku. Każde z tych powiązań tworzy inną podstawę lokalnych uprawnień.

Te trudności nie czynią przesłuchania symbolicznym. Miasta kupują technologię, regulują działalność przedsiębiorstw, chronią konsumentów i ustalają warunki lokalnej aktywności. Rozmiar Nowego Jorku pozwala, by jego zasady wpływały na praktyki dostawców poza granicami miasta.

Wpływ nie jest jednak tym samym co wykonalność. Rada musi pokazać, jak agencje wykrywałyby niewalidowany model, identyfikowały odpowiedzialny podmiot i odróżniały aktualizację modelu od nowego wdrożenia.

Firmy powinny wyjaśnić, jakie dowody mogą dostarczyć bez ujawniania szczegółów bezpieczeństwa lub tajemnic handlowych. Prawodawcy powinni wyjaśnić, jak zewnętrzni walidatorzy otrzymają wystarczający dostęp, aby sprawdzać ważne twierdzenia.

Jeśli obie strony pozostaną na poziomie katastrofy kontra innowacja, przesłuchanie przyniesie zapadające w pamięć cytaty i niewiele jasności operacyjnej. Jeśli omówią dostęp do audytów, definicje incydentów, uprawnienia i dowody, sesja może ulepszyć projekty ustaw.

To rozróżnienie ma także znaczenie dla nabywców korporacyjnych. Zespoły zakupowe coraz częściej stają wobec twierdzeń dotyczących bezpieczeństwa, niezawodności i zgodności modeli. Wiarygodne ramy walidacji mogłyby zmniejszyć luki informacyjne.

Słabe ramy dodałyby kolejny certyfikat, nie pomagając nabywcom ocenić ryzyka. Szczegóły dotyczące dostępu, zakresu testów, niezależności i powtarzanych ocen określają, który rezultat uzyska Nowy Jork.

Presja wykracza poza cztery firmy AI

Proponowane zasady dotknęłyby nie tylko deweloperów modeli, lecz także walidatorów, wykonawców, podmioty wdrażające, reklamodawców i organizacje kupujące usługi AI.

OpenAI, Anthropic, Google i Meta przyciągają uwagę, ponieważ tworzą znane modele. Ustawodawstwo opisane w porządku obrad obejmuje szerszy łańcuch organizacji.

Firma oferująca model AI w Nowym Jorku mogłaby potrzebować dowodu walidacji. Przedsiębiorstwo wdrażające ten model mogłoby podlegać odrębnym obowiązkom. Walidator mógłby ponosić odpowiedzialność za fałszywą certyfikację.

Miejscy wykonawcy potrzebowaliby procedur wykrywania incydentów i szybkiego raportowania. Agencje potrzebowałyby procesów eskalowania incydentów do Cyber Command. Miasto musiałoby następnie publikować informacje wystarczająco szybko, aby dotrzymać proponowanego harmonogramu.

Dostawcy chatbotów przeznaczonych dla konsumentów musieliby przeanalizować praktyki dotyczące dostępu do danych, prywatności, bezpieczeństwa i przejrzystości. Zespoły marketingowe potrzebowałyby dowodów na poparcie twierdzeń o bezpieczeństwie. Zespoły prawne musiałyby ocenić przewidywalne niewłaściwe użycie.

Ten podział odpowiedzialności ma znaczenie, ponieważ ryzyko AI rzadko spoczywa na jednej organizacji. Deweloper modelu tworzy bazową zdolność. Firma tworząca aplikację definiuje przepływy pracy. Klient dostarcza dane i przyznaje dostęp do systemu.

Autonomiczny agent dodaje kolejną warstwę. Agent to oprogramowanie, które używa modelu do planowania i podejmowania działań, często za pomocą narzędzi zewnętrznych. Jego zachowanie zależy od modelu, dostępnych uprawnień, instrukcji i otaczającej aplikacji.

Model może sprawiać wrażenie kontrolowanego w interfejsie czatu, lecz stać się niebezpieczny po połączeniu z pocztą e-mail, bazami danych, systemami płatności lub repozytoriami oprogramowania. Walidacja musi zatem badać środowisko wdrożenia, a nie tylko model bazowy.

Propozycja Rady dotycząca raportowania incydentów uznaje tę rzeczywistość operacyjną w przypadku miejskich umów. Zdarzenie podlegające zgłoszeniu może rozpocząć się od wyniku modelu, lecz stać się szkodliwe z powodu uprawnień systemowych lub słabego monitorowania.

Organizacje korzystające z AI nie powinny czekać na ostateczne ustawodawstwo, aby zbadać te ścieżki. Mogą identyfikować, które modele uzyskują dostęp do wrażliwych danych, które narzędzia mogą podejmować działania zewnętrzne i kto może cofnąć uprawnienia.

Dokumentacja jest kluczowa dla tej pracy. Zespoły potrzebują rejestrów wersji modeli, wyników ocen, decyzji dotyczących incydentów i zmian w zabezpieczeniach. Bez tych rejestrów odpowiedzialność staje się debatą opartą na pamięci.

Pracownicy wiedzy również mają bezpośredni interes. Asystenci AI coraz częściej mają kontakt z wewnętrznymi dokumentami, notatkami ze spotkań, kodem, badaniami i informacjami o klientach. Użytkownicy muszą wiedzieć, jakie dane trafiają do systemu i jakie mechanizmy kontrolują ich pobieranie lub przechowywanie.

Dobrze utrzymana baza wiedzy AI może pomóc zespołom zachować kontekst i śledzić decyzje. Nie zastępuje ona walidacji modeli, kontroli dostępu ani reagowania na incydenty.

Dla deweloperów przesłuchanie sygnalizuje, że twierdzenia dotyczące bezpieczeństwa będą coraz częściej wymagały artefaktów. Stwierdzenie, że aplikacja ma zabezpieczenia, nie zadowoli sceptycznego regulatora. Zespoły mogą potrzebować przypadków testowych, dzienników ocen, rejestrów dostępu i procedur reagowania.

Nabywcy korporacyjni powinni obserwować, czy firmy zaakceptują wspólną podstawę niezależnych testów. Wspólna podstawa mogłaby uprościć proces zakupowy. Rozbieżne standardy mogłyby pozostawić nabywców porównujących niekompatybilne raporty.

Firmy stoją także przed różnymi presjami strategicznymi. OpenAI i Anthropic kładą nacisk na rozwój modeli frontier i badania nad bezpieczeństwem. Google integruje AI z wyszukiwaniem, chmurą, narzędziami zwiększającymi produktywność i usługami konsumenckimi.

Meta rozwija modele, jednocześnie prowadząc duże platformy społecznościowe i systemy reklamowe. Te różnice biznesowe wpływają na skalę wdrożeń, modele dostępu oraz dowody, które każda firma może przedstawić.

Przesłuchanie nie powinno spłaszczać tych różnic do jednej odpowiedzi dla całej branży. Powinno ustalić, które obowiązki mają zastosowanie do wszystkich modeli biznesowych, a które wymagają zasad dostosowanych do konkretnego kontekstu.

Wcześniejsze nowojorskie prawo dotyczące zatrudnienia stanowi zarówno precedens, jak i ostrzeżenie. Lokalny wymóg audytu może stworzyć rynek zewnętrznej kontroli. Może też wywołać spory dotyczące definicji, zakresu oraz tego, czy audyty mierzą szkody istotne dla osób, których dotyczą.

Nowe propozycje staną przed tymi pytaniami na większą skalę. Modele ogólnego przeznaczenia często się zmieniają i wspierają zastosowania, których deweloperzy nie są w stanie w pełni przewidzieć. Walidacja musi pozostać znacząca po aktualizacjach, nie czyniąc przy tym każdej drobnej zmiany prawnie niemożliwą do zarządzania.

Rada przedstawiła pakiet jako sprzyjający zarówno innowacjom, jak i bezpieczeństwu. Ta równowaga będzie zależeć od definicji i wdrożenia, a nie od hasła.

Jasny zakres może nagradzać deweloperów, którzy już dokumentują swoje mechanizmy kontrolne. Niejasny zakres może faworyzować duże firmy, które są w stanie ponieść koszty zgodności, podczas gdy mniejsi dostawcy wycofają się z rynku.

Ta możliwość zasługuje na uwagę podczas przesłuchania. Odpowiedzialność nie powinna stać się barierą, na którą mogą sobie pozwolić wyłącznie największe firmy. Obawy dotyczące koncentracji rynku nie powinny też służyć jako wymówka dla słabego testowania.

Trzy sygnały pokażą, czy przesłuchanie ma znaczenie

Znaczenie przesłuchania będzie mierzone dowodami, które przyniesie, zmianami wprowadzonymi do projektów ustaw oraz standardami, które Nowy Jork będzie w stanie faktycznie egzekwować.

Pierwszym sygnałem będzie samo zeznanie. Warto obserwować, czy przedstawiciele firm odpowiadają konkretnymi metodami oceny, procedurami eskalacji i progami wdrożeniowymi.

Ogólne deklaracje o odpowiedzialnej AI niewiele ujawnią. Konkretne opisy niezależnego dostępu, ustaleń red teamów, obsługi incydentów i uprawnień do publikacji stworzyłyby materiał, który osoby z zewnątrz mogą ocenić.

Coxon i inni byli badacze podlegają temu samemu standardowi. Ich zeznania stają się mocniejsze, jeśli wskażą mechanizmy, błędy w zarządzaniu lub decyzje, które ustawodawcy mogą zbadać. Same katastroficzne prognozy nie powiedzą miastu, jak regulować tę dziedzinę.

Drugim sygnałem jest proces legislacyjnej rewizji. Plan zeznań firm wskazuje, że Rada chce uzyskać od branży informacje o proponowanych rozwiązaniach. Istotne poprawki pokazałyby, że przesłuchanie zmieniło rozumienie sprawy przez ustawodawców.

Warto śledzić definicję modelu AI, zakres walidacji przez strony trzecie oraz znaczenie wdrożenia. Te terminy decydują o tym, czy przepisy obejmą wąską grupę systemów, czy niemal każdą usługę wykorzystującą AI.

Należy też obserwować proponowaną możliwość wyłączenia systemu. Wykonalny przepis powinien określać, kto ją kontroluje, co wyłącza, jak jest testowana oraz które wdrożenia jej wymagają.

Zachęta dla sygnalistów będzie wymagać szczegółowych zasad kwalifikowalności i poufności. Prywatne prawo do wniesienia powództwa będzie wymagać możliwego do obrony testu przewidywalności i rozsądnych zabezpieczeń.

Trzecim sygnałem jest ścieżka wdrożenia. Cyber Command oraz Department of Consumer and Worker Protection miałyby ponosić znaczną odpowiedzialność na mocy tych propozycji.

Ich obsada kadrowa, dostęp techniczny, uprawnienia do tworzenia przepisów wykonawczych i procedury egzekwowania będą równie ważne jak język ustawy. Nakaz bez zdolności dochodzeniowych uzależniłby miasto od ujawnień dokonywanych przez firmy.

W programie Rady nowe propozycje nadal figurują jako pozycje rozpatrywane wstępnie. Protokoły i działania legislacyjne nie były dostępne przed zaplanowanym przesłuchaniem. Czytelnicy powinni więc traktować pakiet jako punkt wyjścia, a nie uchwalone prawo.

Przesłuchanie OpenAI przed Radą Miasta Nowy Jork odniesie sukces tylko wtedy, gdy zmniejszy lukę między obietnicami bezpieczeństwa a weryfikowalnymi mechanizmami kontrolnymi. Oznacza to pytanie, jakie dowody istnieją, kto może je sprawdzić i co dzieje się, gdy ostrzeżenie zostaje zignorowane.

Deweloperzy, nabywcy korporacyjni i użytkownicy AI powinni śledzić zeznania, mając na uwadze te pytania. Czy świadkowie ujawniają możliwe do przetestowania zabezpieczenia? Czy ustawodawcy przekształcają szerokie sformułowania w wykonalne obowiązki? Czy agencje otrzymują uprawnienia i wiedzę ekspercką potrzebne do ich egzekwowania?

Odpowiedzi pokażą, czy Nowy Jork buduje wiarygodny model odpowiedzialności, czy jedynie kolejną warstwę dokumentacji zgodności. Warto śledzić zapis przesłuchania, a następnie porównać każde publiczne zapewnienie z dowodami przedstawionymi pod przysięgą.