Протягом наступних кількох місяців штат Невада планує запустити систему штучного інтелекту на базі Google, яка аналізуватиме стенограми слухань апеляцій у справі про безробіття та видаватиме рекомендації арбітрам щодо того, чи мають заявники отримувати допомогу чи ні.
Ця система буде першою в своєму роді в країні і представляє серйозний експеримент державних чиновників і Google у дозволі генеративному штучному інтелекту впливати на рішення уряду з високими ставками — таке, яке може покласти тисячі доларів у кишені безробітних або візьми її. геть.
Представники штату Невада кажуть, що система Google пришвидшить апеляційний процес — скоротить час, який потрібен арбітрам для написання рішення, з годин до п’яти хвилин у деяких випадках — це допоможе державі подолати вперту кількість нерозглянутих справ з часів піку COVID-19 пандемія.
Інструмент генеруватиме рекомендації на основі протоколів слухань і підтверджуючих документів, забезпечуючи власний аналіз того, чи слід схвалити, відхилити чи змінити заяву особи про безробіття. Потім принаймні один суддя-людина перегляне кожну рекомендацію, сказав Крістофер Сьюелл, директор Департаменту працевлаштування, навчання та реабілітації Невади (DETR). Якщо арбітр погоджується з рекомендацією, він підписує та видає арбітражне рішення. Якщо вони не погодяться, арбітр перегляне документ, а DETR розслідуватиме спір.
«ШІ не існує [written decisions] які виходять без людської взаємодії та перевірки людьми», — сказав Сьюелл. «Ми можемо приймати рішення швидше, тому це дійсно допомагає позивачеві».
Вчені-криміналісти, колишній чиновник Міністерства праці США та юристи, які представляють інтереси жителів Невади під час апеляційних слухань, повідомили Gizmodo, що вони стурбовані тим, що наголос на швидкості може підірвати будь-які гуманні огорожі, встановлені Невадою.
«Економія часу, якої вони прагнуть, можлива лише в тому випадку, якщо перевірка є дуже поверхневою», — сказав Морган Шах, директор із залучення громадськості юридичної служби штату Невада. «Якщо хтось дивиться на щось ретельно і належним чином, це дійсно не економить багато часу. У який момент ви створюєте середовище, де людей заохочують йти коротким шляхом?»
Мішель Евермор, колишній заступник директора з політики модернізації безробіття в Міністерстві праці, поділяла подібні занепокоєння. «Якщо бот щойно дав вам рекомендацію, і вам просто потрібно поставити прапорець, і є тиск, щоб очистити відставання, це трохи тривожно», — сказав він.
У відповідь на ці побоювання щодо упередженості щодо автоматизації прес-секретар Google Ешлі Сіммс сказала, що «ми працюємо з нашими клієнтами, щоб виявити та усунути будь-які потенційні упередження та допомогти їм дотримуватися федеральних вимог і вимог штату».
Конфіденційність і точність
DETR почав обговорення з Google щодо використання штучного інтелекту для обробки заяв про безробіття під час дзвінка з продажу рік тому, сказав Сьюелл. Протягом наступних місяців агентство провело десятки тестів, використовуючи технологію компанії, щоб проаналізувати стенограми слухань апеляційних справ різної складності. З’ясувавши, що Google створив «надійний продукт і робить правильні речі», сказав Сьюелл, DETR погодився на контракт на 1 мільйон доларів, схвалений екзаменаційною комісією штату минулого місяця.
Апеляційні слухання та пов’язані з ними документи можуть містити податкову інформацію, номери соціального страхування та інші приватні ідентифікатори, а також дуже конфіденційну інформацію про здоров’я, сім’ю та фінанси позивача. Згідно з контрактом, Google не матиме доступу до особистої інформації під час апеляційних слухань і їй буде заборонено використовувати конфіденційні дані, які обробляє її модель, для інших цілей, сказала Валентина Бонапарт, прес-секретар DETR.
Бонапарт сказав, що Невада не навчатиме нової моделі виробництва ШІ для системи апеляцій. Замість цього держава використовуватиме студію штучного інтелекту Google Vertex, хмарний сервіс, який дозволяє розробникам налаштовувати базові моделі ШІ для конкретних цілей, щоб створити модель доповненого покоління (RAG). Моделі RAG отримують інформацію з певної бази даних — у даному випадку бази даних, яка містить закон про безробіття штату Невада та минулі апеляційні справи — для того, щоб надати більш підібрані та точні результати, ніж зазвичай дає фундаментальна модель.
Карл Стенфілд, ІТ-адміністратор DETR, сказав, що керівний комітет збиратиметься щотижня, поки модель налаштовується, а потім щокварталу, коли вона запрацює, щоб контролювати систему на галюцинації та упередження. Великі мовні моделі, що створюються, не розуміють логічно текст або логіку так, як людина, вони передбачають, яке слово чи фраза буде наступним у послідовності тексту на основі підказок користувача та шаблонів у їх навчальному матеріалі. Ілюзія — галузевий термін, який означає випадки, коли ці передбачення наступного тексту створюють відповіді, які насправді є неправильними або вводять в оману.
У недавньому дослідженні дослідники з Єльського та Стенфордського університетів протестували кілька комерційно доступних моделей RAG на основі баз даних законів, нормативних актів і судових висновків, щоб допомогти провести юридичні дослідження. Вони виявили, що моделі давали неправильні або оманливі відповіді на запитання від 17 до 33 відсотків часу та повертали неповні відповіді від 18 до 63 відсотків часу.
Модель Gemini 1.5 Pro від Google наразі є найкращою в HELM LegalBench, різноманітній системі порівняльного аналізу, яка оцінює здатність великих мовних моделей відповідати на запитання щодо різних аспектів законодавства. Gemini давав правильні відповіді на юридичні запитання в 76% випадків у порівняльних тестах, тоді як Gemini 1.5 Flash, полегшена версія, відповідала на запитання правильно в 66% випадків. Сіммс сказав, що ще занадто рано говорити, яку модель Google використовуватиме Nevada.
Будь-які неточності стосуються адвокатів Nevada Legal Services. Якщо система оскарження штучного інтелекту створює ілюзію, яка впливає на рішення арбітра, це не тільки означає, що рішення може бути неправильним, але й може підірвати здатність позивача оскаржити це неправильне рішення в суді цивільної справи.
«У справах, пов’язаних із справжніми проблемами, окружний суд не може замінити рішення апеляційного арбітра своїм власним рішенням», — сказала Елізабет Кармона, старший штатний юрист юридичної служби штату Невада, тому, якщо арбітр приймає рішення на основі омани, суд може не вміти його перевертати.
У системі, де модель, згенерована штучним інтелектом, видає рекомендації, які потім переглядаються та обробляються людиною, державним службовцям або суду може бути важко визначити, звідки і чому виникла помилка, сказав Метью Дал, доктор філософії Мічиганського університету. .Д. Єль. -написав дослідження щодо точності правових досліджень систем штучного інтелекту. «Ці моделі настільки складні, що нелегко зробити знімок їхнього рішення в певний момент часу, щоб потім можна було запитати їх».
Потрібно більше швидкості
Як і в більшості штатів, система безробіття штату Невада переповнена безпрецедентною кількістю заяв під час пандемії. Після наказу штату про припинення роботи підприємства відправляли працівників додому та закривали двері на місяці або назавжди. Конгрес створив Допомогу у разі пандемії безробіття (PUA), абсолютно нову програму допомоги, яка розширила кількість і категорії працівників, які мають право на допомогу з безробіття.
Поки державні органи намагалися пристосуватися до напливу претензій і нових правил PUA, справи накопичувалися, і люди робили помилки. Заявники заповнювали неправильні форми або подавали заявки на участь у неправильних програмах по безробіттю, штати виплачували допомогу в неправильних розмірах і працівникам, які фактично не відповідали вимогам. І чим довше потрібно було виправити ці помилки під час апеляційних слухань, тим більша ймовірність того, що безробітні не зможуть дозволити собі найнеобхідніше або оплатити свої будинки, машини та кредитні картки.
У квітні 2020 року штат Невада оцінив, що 30 відсотків робочої сили були безробітними, що є найвищим показником, який коли-небудь реєстрував будь-який штат. За його словами, до 2023 року, коли Сьюелл очолив агентство з питань безробіття штату Невада, налічувалося понад 40 000 апеляцій, які з тих пір скоротилися до менше 5 000.
Емі Перес, яка керувала зусиллями з модернізації безробіття в Колорадо та Міністерстві праці США, сказала, що якщо все зробити правильно, автоматизація штучного інтелекту може вирішити деякі проблеми, які спричинили кардинальні затримки для безробітних жителів штату Невада під час пандемії.
За його словами, нова державна система є вагомим кроком уперед, і вона може бути варта того, якщо позивачам будуть виплачуватися швидше, якщо DETR буде пильним контролем системи на наявність галюцинацій, і якщо люди-судді матимуть необхідний час і підтримку, щоб переконатися, що вони можуть переглянути справи ретельно.
«Існує певний рівень ризику, який ми повинні прийняти щодо людей і штучного інтелекту», — сказав Перес. «Ми повинні запускати ці інструменти у виробництво, лише якщо ми визначили, що вони такі ж хороші, як або кращі за людину».
Протягом наступних кількох місяців штат Невада планує запустити систему штучного інтелекту на базі Google, яка аналізуватиме стенограми слухань апеляцій у справі про безробіття та видаватиме рекомендації арбітрам щодо того, чи мають заявники отримувати допомогу чи ні.
Ця система буде першою в своєму роді в країні і представляє серйозний експеримент державних чиновників і Google у дозволі генеративному штучному інтелекту впливати на рішення уряду з високими ставками — таке, яке може покласти тисячі доларів у кишені безробітних або візьми її. геть.
Представники штату Невада кажуть, що система Google пришвидшить апеляційний процес — скоротить час, який потрібен арбітрам для написання рішення, з годин до п’яти хвилин у деяких випадках — це допоможе державі подолати вперту кількість нерозглянутих справ з часів піку COVID-19 пандемія.
Інструмент генеруватиме рекомендації на основі протоколів слухань і підтверджуючих документів, забезпечуючи власний аналіз того, чи слід схвалити, відхилити чи змінити заяву особи про безробіття. Потім принаймні один суддя-людина перегляне кожну рекомендацію, сказав Крістофер Сьюелл, директор Департаменту працевлаштування, навчання та реабілітації Невади (DETR). Якщо арбітр погоджується з рекомендацією, він підписує та видає арбітражне рішення. Якщо вони не погодяться, арбітр перегляне документ, а DETR розслідуватиме спір.
«ШІ не існує [written decisions] які виходять без людської взаємодії та перевірки людьми», — сказав Сьюелл. «Ми можемо приймати рішення швидше, тому це дійсно допомагає позивачеві».
Вчені-криміналісти, колишній чиновник Міністерства праці США та юристи, які представляють інтереси жителів Невади під час апеляційних слухань, повідомили Gizmodo, що вони стурбовані тим, що наголос на швидкості може підірвати будь-які гуманні огорожі, встановлені Невадою.
«Економія часу, якої вони прагнуть, можлива лише в тому випадку, якщо перевірка є дуже поверхневою», — сказав Морган Шах, директор із залучення громадськості юридичної служби штату Невада. «Якщо хтось дивиться на щось ретельно і належним чином, це дійсно не економить багато часу. У який момент ви створюєте середовище, де людей заохочують йти коротким шляхом?»
Мішель Евермор, колишній заступник директора з політики модернізації безробіття в Міністерстві праці, поділяла подібні занепокоєння. «Якщо бот щойно дав вам рекомендацію, і вам просто потрібно поставити прапорець, і є тиск, щоб очистити відставання, це трохи тривожно», — сказав він.
У відповідь на ці побоювання щодо упередженості щодо автоматизації прес-секретар Google Ешлі Сіммс сказала, що «ми працюємо з нашими клієнтами, щоб виявити та усунути будь-які потенційні упередження та допомогти їм дотримуватися федеральних вимог і вимог штату».
Конфіденційність і точність
DETR почав обговорення з Google щодо використання штучного інтелекту для обробки заяв про безробіття під час дзвінка з продажу рік тому, сказав Сьюелл. Протягом наступних місяців агентство провело десятки тестів, використовуючи технологію компанії, щоб проаналізувати стенограми слухань апеляційних справ різної складності. З’ясувавши, що Google створив «надійний продукт і робить правильні речі», сказав Сьюелл, DETR погодився на контракт на 1 мільйон доларів, схвалений екзаменаційною комісією штату минулого місяця.
Апеляційні слухання та пов’язані з ними документи можуть містити податкову інформацію, номери соціального страхування та інші приватні ідентифікатори, а також дуже конфіденційну інформацію про здоров’я, сім’ю та фінанси позивача. Згідно з контрактом, Google не матиме доступу до особистої інформації під час апеляційних слухань і їй буде заборонено використовувати конфіденційні дані, які обробляє її модель, для інших цілей, сказала Валентина Бонапарт, прес-секретар DETR.
Бонапарт сказав, що Невада не навчатиме нової моделі виробництва ШІ для системи апеляцій. Замість цього держава використовуватиме студію штучного інтелекту Google Vertex, хмарний сервіс, який дозволяє розробникам налаштовувати базові моделі ШІ для конкретних цілей, щоб створити модель доповненого покоління (RAG). Моделі RAG отримують інформацію з певної бази даних — у даному випадку бази даних, яка містить закон про безробіття штату Невада та минулі апеляційні справи — для того, щоб надати більш підібрані та точні результати, ніж зазвичай дає фундаментальна модель.
Карл Стенфілд, ІТ-адміністратор DETR, сказав, що керівний комітет збиратиметься щотижня, поки модель налаштовується, а потім щокварталу, коли вона запрацює, щоб контролювати систему на галюцинації та упередження. Великі мовні моделі, що створюються, не розуміють логічно текст або логіку так, як людина, вони передбачають, яке слово чи фраза буде наступним у послідовності тексту на основі підказок користувача та шаблонів у їх навчальному матеріалі. Ілюзія — галузевий термін, який означає випадки, коли ці передбачення наступного тексту створюють відповіді, які насправді є неправильними або вводять в оману.
У недавньому дослідженні дослідники з Єльського та Стенфордського університетів протестували кілька комерційно доступних моделей RAG на основі баз даних законів, нормативних актів і судових висновків, щоб допомогти провести юридичні дослідження. Вони виявили, що моделі давали неправильні або оманливі відповіді на запитання від 17 до 33 відсотків часу та повертали неповні відповіді від 18 до 63 відсотків часу.
Модель Gemini 1.5 Pro від Google наразі є найкращою в HELM LegalBench, різноманітній системі порівняльного аналізу, яка оцінює здатність великих мовних моделей відповідати на запитання щодо різних аспектів законодавства. Gemini давав правильні відповіді на юридичні запитання в 76% випадків у порівняльних тестах, тоді як Gemini 1.5 Flash, полегшена версія, відповідала на запитання правильно в 66% випадків. Сіммс сказав, що ще занадто рано говорити, яку модель Google використовуватиме Nevada.
Будь-які неточності стосуються адвокатів Nevada Legal Services. Якщо система оскарження штучного інтелекту створює ілюзію, яка впливає на рішення арбітра, це не тільки означає, що рішення може бути неправильним, але й може підірвати здатність позивача оскаржити це неправильне рішення в суді цивільної справи.
«У справах, пов’язаних із справжніми проблемами, окружний суд не може замінити рішення апеляційного арбітра своїм власним рішенням», — сказала Елізабет Кармона, старший штатний юрист юридичної служби штату Невада, тому, якщо арбітр приймає рішення на основі омани, суд може не вміти його перевертати.
У системі, де модель, згенерована штучним інтелектом, видає рекомендації, які потім переглядаються та обробляються людиною, державним службовцям або суду може бути важко визначити, звідки і чому виникла помилка, сказав Метью Дал, доктор філософії Мічиганського університету. .Д. Єль. -написав дослідження щодо точності правових досліджень систем штучного інтелекту. «Ці моделі настільки складні, що нелегко зробити знімок їхнього рішення в певний момент часу, щоб потім можна було запитати їх».
Потрібно більше швидкості
Як і в більшості штатів, система безробіття штату Невада переповнена безпрецедентною кількістю заяв під час пандемії. Після наказу штату про припинення роботи підприємства відправляли працівників додому та закривали двері на місяці або назавжди. Конгрес створив Допомогу у разі пандемії безробіття (PUA), абсолютно нову програму допомоги, яка розширила кількість і категорії працівників, які мають право на допомогу з безробіття.
Поки державні органи намагалися пристосуватися до напливу претензій і нових правил PUA, справи накопичувалися, і люди робили помилки. Заявники заповнювали неправильні форми або подавали заявки на участь у неправильних програмах по безробіттю, штати виплачували допомогу в неправильних розмірах і працівникам, які фактично не відповідали вимогам. І чим довше потрібно було виправити ці помилки під час апеляційних слухань, тим більша ймовірність того, що безробітні не зможуть дозволити собі найнеобхідніше або оплатити свої будинки, машини та кредитні картки.
У квітні 2020 року штат Невада оцінив, що 30 відсотків робочої сили були безробітними, що є найвищим показником, який коли-небудь реєстрував будь-який штат. За його словами, до 2023 року, коли Сьюелл очолив агентство з питань безробіття штату Невада, налічувалося понад 40 000 апеляцій, які з тих пір скоротилися до менше 5 000.
Емі Перес, яка керувала зусиллями з модернізації безробіття в Колорадо та Міністерстві праці США, сказала, що якщо все зробити правильно, автоматизація штучного інтелекту може вирішити деякі проблеми, які спричинили кардинальні затримки для безробітних жителів штату Невада під час пандемії.
За його словами, нова державна система є вагомим кроком уперед, і вона може бути варта того, якщо позивачам будуть виплачуватися швидше, якщо DETR буде пильним контролем системи на наявність галюцинацій, і якщо люди-судді матимуть необхідний час і підтримку, щоб переконатися, що вони можуть переглянути справи ретельно.
«Існує певний рівень ризику, який ми повинні прийняти щодо людей і штучного інтелекту», — сказав Перес. «Ми повинні запускати ці інструменти у виробництво, лише якщо ми визначили, що вони такі ж хороші, як або кращі за людину».
