Полезный обзор максималистских предсказаний дает Кевин Драм, который приходит к выводу, что «какую бы работу ни назвать, роботы смогут ее делать». См.: Kevin Drum, “You Will Lose Your Job to a Robot – and Sooner Than You Think,” Mother Jones, November/ December 2017, at https://www.motherjones.com/politics/2017/1o/ you-will-lose-your-job-to-a-robot-and-sooner-than-you-think/.
Экономические смыслы этого нарратива подробно рассматриваются в следующих книгах: Мартин Форд, Роботы наступают: развитие технологий и будущее без работы (Москва: Альпина нон-фикшн, 2016); Jerry Kaplan, Humans Xeed.Not Apply: A Guide to Wealth and Work in the Age of Artificial Intelligence (New Haven: Yale University Press, 2015); Robin Hanson, The Age of Em: Work, Love, and Life When Robots Rule the Earth (Oxford: Oxford University Press, 2016).
Eric Brynjolffson and Andrew McAfee, Race against the Machine: How the Digital Revolution Is Accelerating Innovation, Driving Productivity, and Irreversibly Transforming Employment and the Economy (Lexington, MA: Digital Frontier Press, 2014).
Айзек Азимов, Хоровод, Чёрный столб (Москва: Знание, 1963). Позже Азимов ввел метапринцип, который он назвал нулевым законом робототехники (утверждающим, что люди не должны вредить человечеству). См.: Айзек Азимов, Миры Азейка Азимова. Кн. 8. Роботы и империя (Рига: Полярис, 1994). Isaac Asimov, Robots and Empire (New York: Doubleday, 1985), 312.
Jack Balkin, “The Three Laws of Robotics in the Age of Big Data,” Ohio State Law Journal 78 (2017): 1, 10. К чести Азимова следует отметить, что он вполне понимал эти двусмысленности и использовал их для создания драматического эффекта в своих рассказах.
Эти законы робототехники, как и законы Азимова, служат общим ориентиром, а потому возможны исключения и пояснения. Как хорошо известно специалистам по административному праву, многие нормативы являются не вполне прозрачными и нуждаются в пояснении (а также согласовании с другими, возможно, конфликтующими с ними, законами), предоставляемом специальными агентствами и судами.
В этом я следую второму принципу робототехники Исследовательского совета инженерных и физических наук Великобритании (UK EPSRC), которым утверждается, что «ответственность несут люди, а не роботы». См.: Margaret Boden, Joanna Bryson, Darwin Caldwell, Kirsten Dautenhahn, Lillian Edwards, Sarah Kember, Paul Newman et al., Principles of Robotics (2010), https:// epsrc.ukri.org/research/ourportfolio/themes/engineering/activities/ principlesofrobotics/.
Государство, гражданское общество, деловые ассоциации и профессиональные общества разрабатывали этические руководства для ИИ; одно из метаисследований подобных руководств см. в: Anna Jobin, Marcello lenca, and Effy Vayena, “The Global Landscape of Ethics Guidelines,” Nature Machine Intelligence i, 389–399 (2019), https://d0i.0rg/10.1038/s42256-019-0088-2. Также появилось много предложений и руководств, составленных регулирующими ведомствами. Согласно Агентству по основополагающим правам ЕС, в странах – членах ЕС насчитывается более 250 инициатив такого рода. Хотя четыре закона робототехники, предложенные в этой книге, не могут, скорее всего, служить основанием для всех этих, весьма разнообразных, документов, они на них в какой-то мере опираются, выделяя ключевые идеи, в которых отражаются общепринятые ценности.
Я сосредотачиваюсь на робототехнике, а не роботах, чтобы сделать упор на том, как в социальные системы встраивается технология датчика/процессора/активатора.
Harold Wilensky, “The Professionalization of Everyone?” American Journal of Sociology 70, no. 2: 137–158 (ядро профессионального статуса здесь описывается как «успешное притязание на исключительную техническую компетентность и следование идеалу службы»).
Эти средства правовой защиты также отражаются в более общей социальной расположенности к ИИ, выполняющему функцию дополнения. См.: The Federal Government of Germany, Artificial Intelligence Strategy 25 (2018), https://ec.europa.eu/knowledge4policy/publication/germany-artificial-intelligence-strategy_en («Потенциал ИИ, способного работать на благо всего общества, заключен в обещанном росте производительности, который должен сочетаться с улучшением ситуации, касающейся рабочей силы, делегированием монотонных или опасных работ машинам, чтобы люди могли сосредоточиться на применении своей креативности в решении проблем»).
Lucas Mearian, “A. I. Guardian-Angel Vehicles Will Dominate Auto Industry, Says Toyota Exec,” Computerworld, June 3, 2016.
Некоторые формы автопилотирования снижают квалификацию пилотов. См.: Николас Карр, Стеклянная клетка (Москва: КоЛибри, 2015). Но в то же время автопилотирование можно проектировать так, чтобы навыки пилота поддерживались или повышались, что позволит сохранить его профессионализм. См.: Дэвид Минделл, Восстание машин отменяется! Мифы о роботизации (Москва: Альпина нон-фикшн, 2017).
Так, даже фирмы, составляющие витрину революции ИИ, в частности Microsoft, утверждают, что их цель «не в том, чтобы заменить людей машинами, а в том, чтобы дополнить человеческие способности безграничной способностью ИИ анализировать огромные объемы данных и находить паттерны, которые в ином случае выявить было бы невозможно». См.: Microsoft, “The Future Computed: Artificial Intelligence and Its Role in Society” (2018), https://blogs.microsoft.com/wp-content/uploads/2018/o2/ The-Future-Computed_2.8.18.pdf.
Kate Crawford and Vladan Joler, Anatomy of an Al System (2018), https://anatomyof.ai/.
Information Technology Industry Council (ГП), Al Policy Principles Executive Summary 5 (2017), https://www.itic.org/public-policy/ ITIAIPolicyPrinciplesFINAL.pdf.
The Agency for Digital Italy, Artificial Intelligence at the Service of Citizens 37, 54, 62 (2018), https://ia.italia.it/assets/whitepaper.pdf. См. также: Artificial Intelligence Industry Alliance (China), Joint Pledge on Artificial Intelligence Industry Self-Discipline (2019), https://www. newamerica.org/cybersecurity-initiative/digichina/blog/translation-chinese-ai-alliance-drafts-self-discipline-joint-pledge/, где утверждается, что развитие ИИ не должно позволить «искусственному интеллекту ослабить или заменить позицию человека».
Frank Pasquale, “A Rule of Persons, Not Machines,” George Washington Law Review 87, no. 1 (2019): 1-55.
Beijing Academy of Al, Beijing Al Principles (2019), https://www. baai.ac.cn/blog/beijing-ai-principles.
Daniella K. Citron and Robert Chesney, “Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security,” California Law Review 107 (2019): 1753–1819.
European Group on Ethics in Science and New Technologies, European Commission, Statement on Artificial Intelligence, Robotics and ‘Autonomous’ Systems 16 (2018), https://publications.europa.eu/en/publication-detail/-/publication/dfebe62e-4ceg-ne8-beid-oiaa75ed7iai, где цитируется фундаментальный принцип человеческого достоинства. См. также: IEEE, Global Initiative on Ethics of Autonomous and Intelligent Systems, Ethically Aligned Design 39 (1st. ed., 2019), https:// standards.ieee.org/content/ieee-standards/en/industry-connections/ ec/autonomous-systems.html: «Обязанность уважать человеческое достоинство, возможно, потребует определенных ограничений функций и способностей искусственных интеллектов, сузив их возможность заменять людей, человеческие функции и/ или „центральную мыслительную деятельность человека“, примерами которой являются суждение, рассуждение и оценка… Также она, возможно, не позволит ИИ обманывать людей или манипулировать ими».
Термин «дети разума» я заимствую у Моравека, хотя у меня совершенно другое представление о будущем робототехники. См.: Hans Moravec, Mind Children: The Future of Robot and Human Intelligence (Cambridge, MA: Harvard University Press, 1990).
Даже в подобных случаях можно навязать «бремя самострахования». См.: David С. Viadeck, “Machines without Principals: Liability Rules and Artificial Intelligence,” Washington Law Review 89, no. 1 (2014): 117, 150.
Термин «потенциально ответственные стороны» опирается на документ: Comprehensive Environmental Response, Compensation, and Liability Act, or CERCLA. 42 U.S.C. § 9607(a) (2012), в котором определяются четыре категории сторон, потенциально связанных обязательствами.
Helena Horton, “Microsoft Deletes ‘Teen Girl’ Al after It Became a Hitler-Loving Sex Robot,” Telegraph, March 24, 2017, https://www.telegraph. co.uk/technology/2016/o3/24/microsofts-teen-girl-ai-turns-into-a-hitler-loving-sex-robot-wit/.
Различие между закрытой и открытой робототехникой см. в: M. Ryan Calo, “Open Robotics,” Maryland Law Review 70 (2011): 571, 583–591; Diana Marina Cooper, “The Application of a ‘Sufficiently and Selectively Open License’ to Limit Liability and Ethical Concerns Associated with Open Robotics,” in Robot Law, eds. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar, 2016), 163, 164–165.
Staff of the US Securities and Exchange Commission and Staff of the US Commodity Futures Trading Commission, Joint Study on the Feasibility of Mandating Algorithmic Descriptions for Derivatives (April 2011), 16, 16П77, 24, https://www.sec.gov/news/studies/2011/719b-study.pdf.
John Markoff, “The Creature That Lives in Pittsburgh,” New York Times, April 21, 1991, http://www.nytimes.com/1991/04/21/business/ the-creature-that-lives-in-pittsburgh.html?pagewanted=all; Rodney Brooks, Flesh and Machines: Ноъо Robots Will Change Us (New York: Pantheon, 2002).
См.: Джон Маркофф, Homo Roboticus?Люди и машины в поисках взаимопонимания (Москва: Альпина нон-фикшн, 2017), где описывается первопроходческая работа в области ИИ Дага Энгельбарта и многих его последователей. См. также: Doug Engelbart, Augmenting Human Intellect: A Conceptual Framework (Washington, DC: Air Force Office of Scientific Research, 1962).
Marc Andreessen, “Why Software Is Eating the World,” Wall Street Journal, August 20, 2011, https://www.wsj.com/articles/SB1ooo1424053111903480904576512250915629460..
Ryan Calo, “Robotics and the Lessons of Cyberlaw,” California Law Review 103, no. 3 (2015): 513–563.
Ian Kerr, “Bots, Babes and the Californication of Commerce,” Ottawa Law and Technology Journal 1 (2004): 285–325.
Rachel Lerman, “Be Wary of Robot Emotions; ‘Simulated Love Is Never Love,’ ” Phys.org, April 26, 2019, https://phys.org/news/2019-04-wary-r0b0t-em0ti0ns-simulated.html.
Natasha Dow Schull, Addiction by Design: Machine Gambling in Las Vegas (Princeton: Princeton University Press, 2014); Ryan Calo, “Digital Market Manipulation,” George Washington Law Review 82 (2014): 995; Neil Richards, “The Dangers of Surveillance,” Harvard Law Review 126 (2019): 1934.
Mark Andrejevic, “Automating Surveillance,” Surveillance and Society 17 (2019): 7.
Neil Selwyn, Distrusting Educational Technology: Critical Questions for Changing Times (New York: Routledge, 2014).
Laurence H. Tribe, Channeling Technology through Law (Chicago: Bracton, 1973).
Deborah G. Johnson, “The Role of Ethics in Science and Technology,” Cell 29 (2010): 589–590; Deborah G.Johnson, “Software Agents, Anticipatory Ethics, and Accountability,” in “The Growing Gap between Emerging Technologies and Legal-Ethical Oversight, eds. Gary E. Marchant, Braden R. Allenby, and Joseph R. Herkert (New York: Spring, 2011), 61–76; Ari Ezra Waldman, Privacy as Trust (Oxford: Oxford University Press, 2018).
Mary Flanagan and Helen Nissenbaum, Values at Play in Digital Games (Cambridge, MA: MIT Press, 2014).
См., например: Ann Cavoukian, “Privacy by Design: The 7 Foundational Principles,” Office of the Information and Privacy Commissioner of Canada (2009).
Дополнительную информацию по вопросам конфиденциальности, возникающим в связи с роботами и предсказательной аналитикой, см. в: Drew Simshaw, Nicolas Terry, Kris Hauser, and M. L. Cummings, “Regulating Healthcare Robots: Maximizing Opportunities while Minimizing Risks,” Richmond Journal of Law and Technology 27, no. 3 (2016): 1-38, 3. Об интеграции права и принципов проектирования с целью эффективного извещения см.: Ari Ezra Waldman, “Privacy, Notice, and Design,” Stanford Technology Law Review 21, no. 1 (2018): 129–184.
Эту стратегию аргументации Хуфнегл называет «карточной колодой отрицателей». См.: Christopher Jay Hoofnagle, “The Denialists’ Deck of Cards: An Illustrated Taxonomy of Rhetoric Used to Frustrate Consumer Protection Efforts,” ScienceBlogs, February 9, 2007, https:// scienceblogs.com/denialism/the- denialists- deck- of- cards.
Frank Pasquale, “Technology, Competition, and Values,” Minnesota Journal of Law, Science, and Technology 8 (2007): 607–622; Peter Asaro, “Jus Nascendi, Robotic Weapons and the Martens Clause,” in Robot Law, eds. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar, 2016), 367–386.
Frank Pasquale, “Technology, Competition, and Values,” Minnesota Journal of Law, Science, and Technology 8 (2007): 607–622.
См., например: Kenneth Anderson and Matthew C. Waxman, “Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work and How the Laws of War Can,” Hoover Institution Stanford University Task Force on XationalSecurity and Law (2013), где дается ответ на кампанию «Остановить роботов-убийц» (Campaign to Stop Killer Robots).
P. W. Singer, Wiredfor War: The Robotics Revolution and Conflict in the 21st Century (New York: Penguin, 2009), 435.
Ray Kurzweil, The Age of Spiritual Machines (New York: Penguin, 1999).
Rebecca Crootof, “A Meaningful F100r for Meaningful Human Control,” Temple International and Comparative Law Journal 30 (2016): 53–62; Paul Scharre, “Centaur Warfighting: The False Choice of Humans vs. Automation,” Temple International and Comparative Law Journal 30 (2016): 151–166.
Jeffrey L. Caton, Autonomous Weapon Systems: A Brief Survey of Developmental, Operational, Legal, and Ethical Issues (Carlisle, PA: US Army War College Press, 2015); Liang Qiao and Xiangsui Wang, Unrestricted Warfare: China’s Master Plan to Destroy America, trans. Al Santoli (Panama City: Pan American Publishing, 2000).
Проекты по анализу лиц, упомянутые в этом абзаце, критикуются в работе: Frank Pasquale, “When Machine Learning is Facially Invalid,” Communications of the ACM 61, no. 9 (2018): 25–27.
David Castlevecchi, “Can We Open the Black Box of Al?” Scientific American, October 5, 2016, https://www.scientificamerican.com/ article/can-we-open-the-black-box-of-ai/.
Jennifer Kavanagh and Michael D. Rich, Truth Decay: An Initial Exploration of the Diminishing Role of Facts and Analysis in American Public Life, Santa Monica, CA: RAND Corporation, 2018, https://www.rand. org/pubs/research_reports/RR23i4.html; Alice Marwick and Rebecca Lewis, Media Manipulation and Disinformation Online (New York: Data and Society, 2017), https://datasociety.net/pubs/oh/DataAndSocie-ty_MediaManipulationAndDisinformationOnline.pdf.
О различии между речью и поведении см., например: Claudia Haupt, “Professional Speech,” Yale Law Journal 125, no. 5 (2016): 1238–1303.
Как показывает Джил Эйал, экспертные знания вполне могут существовать вне эксперта, не только в виде набора пропозиционально выраженных знаний, но и в качестве институтов. См.: Gil Eyal, The Crisis of Expertise (Medford, MA: Polity Press, 2019).
Alex (Sandy) Pentland, Honest Signals: How They Shape Our World (Cambridge, MA: MIT Press, 2008), где обсуждаются социометрические индикаторы.
См.: Andrew Abbott, The System of Professions: An Essay on the Division of Expert Labor (Chicago: University of Chicago Press, 2014); Eliot Freidson, Professionalism, The Third Logic: On the Practice of Knowledge (Chicago: University of Chicago Press, 2001).
Подробное обсуждение «автоматизации добродетели» см. в: Ian Kerr, “Digital Locks and the Automation of Virtue,” in From Radical Extremism to Balanced Copyright: Canadian Copyright and the Digital Agenda, ed. Michael Geist (Toronto: Irwin Law, 2010), 247–303.
Hope Reese, “Updated: Autonomous Driving Levels о to 5: Understanding the Differences,” TechRepublic, January 20, 2016, http:// www.techrepublic.com/article/autonomous-driving-levels-o-to-5-understanding-the-differences/.
Кэти О’Нил, Убийственные большие данные: как математика превратилась в оружие массового поражения (Москва: ACT, 2018); Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information (Cambridge, MA: Harvard University Press, 2015); Da-nah Boyd and Kate Crawford, “Critical Questions for Big Data: Provocations for a Cultural, Technological, and Scholarly Phenomenon.” Information, Communication, and Society 15, no. 5 (2012): 662–679.
Bryant Walker Smith, “How Governments Can Promote Automated Driving,” New Mexico Law Review 47 (2017): 99-138.
Ibid., 114.
Я привожу здесь лишь очевидные примеры. Подробное описание будущей работы, сосредоточенное в основном на приспособлении к новой технологии, см. в: Thomas Frey, “55 Jobs of the Future,” Futurist Speaker, November 11, 2011, http://www.futu-ristspeaker.com/business-trends/55-jobs-of-the-future/.
US Department of Transportation, Federal Automated Vehicles Policy: Accelerating the Next Revolution in Roadway Safety (September 2016), 9, https://www.transportation.gov/AV/federal-automated-vehicles-policy-september-2016.
Критическую роль будут играть правила, определяющие ответственность. См.: Marc Canellas and Rachel Haga, “Unsafe at Any Level: The U. S. NHTSA’s Levels of Automation Are a Liability for Automated Vehicles,” Communications of the ACM 63, no. 3 (2020): 31–34.
Чисто технологические проблемы тоже не так-то просто решить. См.: Roberto Baldwin, “Self-Driving Cars are Taking Longer to Build Than Everyone Thought,” Car and Driver, May 10, 2020, https://www.caranddriver.com/features/a32266303/self-driving-cars-are-taking-longer-to-build-than-everyone-thought/.
Al Now Institute, Al Now 201g Report, December 2019, 8, 45–47, https://ainowinstitute.org/AI_Now_2019_Report.pdf.
Henry Mance, “Britain Has Had Enough of Experts, says Gove,” Financial Times, June 3, 2016, https://www.ft.com/ content/3be49734-29cb-ne6-83e4-abc22d5dio8c.
Gil Eyal, The Crisis of Expertise (Cambridge, UK: Polity Press, 2019), 20.
По воспоминаниям генерала Рэймонда Томаса (Главное управление войск специального назначения США), который упомянул, что это было сказано ему в июле 2016 г. Эриком Шмидтом, председателем правления Google. См.: Kate Conger and Cade Metz, “ T Could Solve Most of Your Problems’: Eric Schmidt’s Pentagon Offensive,” Xew York Times, May 2, 2020, https://www.nytimes. com/2020/05/02/technology/eric-schmidt-pentagon-google.html.
Will Davies, “Elite Power under Advanced Neoliberalism,” Theory, Culture and Society 34, nos. 5–6 (2017): 233.
Я считаю, что эта интеграция демократических и экспертокра-тических ценностей может стать ключом к решению проблемы разделения между «диггерами» и «левеллерами» в исследованиях науки и технологии, которую отчетливо сформулировал Филип Мировски в своей недавней работе: Philip Mirowski, “Democracy, Expertise and the Post-truth Era: An Inquiry into the Contemporary Politics of STS,” (working paper, version 1.1, April 2020), https://www.academia.edu/42682483/Democracy_Expertise_ and_the_Post-Truth_Era_An_Inquiry_into_the_Contemporary_ Politics_of_STS.
Hubert L. Dreyfus, What Computers Still Can’t Do (Cambridge, MA: MIT Press, 1992).
Gert Р. Westert, Stef Groenewoud, John E.Wennberg, Catherine Gerard, Phil DaSilva, Femke Atsma, and David 0. Goodman, “Medical Practice Variation: Public Reporting a First Necessary Step to Spark Change,” International Journal for Quality in Health Care 30, no. 9 (2018): 731–735, https://doi.org/1o.1093/intqhc/mzyo92.
Anna B. Laakmann, “When Should Physicians Be Liable for Innovation?” Cardozo Law Review 36 (2016): 913–968.
Andy Kiersz, “These Are the Industries Most Likely to Be Taken Over by Robots,” World Economic Forum, April 25, 2019, https://www. weforum.org/agenda/2019/o4/these-are-the-industries-most-likely-to-be-taken-over-by-robots; Andrew Berg, Edward F. Buffie, and Luis-Felipe Zanna, “Should We Fear the Robot Revolution? (The Correct Answer Is Yes),” IMF Working Paper WP/18/116, May 21, 2018, https://www.imf.org/en/Publications/WP/Issues/2018/o5/21/Should-We-Fear-the-Robot-Revolution-The-Correct-Answer-is-Yes-44923.
Петро Домингос, Верховный алгоритм: как машинное обучение изменит наш мир (Москва: Манн, Иванов и Фербер, 2016).
Hugo Duncan, “Robots to Steal 15 Million of Your Jobs, Says Bank Chief: Doom-Laden Carney Warns Middle Classes Will Be ‘Hollowed Out’ by New Technology,” Daily Mail, December 5, 2008, http://www. dailymail.co.uk/news/article-4oo3756/Robots-steal-15m-jobs-says-bank-chief-Doom-laden-Carney-warns-middle-classes-hollowed-new-technology.html#ixzz4SDCt2Pql.
См., например: Clayton M.M. Christensen, Curtis W. Johnson, and Michael B. Horn, Disrupting Class (New York: McGraw-Hill, 2008); and Clayton M. Christensen, Jerome Grossman, and Jason Hwang, The Innovator’s Prescription: A Disruptive Solution for Health Care (New York: McGraw-Hill, 2009), где исследуются прорывные инновации в области здравоохранения.
Kenneth Scheve and David Stasavage, Taxing the Rich: A History of Fiscal Fairness in the United States and Europe (Princeton: Princeton University Press, 2016).
Alondra Nelson, “Society after Pandemic,” Items: Insights from the Social Sciences, April 23, 2020, at https://items.ssrc.org/covid-19-and-the-social-sciences/society-after-pandemic/. Джон Ури также утверждает, что «исследования будущего должны стать частью социальных наук, а также в определенной мере – частью повседневной жизни». См.: Джон Урри, Как выглядит будущее? (Москва: Издательский дом «Дело» РАНХиГС, 2018), Urry, What Is the Future? (Malden: Polity, 2016), 17–18.
Джозеф Вейценбаум, Возможности вычислительных машин и человеческий разум: от суждений к вычислениям (Москва: Радио и связь, 1982).
Aaron Smith and Monica Anderson, Automation in Everyday Life (Washington, DC: Pew Research Center, October 4, 2017), https:// www.pewinternet.org/2017/1o/o4/automation-in-everyday-life/.