Source-linked AI summary
Trust in AI: Progress, Challenges, and Future Directions
Saleh Afroogh, Ali Akbari, Evan Malone, Mohammadali Kargar, Hananeh Alambeigi
TL;DR
AI에 대한 신뢰는 도입에 중요하지만, 연구에는 AI 신뢰와 불신의 개념, 차원, 지표, 불신 유발 요인을 체계적으로 설명한 연구가 부족하다. 이 논문은 문헌을 체계적으로 검토하고, 기술적·공리적 신뢰성 측정치의 taxonomy를 개발하며, 연구가 불균형하게 이루어진 영역과 향후 연구의 미해결 질문을 식별한다.
문제
문헌에는 AI 신뢰와 불신의 개념, 차원, 영향, 지표 및 그 근본적 고려사항에 대한 체계적 검토가 부족하다.
방법
이 논문은 신뢰 개념, human-AI interaction, technology acceptance, trustworthiness metrics, measurements, trust makers와 trust breakers를 다루는 체계적 문헌 검토를 수행한다.
결과
검토 결과, 신뢰 관련 AI 연구는 네 가지 주요 범주에 걸쳐 불균형하게 발전했으며, 일부 영역은 거의 또는 전혀 주목받지 못했다.
시사점 및 한계
향후 연구는 충분히 탐구되지 않은 영역을 다루고, AI-AI interaction을 포함해 신뢰를 조정하기 위한 맥락 민감적 접근법을 개발해야 한다.
시사점 및 한계
AI-AI interaction에 대한 신뢰 조정 연구는 여전히 제한적이며, transparency와 explainability는 security와 reliability보다 관련성이 낮을 수 있다.
Abstract
from arXiv · showhide
The increasing use of artificial intelligence (AI) systems in our daily life through various applications, services, and products explains the significance of trust/distrust in AI from a user perspective. AI-driven systems (as opposed to other technologies) have ubiquitously diffused in our life not only as some beneficial tools to be used by human agents but also are going to be substitutive agents on our behalf, or manipulative minds that would influence human thought, decision, and agency. Trust/distrust in AI plays the role of a regulator and could significantly control the level of this diffusion, as trust can increase, and distrust may reduce the rate of adoption of AI. Recently, varieties of studies have paid attention to the variant dimension of trust/distrust in AI, and its relevant considerations. In this systematic literature review, after conceptualization of trust in the current AI literature review, we will investigate trust in different types of human-Machine interaction, and its impact on technology acceptance in different domains. In addition to that, we propose a taxonomy of technical (i.e., safety, accuracy, robustness) and non-technical axiological (i.e., ethical, legal, and mixed) trustworthiness metrics, and some trustworthy measurements. Moreover, we examine some major trust-breakers in AI (e.g., autonomy and dignity threat), and trust makers; and propose some future directions and probable solutions for the transition to a trustworthy AI.
1. 서론
Trust는 행동, 상호작용, 도입을 형성하므로 AI 수용의 핵심이며, distrust는 확산을 제한할 수 있다. 본 systematic literature review는 기술적·윤리적·법적·맥락적 차원에서 AI의 trust와 distrust에 대한 분절된 이해를 다룬다.
- 동기: Trust는 행동, 상호작용, technology acceptance에 영향을 미치며, AI의 광범위한 확산으로 인해 trust는 AI adoption에 필수적이다.AI는 인간과 유사한 과업을 수행하며 일상적인 애플리케이션, 서비스, 제품에 필수적인 요소가 되었다.
- 동기: AI에 대한 Trust는 사람들이 시스템을 수용하고, 시스템의 제안과 결정에 의존하며, 과업을 공유하고, 정보를 제공하고, 해당 기술을 지지하려는 의지를 반영함으로써 확산을 조절한다.AI의 개발과 adoption은 stakeholder와 사용자의 기대 및 요구를 충족하는 데 달려 있다.
- 개념적 범위: Trustworthiness는 윤리를 넘어 AI의 performance, transparency, explainability, compliance까지 포함하며, AI의 학습과 능동적이고 예측 불가능하거나 이해하기 어려운 행동은 AI를 다른 automated systems와 구별한다.영향력 있는 trust 요인은 인간 기반, 맥락 기반, 기술 기반일 수 있다.
- 동기: Distrust는 여러 영역에서 AI adoption을 저해하며, black-box behavior는 일반 사용자가 AI를 이해하는 데 어려움을 겪기 때문에 제조 분야에서 불충분한 trust를 초래한다.본 review는 제조와 medical imaging 같은 분야에서 AI가 지닌 잠재력에도 불구하고 distrust를 실질적인 장벽으로 규정한다.
- 기여: 본 연구는 기존 연구 전반에서 trust와 distrust의 차원, 개념화, 관계, 가능한 해결책을 체계화하기 위해 systematic literature review를 수행한다.이는 여러 영역의 연구, 보고서, 사례 연구에 걸쳐 분절된 문헌에 대응한다.
2. 방법론
이 검토는 AI 신뢰를 전담하는 데이터베이스가 존재하지 않기 때문에 PRISMA에 따른 포괄적이고 체계적인 접근을 사용했다. 수동 검색과 키워드 기반 Google Scholar 검색을 결합했으며, 선별 및 중복 제거 후 329개의 대상 논문을 확보했다.
- 검색 및 검토 프로토콜: 이 검토는 영어 학술 논문, 보고서, 사례 연구 및 AI 신뢰 프레임워크를 검토하기 위해 PRISMA 기반 프로토콜을 따랐다.AI 신뢰를 특별히 전담하는 데이터베이스가 제공되지 않았기 때문에 해당 프로토콜을 개발했다.
- 검색 전략: 수동 검색을 통해 중복 제거 후 AI 신뢰 관련 논문 19편을 식별했으며, Google Scholar의 키워드 기반 검색으로 이를 보완했다.키워드 검색에서는 “trust” 또는 “trustworthy”와 “AI” 또는 “Artificial Intelligence”의 조합을 사용했다.
- 선별 및 선정: 검색 결과, 1,205개의 검색 기록 중 의미적 키워드 관련성 선별을 거쳐 관련 논문 336편을 도출했다.이후 분석에서 중복 논문을 제거했다.
- 선별 및 선정: 최종 체계적 문헌고찰 표본은 학술지 게재를 포함한 명시된 포함 및 배제 기준에 따라 선정된 대상 논문 329편으로 구성되었다.또한 제시된 본문이 중간에 잘려 있어 기준의 전체 내용은 확인할 수 없지만, 주제의 우세성 또는 상당한 주제 포괄 범위도 선정 기준에 포함되었음을 나타낸다.
3. 연구 결과
정성적 문헌 검토는 선정된 문헌을 상호작용, 수용, 설명가능성, 공감, 공정성, 기술적 신뢰성, 평가, 신뢰 프레임워크, 신뢰 형성 요인과 저해 요인을 포괄하는 주요 주제로 조직했다. 이러한 결과는 AI 신뢰의 기술적, 윤리적, 법적, 사회적, 인간 행위주체성 차원을 아우른다.
- AI 상호작용에서의 신뢰: 검토에서는 robo-advisors, autonomous vehicles, adversarial attacks, certification, regulation을 포함해 human-machine, machine-human, machine-machine 상호작용 전반의 신뢰를 조사했다.네 명의 연구자가 검토 문헌을 범주화하는 기반으로 여덟 개의 주요 코드를 개발했다.
- AI 기술 수용: 신뢰와 불신은 healthcare, electronic markets, investment advice, personal assistants, chatbots를 포함한 여러 영역에서 AI 수용과 연결되었다.문헌은 deception, 개발자 사이의 racist 또는 genocidal ideologies, managerial endorsement, cognitive trust와 emotional trust의 차이도 다루었다.
- 설명가능성, 공감, 프라이버시, 공정성: 설명가능성과 transparency 연구는 불투명한 AI 개념, decision rationale, interpretability, transparency levels, 자동화 시스템에 대한 과도한 신뢰를 방지하는 safeguards를 다루었다.관련 주제로는 empathy, privacy, fairness, accountability, 그리고 AI 시스템에 대한 신뢰를 뒷받침하는 조건이 포함되었다.
- 기술적 신뢰 metric: 기술적 신뢰 metric은 safety, accuracy, robustness, reliability, security, lineage, system accuracy, cybersecurity, 그리고 고위험 의사결정에서 신뢰를 보정하는 문제에 초점을 맞추었다.문헌은 distrust, overtrust, malicious nodes, Bayesian trust models, human-multi-robot teams도 고려했다.
- 신뢰성 측정: 신뢰성 평가는 psycho-physiological, empirical, theoretical, qualitative, experimental, model-based 방법과 함께 certificates, audits, multidimensional metrics, risk assessments를 활용했다.보고된 기준에는 performance, situation awareness, resilience, efficiency, data protection, predictability, believability가 포함되었다.
- 신뢰 저해 요인과 형성 요인: 신뢰 저해 요인에는 surveillance, manipulation, bias, privacy 및 security risks, 인간 통제력 상실, autonomy 및 dignity threats, 예측 불가능한 미래가 포함되었고, 신뢰 형성 요인에는 transparency, oversight, accountability, explainability, regulation, expert endorsement가 포함되었다.신뢰 구축 접근법은 AI personality, anthropomorphism, reputation, context, team 및 individual factors, human agency, local justifications도 포함했다.
3.1. 인간-기계 상호작용에서의 신뢰: 유형론과 매개변수
인간-기계 상호작용에서의 신뢰는 사람들이 취약성을 감수하면서 AI 시스템의 정확성과 확신을 어떻게 예상하는지와 관련되며, 의도성이나 선의성을 주로 판단하는 것과는 다르다. 신뢰 형성은 지각된 능력, 관찰 가능한 의사결정 과정, 인간의 특성, 도메인별 조건에 좌우되며, healthcare, finance, assistants, manufacturing, robotics 전반에서 AI 수용을 형성한다.
- 인간-기계 상호작용에서의 신뢰: 유형론과 매개변수: AI에 대한 신뢰에는 모델의 결정이 정확하고 확신에 찬 것인지 예상하는 과정이 필요하며, 이는 신뢰를 취약성, 위험, 불확실성, 협업과 연결한다.일반적인 대인 신뢰와 달리, AI 신뢰는 시스템의 행동을 반드시 예상하기보다는 기대되는 결정 성능에 초점을 둔다.
- 인간-기계 상호작용에서의 신뢰: 유형론과 매개변수: 지각된 신뢰성은 AI의 능력에 좌우되며, 이는 입력 데이터, 문제 표현, 알고리즘에 의해 형성된다. 또한 관찰 가능한 의사결정 과정이 사용자의 사전 믿음과 일치할 때 증가한다.실제 신뢰성은 AI 시스템에 속하는 반면, 지각된 신뢰성은 사용자에게 속한다. 따라서 신뢰와 신뢰성은 서로 괴리될 수 있다.
- 인간-기계 상호작용에서의 신뢰: 유형론과 매개변수: 인간-기계 상호작용에서는 medical diagnosis, robo-advice, autonomous driving을 포함한 애플리케이션에서 사람이 trustor가 되고 AI 시스템이 trustee가 된다.인간의 감정과 지각된 AI의 인간다움도 신뢰에 영향을 미치며, 제한적인 공감이 유익한지 우려스러운지에 대한 사용자의 판단은 서로 다르다.
- 인간-기계 상호작용에서의 신뢰: 유형론과 매개변수: 신뢰와 도입은 상호작용 맥락의 영향도 받는다. trust management는 AI-AI 차량 네트워크에서 정보를 필터링하고, voice-assistant 도입은 상호작용 품질과 신뢰에 좌우되며, 조직은 리더, 동료, 제도적 영향 요인을 통해 신뢰를 매개한다.Social-robot 신뢰성은 로봇의 특성과 성능에 더해 인간의 특성, 요구, 전문성, 업무량, 사전 경험, 상황 인식을 결합한다.
- 인간-기계 상호작용에서의 신뢰: 유형론과 매개변수: 신뢰는 여러 도메인에서 AI 수용을 형성한다. healthcare에서는 transparency와 explainability가 강조되는 반면, financial 사용자는 복잡하거나 사회적인 상황에서 human advice를 선호하는 경우가 많다,,,,.Healthcare 사용자는 의사의 총체적 관점과 사회적 상호작용도 중시하는 반면, 알고리즘 기반 투자 조언을 신뢰하는 사람은 절반에 불과하다.
3.2. 신뢰할 수 있는 AI와 그 지표: 기술적·비기술적 지표 · 3.2.1. 신뢰와 explainability / transparency / interpretability
이 논문은 7개의 비기술적 지표와 3개의 기술적 지표를 통해 신뢰할 수 있는 AI를 설명하며, 불투명성이 신뢰를 저해하는 반면 transparency, explainability, interpretability는 AI 의사결정에 대한 이해의 서로 다른 측면을 다룬다고 강조한다. 또한 interpretability의 정의와 정량화에 대한 합의가 부족하다는 점을 지적한다.
- 3.2. 신뢰할 수 있는 AI와 그 지표: 기술적·비기술적 지표: 신뢰할 수 있는 AI는 의료 및 기타 산업의 AI 시스템이 신뢰성 있고 안전하며 윤리적이기 위해 필요하다고 제시된다.
- 3.2. 신뢰할 수 있는 AI와 그 지표: 기술적·비기술적 지표: 다른 영역에서 신뢰를 구축하는 조치로는 표준 정의, 민원 시스템, 독립적 평가, 공식 소프트웨어 검증, 신뢰 지표, 로드맵 개발이 있다,,, [110],,;;; [115];.
- 3.2. 신뢰할 수 있는 AI와 그 지표: 기술적·비기술적 지표: 이 문헌고찰은 측정 모델 및 신뢰성 프레임워크와 함께 7개의 비기술적 지표와 3개의 기술적 지표를 중심으로 신뢰할 수 있는 AI를 구성한다.
- 3.2.1. 신뢰와 explainability / transparency / interpretability: Transparency는 신뢰를 뒷받침하는 윤리적 원칙이지만, explainability와는 구별된다. transparency는 시스템이 얼마나 명확하게 답에 도달했는지를 다루는 반면, 설명은 더 넓은 목표를 추구한다,,.
- 3.2.1. 신뢰와 explainability / transparency / interpretability: 불투명한 심층 신경망은 입력이 출력으로 변환되는 방식을 이해하기 어렵게 하며, 뛰어난 성능에도 불구하고 explainability와 사용자가 인식하는 신뢰성을 저해한다,,.
- 3.2.1. 신뢰와 explainability / transparency / interpretability: Interpretability는 이해관계자가 입력과 출력의 관계를 이해할 수 있도록 하는 것을 목표로 하며, explainability와 목표를 공유하지만 서로 구별된다 [150],, [152].
- 3.2.1. 신뢰와 explainability / transparency / interpretability: Interpretability는 탐색적 분석, 시각화, feature engineering을 통해 모델 선택 이전부터 시작될 수 있으며, 운영자, 실행자, 평가자의 요구를 반영해야 한다,,, [167].
- 3.2.1. 신뢰와 explainability / transparency / interpretability: AI interpretability에 대한 합의된 정의나 정량화 방법은 아직 확립되지 않았지만, 이 분야는 향후 성숙 단계에 이를 것으로 예상된다 [152],,, [170].
3.2.2. AI에서의 신뢰와 공감
공감은 인간 사용자와 AI 시스템 간 신뢰를 구축하는 데 핵심적인 요소로 제시되며, 타인의 감정과 주관적 경험을 판단 없이 이해하는 것을 포함한다. AI 기반 치료와 온라인 서비스는 환자-의사 관계에서 공감과 신뢰를 재고하게 하며, 이러한 연관성은 선행연구에서 논의되었다.
- AI에서의 신뢰와 공감: 공감은 인간 사용자와 AI 시스템 간 신뢰를 구축하는 데 핵심적인 것으로 간주되며, 타인의 감정을 판단 없이 이해하는 것을 포함한다 (Wiesman 1996).또한 타인이 상황을 주관적으로 어떻게 경험하는지 시뮬레이션하는 능력으로 정의된다 (Gamer et al, 2010).
- AI에서의 신뢰와 공감: AI 기반 치료와 온라인 커뮤니티는 환자-의사 관계에서 공감과 신뢰를 재고하게 하며, 연구들은 온라인 및 AI 기반 서비스에서 이 둘의 연관성을 검토한다 (,; Bock et al,; Yoon and Lee).
3.2.3. 신뢰와 프라이버시 · 3.2.4. AI에서의 신뢰와 공정성
AI에 대한 신뢰는 프라이버시와 신뢰 사이의 상충관계에 의해 형성되며, 공정성에 대한 관심은 사용자 집단 간 편향 없는 대우를 신뢰할 수 있는 AI의 핵심으로 만든다. 이 문헌고찰은 맥락에 따른 신뢰 수준, 기술적 프라이버시 보호책, 그리고 알고리즘적 불공정성을 초래할 수 있는 데이터 또는 설계 실패를 논의한다.
- 3.2.3. 신뢰와 프라이버시: 더 높은 프라이버시 우려는 더 낮은 신뢰와 연관되며, 개인정보 보호와 AI 시스템 신뢰 사이의 근본적인 상충관계를 드러낸다.
- 3.2.3. 신뢰와 프라이버시: 프라이버시 우려는 개인정보 또는 개인식별정보가 언제, 어떻게, 어느 정도로 전달될지에 대한 자기결정권과 관련된다.
- 3.2.3. 신뢰와 프라이버시: 필요한 신뢰 수준은 맥락에 따라 달라지므로, AI 애플리케이션에는 높은 수준, 중간 수준 또는 낮은 수준의 프라이버시가 필요할 수 있다.
- 3.2.3. 신뢰와 프라이버시: 프라이버시–신뢰 긴장에 대한 기술적 대응으로는 동형암호 기반 보안 연산, blockchain 구현, 협력적 정보 통제, 그리고 공격 추적 기능을 갖춘 익명 인증이 제안된다.
- 3.2.4. AI에서의 신뢰와 공정성: 알고리즘에 의한 차별과 편향은 AI에 대한 신뢰를 저해하는 반면, 인식된 공정성 또는 정의는 신뢰를 높인다.
- 3.2.4. AI에서의 신뢰와 공정성: 사용자는 AI 시스템이 모든 집단에 대해 공정하고 편향 없이 작동한다는 확신을 가져야 하며, 공정성이란 AI 의사결정에서 동등하거나 형평성 있는 대우를 의미한다.
- 3.2.4. AI에서의 신뢰와 공정성: 알고리즘적 불공정성은 공정한 training data 또는 공정한 design을 사용해 AI 시스템을 개발하지 못함으로써 발생할 수 있다.
3.2.5. AI의 신뢰와 책무성
AI의 신뢰와 책무성에 관한 연구는 모델 신뢰성뿐 아니라 법적·제도적 기반도 강조한다. 책무성 연구는 주로 정의된 이해관계자의 권리, 개발자의 의무, 집행 메커니즘, 설명받을 권리로 책임을 “외부화”한다,,,,,.
3.2.6. 신뢰와 기술적 지표(safety, accuracy, robustness)
AI에 대한 신뢰는 reliability, safety, security, accuracy 관련 정보 품질, lineage, robustness를 포함한 기술적 속성을 통해 규정된다;. 제안된 접근법은 interpretability와 uncertainty awareness를 통한 보정된 의존을 강조하며, transparency 메커니즘과 formal model은 accountability와 신뢰할 수 있는 배포를 강화하고자 한다,.
- 3.2.6. 신뢰와 기술적 지표(safety, accuracy, robustness): AI의 기술적 trustworthiness에는 reliability, fairness와 explainability를 포괄하는 safety, security, lineage가 포함된다;.
- 3.2.6. 신뢰와 기술적 지표(safety, accuracy, robustness): 고위험 법률, 의료, 군사 의사결정에서 Trust calibration을 수행하려면 interpretable하고 uncertainty-aware한 AI 시스템이 필요하다.
- 3.2.6. 신뢰와 기술적 지표(safety, accuracy, robustness): 의사결정 모델은 trust와 information quality를 함께 고려할 수 있으며, FactSheets와 supplier declarations는 transparency and accountability를 촉진한다,,.
- 3.2.6. 신뢰와 기술적 지표(safety, accuracy, robustness): Blockchain 기반 graph 접근법은 malicious nodes를 격리하고 knowledge pollution을 방지함으로써 신뢰할 수 있는 knowledge sharing을 지원한다.
- 3.2.6. 신뢰와 기술적 지표(safety, accuracy, robustness): Formal trust model은 attacker behavior, robustness properties, hidden observations, Bayesian human–multi-robot trust, human–robot factors를 검토한다,,,.Trust는 AI의 설계, 개발, 배포를 개선할 수 있지만, cybersecurity가 AI에 대한 trust를 보장하지는 않는다.
3.2.7. AI의 신뢰성 평가 및 측정/ 신뢰성 인증
AI의 신뢰성은 설문지, 실험, 정성적 평가, 성능 측정을 활용하는 심리생리학적, 경험적, 이론적, 행동적 접근을 통해 평가된다. 또한 연구에서는 신뢰성, 안전성, 투명성 및 관련 속성을 평가하기 위한 신뢰성 지표, 인증 절차, 표준을 개발한다.
- 평가 접근법: 인간-AI 시스템에 대한 신뢰는 설문지, 실험 프로토콜, 정성적 평가를 비롯해 이론과 기법으로 뒷받침되는 심리생리학적 및 경험적 방법을 통해 평가된다.이러한 접근은 AI 지원 의사결정을 위한 정확성과 안전성 지침을 수립하는 것을 목표로 하지만, 여러 문제가 평가의 타당성과 정확성에 영향을 미칠 수 있다.
- 신뢰성 지표: 신뢰성 프레임워크는 신뢰성, 안전성, 회복탄력성, 민첩성, 취약성, 오류 등의 속성을 검토하여 AI 시스템의 신뢰 임계값을 설정한다.온톨로지 기반 접근은 취약성과 오류 간의 관계를 고려하며, 품질 평가는 취약성 및 위험 평가를 포함한다.
- 인간-AI 상호작용: 신뢰 평가는 사용자 신호, 만족도, 상호작용 선호도, 설계자·테스터·사용자 간 투명성도 포함한다.심리생리학적 모델은 정확한 사용자 신뢰 신호를 추구하며, 한 인간-AI 상호작용 연구에서 참여자들은 음성 제어보다 물리적 상호작용과 체화된 구현을 선호했다.
- 신뢰 측정: 권장되는 AI 신뢰 척도는 예측가능성, 신뢰성, 효율성, 믿을 만함을 강조하며, 평가는 출력에 대한 신뢰와 기계 조언에 대한 의존을 구분한다.행동적 및 생리학적 측정에는 개인 및 팀 성과, 팀 상황 인식, 과정 측정이 포함된다.
- 신뢰성 인증: 인증 절차는 알고리즘 감사, 맞춤형 AI 인증, AI 안전성 우려를 다루는 교육을 지원하기 위해 제안된다.특정 프로세스에서 AI 품질 및 보안 관리에 ISO 표준을 적용하는 것은 신뢰성과 안전성을 향상하는 방법으로 제시된다.
3.2.8. Trustworthy AI 프레임워크
이 절에서는 accountability, privacy, explainability, consent, ethical interaction, 그리고 다양한 응용 영역에서 정당화된 trust의 formal model을 강조하는 Trustworthy AI 프레임워크를 검토한다. Figure 3은 Trustworthy AI를 위해 제안된 프레임워크의 범위를 요약한다.
- Trustworthy AI 프레임워크: Banavar 은 반복적 상호작용을 통해 구축되는 secure하고 도덕적으로 건전한 시스템을 중심으로 Trustworthy AI를 구성하며, accountability, adaptability, data integration, privacy safeguards를 포함한다.이 프레임워크는 human–AI interaction에서 ethical consideration을 핵심으로 다루며, 에서 논의되고 에서 채택된 ethical framework와 일관된다.
- Trustworthy AI 프레임워크: Explainable frameworks는 guidelines, user feedback, pattern identification, result examination을 활용해 air traffic management, medicine, logistics, healthcare에서 research transparency와 실질적 trust를 연결한다.이 접근법은 AI process를 이해하거나 추적하기 어려운 환경을 다루며 human–AI decision에 대한 수용을 높이는 것을 목표로 한다.
- Trustworthy AI 프레임워크: Trust models는 human–AI decision similarity, conversational-agent antecedents, culturally informed interaction, ethical chat-system training, technology acceptance를 위한 user training을 포괄한다.검토된 프레임워크는 behavioral pattern에 Naïve Bayes classification을, dialogue 및 negotiation dataset에 autoregressive model을 적용한다,,.
- Trustworthy AI 프레임워크: Consent-based 및 metric-driven 프레임워크는 contact tracing, big-data analysis, public-health-emergency research에서 explainability와 trustworthiness의 과제를 다룬다.이 제안들은 명시적 consent와 trustworthy metric을 통해 AI outcome의 수용 여부에 관한 의사결정을 지원하는 것을 목표로 한다.
- Trustworthy AI 프레임워크: Sociological 및 regulatory 프레임워크는 user vulnerability와 predictability를 중심으로 warranted trust를 formalize하며, European guidance는 Trustworthy AI를 policy, rights, consumer protection과 연결한다,.관련 review는 human labor와 AI labor를 구분하고, robot autonomy 및 trustworthy system에 필요한 principles도 다룬다,.
- Trustworthy AI 프레임워크: Figure 3은 Trustworthy AI에 활용할 수 있는 다양한 프레임워크를 제시한다.이 figure는 이 절에서 검토한 프레임워크 지형을 개괄한다.
3.3. AI에 대한 불신과 무서운 AI
AI에 대한 불신은 경쟁 상황에서 점점 더 유능해지는 시스템을 신뢰하기 어려울 수 있다는 우려와, 감시와 조작, 자율성과 존엄성 위협, 예측 불가능한 미래라는 세 가지 주요 불신 유발 요인군에서 비롯된다. 불신을 줄이기는 어려운데, 투명성이 필요하지만 설명이 제대로 이해되지 않거나 사용자에게 매력적이지 않을 수 있고, 의료에서는 시간에 따라 유용성이 달라질 수 있기 때문이다.
- 불신의 일반적 원천: AI에 대한 불신은 경쟁 상황에 맞게 학습되거나 지시되지 않은 시스템에 대한 신뢰를 정당화하기 어렵다는 점과, 가상의 AGI에 대한 더 광범위한 우려를 반영한다,,.AGI는 과업별 알고리즘이 아니라 광범위하고 인간과 유사한 가소적 지능을 지닌 가상의 시스템을 의미한다.
- 주요 불신 유발 요인: 이 절은 세 가지 주요 불신 유발 요인군을 제시한다: 감시와 조작, 인간의 자율성과 존엄성에 대한 위협, 예측 불가능한 미래.이 요인군은 AI 시스템에 대한 불신을 다루는 이 절의 논의를 구성한다.
- 감시와 조작: 감시에 대한 불신은 프라이버시 위험, 잠재적인 데이터 탈취, 그리고 AI를 배치하는 기업이나 정부 및 알고리즘 추천의 근거에 대한 불신에서 비롯된다,,,.불신의 대상은 AI가 어떻게 사용되는지에 관한 주장뿐 아니라 알고리즘의 출력과 그 근거일 수도 있다.
- 인간의 자율성과 존엄성에 대한 위협: 자율성과 존엄성에 대한 우려는 AI가 편향과 불평등을 재생산하거나 인간의 행위 주체성을 대체하는 데 초점을 두며, 행위 주체성의 상실은 AI를 불신하는 사람들이 가장 높게 평가한 우려 중 하나다.이러한 우려는 AI가 인간의 행위 주체성과 존엄성에 미치는 영향에 대한 회의론을 반영한다. 다만 의료와 거버넌스에서는 사람들이 때때로 인간보다 AI를 더 신뢰할 수도 있다,.
- 예측 불가능한 미래: 예측 불가능성은 AGI가 사회에 미칠 결과에 대한 전 지구적 우려와, 그러한 시스템이 적절한 가치를 지닐지에 대한 국지적 우려를 모두 키운다,,.이 대목은 예측 불가능성에 대한 우려를 전 지구적 형태와 국지적 형태로 구분한다.
- 불신 감소의 과제: 불신을 줄이려면 투명성이 필요하지만 [227],, 사용자가 설명을 접하지 않을 수 있고, 의료에서는 설명의 유용성이 시간에 따라 달라질 수 있다,.투명성이 무엇을 포함해야 하는지는 여전히 불분명하다는 점이 이 절에서 지적된다.
3.4. Trust makers: AI에서 신뢰 구축·증진
AI에 대한 신뢰는 기술적·가치론적 방법을 통해 높일 수 있지만, 그 효과는 인간·시스템·응용 맥락의 요인에 좌우된다. Explainability, 커뮤니케이션, 문서화, 규제, 상호작용 설계는 신뢰를 구축할 수 있는 반면, 부실한 설명, 제한된 접근성, ethics-washing은 신뢰를 약화시킬 수 있다.
- 영향 요인: 신뢰는 전문성, 문화, 개인적 특성, 성능, 신뢰성, AI의 성격을 비롯한 인간·AI 관련·맥락 관련 요인의 영향을 받는다,,.성별의 영향은 상충되지만,, 교육 수준과 연령은 신뢰 구축에 중요하지 않다.
- 기술적 신뢰 구축: Explainability는 특히 중요 영역에서 신뢰를 구축할 수 있지만, global explanations는 이후의 이해를 높이는 반면 local justifications는 효과적이지만 시간에 민감하다.너무 상세한 설명은 사용자를 혼란스럽게 할 수 있고, 세부 정보가 부족하면 시스템을 설명하지 못한다.
- 기술적 신뢰 구축: 적절한 성능, 해석가능성, 공정성, 편향을 고려한 설계와 평가에 더해 Interactive visualization과 결과 커뮤니케이션은 신뢰를 높일 수 있다.신뢰는 시스템의 속성뿐 아니라 시스템이 사람에게 결과를 전달하는 방식에도 좌우된다.
- 가치론적 신뢰 구축: Supplier declarations of conformity는 개발, 학습, 배포, 테스트, 의도된 사용, 테스트하지 않은 시나리오, 윤리적 우려를 문서화함으로써 신뢰를 높인다 [329].이러한 투명성은 주로 전문가 사용자에게 이익이 되며, literacy 수준이 낮은 배경의 환자에게는 불리할 수 있다.
- 거버넌스와 책무성: 규제와 책무성은 대중의 신뢰를 위한 기반으로 제안되는 반면, 규제를 회피하기 위해 기업 윤리를 과장하는 ethics-washing은 신뢰를 훼손할 수 있다, [333].Roszel et al.은 효능, 신뢰성, 안전성, 책임을 다루는 20개의 가이드라인을 제안했다 [333].
- 도메인별 구현: 신뢰 구축 방법은 응용 맥락에 부합해야 한다. explainable-AI 상호작용에 통합된 virtual agents는 신뢰를 높일 수 있으며, 인간과 agent의 가치 유사성은 신뢰 판단을 형성한다,.챗봇 가이드라인은 최종 사용자와 전문가를 대상으로 한 설문에서 개발되었으며, 마케팅 연구는 AI-generated information의 수용에 영향을 미치는 심리적 요인을 강조한다.
4. 논의
논의는 AI에 대한 신뢰가 필수적이지만 technical trustworthiness와는 구별되며, 심리적·윤리적·사회적·도메인별 요인에 의해 형성된다고 본다. 또한 accountability, measurement, privacy, transparency, fairness, trust equity에서 해결되지 않은 과제를 확인하고, 더욱 통합적인 평가와 개입을 위한 방향을 제시한다.
- 개념적 토대: 신뢰는 AI 수용에 필수적이지만, trustworthiness는 technical ability를 의미하는 반면 신뢰는 reputation과 documentation 같은 비기술적 요인에서도 형성될 수 있다.AI 신뢰는 human–AI, AI–human, AI–AI 상호작용 전반에서 작동하며, 각 상호작용에는 공통적인 신뢰 요인을 넘어서는 요구사항이 있다.
- 신뢰 결정 요인: 신뢰를 이해하려면 각 응용 도메인에서 performance, explainability, transparency, compliance, ethics, bias, discrimination, privacy 간의 관계를 파악해야 한다.논의는 이러한 요인 간 관계에 대한 이해가 신뢰와 technology adoption을 향상하기 위해 충족되지 않은 과제라고 본다.
- 신뢰의 한계: 과도한 transparency는 악의적 사용자가 AI 시스템을 교란하도록 만들 수 있으며, 주요 AI 기업의 신뢰 훼손적 결정은 학계의 explainability 노력에도 불구하고 대중의 신뢰를 약화할 수 있다.논의는 신뢰가 상호적이라고 규정한다. 사용자는 AI를 신뢰해야 하고, AI 역시 사용자의 신뢰를 얻어야 한다.
- 신뢰의 한계: 공감은 신뢰를 형성할 수 있지만 private data를 요구하므로, empathic AI treatment와 voice imitation 같은 응용에서 privacy tradeoff가 발생한다.privacy 침해는 궁극적으로 공감이 처음 강화한 신뢰를 약화할 수 있다.
- 신뢰와 reliability: 신뢰는 주관적 확신인 반면 reliability는 객관적인 기능적 performance다. 따라서 persuasive design은 overtrust를 유발할 수 있으며, reliability만으로는 private-information sharing을 촉진하지 못할 수 있다.Fairness는 객관적 trustworthiness를 뒷받침할 수 있지만, perceived fairness에는 별도의 요구사항이 있으며 신뢰와도 양의 관계를 보인다.
- Accountability와 향후 방향: AI accountability는 시스템이 의사결정을 내리고 잠재적으로 설명을 제공하기 때문에 여전히 어렵지만, developers retain responsibility for accountability.신뢰 지표 역시 AI의 변화하는 행동, 문화적 의존성, questionnaire·survey·protocol의 한계로 인해 어려움에 직면한다. 향후 평가는 trust equity framework와 함께 empirical, psychophysiological, theoretical, multilevel 접근을 결합해야 한다.
5. 결론 및 향후 연구 방향
신뢰할 수 있는 AI에는 AI 관련, 인간 관련, 맥락 의존적 요인을 고려하는 포괄적이고 적응적인 거버넌스가 필요하다. 향후 연구는 보정된 신뢰, AI–AI 상호작용, 문화적·기술적 역동성, 그리고 문헌에서 충분히 다루지 않은 영역을 다뤄야 한다.
- 결론: AI에 대한 신뢰는 AI 이론, 로봇 설계, 인간–AI 상호작용, 그리고 설계자와 사용자를 위한 교육에 반영되어야 한다.이 문헌고찰은 신뢰 관련 요인을 AI 기술 개발을 위한 지표로 식별하면서도, 개별 지표만으로는 충분하지 않음을 지적한다.
- 향후 연구 방향: 포괄적 시스템은 알고리즘 개발을 모니터링하고, AI의 변화와 문화적 맥락의 차이에 따라 원칙을 갱신해야 한다.이러한 시스템은 새로운 기술적 또는 문화적 조건에 맞춰 원칙을 수정해야 할 때 입법자에게 이를 알려야 한다.
- 결론: 신뢰를 구축하려면 AI 관련, 인간 관련, 맥락 관련 요인을 평가해야 하며, 다양한 응용 분야에서 투명성, 설명가능성, 성능이 특히 중요하다.일부 응용 의존적·인간 관련 가치론적 요인은 AI의 근본적인 신뢰성을 향상시키지 않으면서도 신뢰를 높일 수 있다.
- 향후 연구 방향: 신뢰할 수 있는 기관이 감독하는 표준과 규정은 보정된 신뢰를 촉진하고, 기술 지식이 제한적인 사람들을 포함해 과도한 신뢰나 부족한 신뢰를 줄일 수 있다.이 문헌고찰은 고유한 특성을 지닌 AI–AI 상호작용에서 신뢰를 보정하는 모델에 연구 공백이 있음을 식별한다.
- 향후 연구 방향: Figure 7은 신뢰 의미론, 지표, 측정에 대한 관심이 고르지 않음을 보여주며, 연구가 드문 영역을 향후 연구의 유망한 주제로 남긴다.이 결론은 검토된 논문과 신뢰 관련 AI 연구의 네 가지 주요 부류에 대한 정량적 분석에 근거한다.