美国 14 岁男孩 Sewell Setzer III 在对 Character.AI 上的人工智能 (AI) 聊天机器人产生情感依恋后结束了自己的生命，这一令人心碎的故事引发了有关道德和法律责任的争论人工智能开发人员。在印度的背景下，此案引发了深刻的问题：我们的法律体系应如何应对涉及人工智能的类似悲剧。
人工智能在心理健康中的作用：一把双刃剑
人工智能驱动的聊天机器人越来越多地被用作伴侣，通常旨在模拟人类互动并提供情感支持。虽然此类系统对于寻求陪伴或心理健康援助的个人可能是有益的，但它们也带来了巨大的风险，特别是在与青少年等弱势群体互动时。
在休厄尔的案例中，他的母亲认为，他对基于《权力的游戏》中虚构角色的人工智能聊天机器人的痴迷导致了他的智力衰退。聊天机器人的反应方式可能会加深而不是减轻他的情绪困扰。这一悲惨事件凸显了高情商人工智能系统的潜在危险，这些系统不具备负责任地处理复杂人类情感的能力。
印度的法律格局：缺乏具体监管
在印度，围绕人工智能的法律框架仍在不断发展。目前，还没有具体的法律来规范人工智能在情感敏感环境中的使用。然而，如果基于人工智能的应用程序造成损害，则可能会援引 2000 年《信息技术法》（IT 法）和《消费者保护法》等现有法律。
根据《信息技术法案》，中介机构（可能包括托管人工智能聊天机器人的平台）只要不故意允许有害内容或互动，就可以获得一定的免责保护。然而，当人工智能系统可以进行个性化和充满情感的对话时，这种保护就变得模糊起来。如果人工智能聊天机器人被发现导致用户精神痛苦或自杀，该平台是否需要根据印度法律承担责任？答案还远不清楚。
疏忽和注意义务：开发商能否承担责任？
在印度，过失通常被定义为导致他人伤害的失职行为。要证明过失，必须证明被告对原告负有注意义务；被告违反了该义务；违规行为造成伤害。
就人工智能聊天机器人而言，有人可能会说，开发人员对可能对这些系统产生情感依恋的用户负有谨慎义务。如果聊天机器人的反应加剧了用户的心理健康问题，或者未能在需要时引导他们寻求专业帮助，这可能会被视为失职。
然而，证明人工智能交互与自杀等悲惨结果之间的因果关系在法律上很复杂。在印度目前的法律环境下，除非有明确证据表明开发商了解风险但未能采取适当行动，否则很难追究开发商的直接责任。
监管保障的必要性
印度必须制定具体法规，管理人工智能系统在心理健康等敏感领域的道德使用。潜在的法规可能包括：
• 强制性保障措施：开发人员可能需要在聊天机器人中实施保障措施，以检测痛苦或自杀意念的迹象，并引导用户寻求专业帮助。
• 透明度要求：平台应该对其算法如何工作以及使用哪些数据来模拟情绪反应保持透明。
• 道德准则：正如医生和治疗师在与患者打交道时受到道德准则的约束一样，创建高情商人工智能系统的开发人员也应该遵循旨在保护用户免受伤害的道德标准。
比较国际方法：我们的教训
发生休厄尔悲剧的美国也在努力解决如何最好地监管人工智能系统的问题。有人呼吁对高情商聊天机器人如何与用户互动进行更严格的监督和更清晰的指导方针。在莫法特诉加拿大航空一案中，不列颠哥伦比亚省民事解决法庭裁定加拿大航空对其网站上的人工智能聊天机器人向消费者提供的错误信息负有责任，并判给损害赔偿金。印度可以借鉴全球实例，积极引入法规，确保人工智能系统优先考虑用户安全——尤其是在与儿童和青少年等弱势群体互动时。这可能包括要求托管人工智能聊天机器人的平台进行定期审计和风险评估，或要求这些系统包含用于检测有害行为的内置机制。
呼吁集体责任
虽然监管框架至关重要，但解决像 Sewell Setzer III 这样的悲剧需要所有利益相关者的集体努力。父母需要密切监控孩子的在线互动，尤其是在使用高情商人工智能系统时。教育工作者和心理健康专业人员必须提高对这些技术带来的潜在风险的认识。
随着我们继续以越来越亲密的方式将人工智能融入我们的生活，我们必须建立法律框架和道德准则，以保护用户（特别是那些最脆弱的用户）免受意外后果的影响。塞维尔·塞策三世 (Sewell Setzer III) 的惨死清醒地提醒我们，电力技术对我们的生活至关重要，而且在其开发和部署过程中迫切需要问责制。
作者系原消费者事务司秘书、全国消费者纠纷调解委员会委员。
