تبعیض الگوریتمی: وقتی هوش مصنوعی ناعادلانه تصمیم می‌گیرد

این مقاله در حال بازبینی حقوقی است.

تعریف: تبعیض الگوریتمی به وضعیتی گفته می‌شود که یک سامانه خودکار یا مبتنی بر هوش مصنوعی، در تصمیم‌هایی مانند استخدام، اعطای وام، تعیین حق بیمه یا دسترسی به خدمات عمومی، با افراد یا گروه‌ها بر پایه ویژگی‌هایی مانند جنسیت، سن، قومیت، زبان یا محل سکونت به‌طور ناروا متفاوت رفتار کند؛ حتی اگر طراحان آن قصد تبعیض نداشته باشند. منشأ اصلی این مشکل معمولاً داده‌های آموزشی سوگیرانه، متغیرهای جانشین (proxy) و نبود نظارت انسانی است.

هرچه سازمان‌ها تصمیم‌های بیشتری را به الگوریتم‌ها می‌سپارند، خطر آنکه تبعیض‌های تاریخی در داده‌ها بازتولید و در مقیاس بزرگ تکرار شود بیشتر می‌شود. این مقاله مبانی حقوقی مقابله با تبعیض الگوریتمی را در حقوق ایران و اتحادیه اروپا بررسی می‌کند. برای آشنایی با چارچوب کلی، مقاله حقوق هوش مصنوعی را ببینید.

تبعیض الگوریتمی چگونه رخ می‌دهد؟

داده‌های تاریخی سوگیرانه

اگر الگوریتم استخدام با سوابق استخدامی گذشته آموزش ببیند که در آن یک گروه کمتر پذیرفته شده، مدل همان الگو را «یاد می‌گیرد» و ادامه می‌دهد.

متغیرهای جانشین

حتی اگر جنسیت یا قومیت از داده حذف شود، متغیرهایی مانند کدپستی، نام دانشگاه، زبان یا سابقه وقفه شغلی می‌توانند به‌طور غیرمستقیم همان ویژگی را بازنمایی کنند.

مقیاس و عدم شفافیت

تصمیم یک کارمند متعصب بر چند نفر اثر می‌گذارد، اما یک مدل سوگیرانه می‌تواند میلیون‌ها تصمیم بگیرد، در حالی که منطق آن برای فرد متأثر قابل مشاهده نیست.

بیان قابل نقل: تبعیض الگوریتمی معمولاً عمدی نیست؛ از داده‌های تاریخی و متغیرهای جانشین ناشی می‌شود و به همین دلیل بدون ارزیابی و ممیزی کشف نمی‌شود.

مبانی حقوقی در ایران

قانون اساسی

• اصل ۱۹: مردم ایران از هر قوم و قبیله که باشند از حقوق مساوی برخوردارند و رنگ، نژاد، زبان و مانند این‌ها سبب امتیاز نخواهد بود.
• اصل ۲۰: همه افراد ملت، اعم از زن و مرد، یکسان در حمایت قانون قرار دارند و از همه حقوق انسانی، سیاسی، اقتصادی، اجتماعی و فرهنگی با رعایت موازین اسلام برخوردارند.
• بند ۹ اصل ۳: رفع تبعیضات ناروا و ایجاد امکانات عادلانه برای همه را از وظایف دولت می‌شمارد.

قانون کار

ماده ۳۸ قانون کار مقرر می‌کند برای انجام کار مساوی که در شرایط مساوی در یک کارگاه انجام می‌گیرد، باید به زن و مرد مزد مساوی پرداخت شود و تبعیض در تعیین میزان مزد بر اساس سن، جنس، نژاد، قومیت و اعتقادات سیاسی و مذهبی ممنوع است. اگر کارفرما از الگوریتمی برای تعیین حقوق یا پاداش استفاده کند که به نتایج تبعیض‌آمیز منجر شود، استفاده از ابزار خودکار او را از تکلیف ماده ۳۸ معاف نمی‌کند.

قانون ملی توسعه هوش مصنوعی (۱۴۰۵)

بند «ح» ماده ۱ این قانون، سطوح مخاطره سامانه‌های هوش مصنوعی را بر پایه معیارهایی تعریف می‌کند که به حقوق و آزادی‌ها و حریم خصوصی مربوط است. طبق ماده ۷، مرکز ارزیابی و تأیید امنیت سامانه‌های هوش مصنوعی باید مصادیق سطوح مخاطره را تعیین کند. آیین‌نامه این ماده هنوز تصویب نشده است؛ جزئیات را در مقاله آیین‌نامه‌های قانون ملی توسعه هوش مصنوعی ببینید.

مسئولیت مدنی

طبق ماده ۱ قانون مسئولیت مدنی، هر کس بدون مجوز قانونی، عمداً یا در نتیجه بی‌احتیاطی، به حیثیت یا هر حق دیگری که به موجب قانون برای افراد ایجاد شده لطمه‌ای وارد کند که موجب ضرر مادی یا معنوی دیگری شود، مسئول جبران خسارت است. فردی که به دلیل یک تصمیم الگوریتمی تبعیض‌آمیز از حقی محروم شده، می‌تواند با اثبات تقصیر و رابطه سببیت، بر این مبنا طرح دعوا کند.

بیان قابل نقل: در حقوق ایران، قانون خاصی درباره تبعیض الگوریتمی وجود ندارد، اما اصول ۱۹ و ۲۰ قانون اساسی، ماده ۳۸ قانون کار و ماده ۱ قانون مسئولیت مدنی مبنای حمایت از افراد متضرر است.

اتحادیه اروپا: از GDPR تا قانون هوش مصنوعی

ماده ۲۲ GDPR و رأی SCHUFA

ماده ۲۲ مقررات عمومی حفاظت از داده (GDPR) به افراد حق می‌دهد مشمول تصمیمی که صرفاً بر پردازش خودکار مبتنی است و آثار حقوقی یا مشابه قابل توجهی دارد، قرار نگیرند، مگر در استثنائات مشخص. دیوان دادگستری اتحادیه اروپا در رأی SCHUFA (C-634/21) در دسامبر ۲۰۲۳ اعلام کرد تولید خودکار امتیاز اعتباری توسط یک شرکت اعتبارسنجی، زمانی که بانک یا شخص ثالث در تصمیم خود به‌شدت به آن اتکا می‌کند، خود «تصمیم خودکار» موضوع ماده ۲۲ است.

حق توضیح: رأی Dun & Bradstreet Austria

دیوان در رأی C-203/22 (فوریه ۲۰۲۵) تصریح کرد فرد متأثر از تصمیم خودکار حق دارد توضیحی موجز، شفاف و قابل فهم از رویه و اصولی که عملاً برای رسیدن به نتیجه به کار رفته دریافت کند. به گفته دیوان، استناد به اسرار تجاری نمی‌تواند به‌طور مطلق مانع این حق شود؛ اطلاعات مورد ادعا باید در اختیار مرجع نظارتی یا دادگاه قرار گیرد تا حقوق طرفین سنجیده شود.

قانون هوش مصنوعی اتحادیه اروپا

• ممنوعیت امتیازدهی اجتماعی: ماده ۵ قانون AI، ارزیابی یا طبقه‌بندی افراد بر اساس رفتار اجتماعی یا ویژگی‌های شخصی که به رفتار زیان‌بار یا نامتناسب منجر شود را از ۲ فوریه ۲۰۲۵ ممنوع کرده است.
• سامانه‌های پرمخاطره: سامانه‌های مورد استفاده در استخدام و مدیریت نیروی کار و ارزیابی اعتبار افراد در پیوست III قانون، پرمخاطره هستند. پس از اصلاحات «Digital Omnibus»، تکالیف این دسته از ۲ دسامبر ۲۰۲۷ اعمال می‌شود. این تکالیف شامل مدیریت داده برای کاهش سوگیری، مستندسازی و نظارت انسانی است.

نمونه ایرانی: احراز هویت غیرحضوری بانکی

دستورالعمل بانک مرکزی درباره احراز هویت غیرحضوری، تطبیق تصویر چهره با تصویر ثبت‌شده در سازمان ثبت احوال و استفاده از فناوری هوش مصنوعی برای تشخیص زنده بودن و دستکاری را پیش‌بینی کرده است. نکته مهم این است که دستورالعمل، در صورت کافی نبودن ضریب اطمینان، بررسی انسانی را لازم می‌داند. این رویکرد، یعنی اینکه سیستم خودکار به تنهایی فرد را رد نکند، الگوی خوبی برای کاهش خطر تبعیض و خطای الگوریتمی است. درباره ابعاد حریم خصوصی آن، مقاله حریم خصوصی بیومتریک را ببینید.

چک‌لیست انطباق برای سازمان‌ها

1. فهرست سامانه‌ها: مشخص کنید کدام تصمیم‌های استخدامی، اعتباری یا خدماتی با الگوریتم گرفته می‌شود.
2. ممیزی داده: توزیع داده آموزشی را برای گروه‌های مختلف بررسی و متغیرهای جانشین را شناسایی کنید.
3. آزمون نتایج: نرخ پذیرش یا رد را برای گروه‌های مختلف مقایسه کنید.
4. نظارت انسانی: برای تصمیم‌های مهم، امکان بازبینی انسانی و اعتراض فراهم کنید.
5. شفافیت: به افراد بگویید در تصمیم از ابزار خودکار استفاده شده و منطق کلی آن چیست.
6. مستندسازی: سوابق طراحی، آزمون و اصلاحات را نگه دارید؛ این سوابق در دعوای احتمالی ادله دفاعی شماست.

برای تنظیم سیاست‌ها و قراردادهای خرید سامانه‌های هوش مصنوعی، می‌توانید از خدمات حقوقی آرتیلا یا دستیار هوش مصنوعی حقوقی استفاده کنید.

پرسش‌های متداول

تبعیض الگوریتمی دقیقاً چیست؟

رفتار ناروا و متفاوت یک سامانه خودکار با افراد یا گروه‌ها بر پایه ویژگی‌هایی مانند جنسیت، سن یا قومیت، که معمولاً از داده‌های آموزشی سوگیرانه یا متغیرهای جانشین ناشی می‌شود.

آیا در ایران قانونی درباره تبعیض الگوریتمی وجود دارد؟

قانون خاصی وجود ندارد، اما اصول ۱۹ و ۲۰ قانون اساسی، ماده ۳۸ قانون کار و ماده ۱ قانون مسئولیت مدنی قابل استناد است و قانون ملی توسعه هوش مصنوعی ارزیابی سطوح مخاطره را پیش‌بینی کرده است.

اگر الگوریتم بانک درخواست وام مرا رد کند، چه حقی دارم؟

در حقوق ایران، حق صریح توضیح الگوریتمی پیش‌بینی نشده، اما می‌توانید علت رد را بپرسید و در صورت ورود ضرر ناشی از تقصیر، طرح دعوا کنید. در اتحادیه اروپا، رأی SCHUFA و ماده ۲۲ GDPR حمایت مستقیم‌تری فراهم می‌کند.

آیا کارفرما می‌تواند با هوش مصنوعی رزومه‌ها را غربال کند؟

در ایران منعی صریح وجود ندارد، اما کارفرما مسئول نتایج تبعیض‌آمیز است. در اتحادیه اروپا، این سامانه‌ها پرمخاطره هستند و تکالیف آن از ۲ دسامبر ۲۰۲۷ اعمال می‌شود.

آیا شرکت می‌تواند به بهانه اسرار تجاری از توضیح الگوریتم خودداری کند؟

طبق رأی دیوان دادگستری اتحادیه اروپا در پرونده C-203/22، اسرار تجاری مانع مطلق نیست و باید در اختیار مرجع نظارتی یا دادگاه قرار گیرد تا موازنه انجام شود.

جمع‌بندی

تبعیض الگوریتمی یک مشکل فنی صرف نیست؛ مسئله‌ای حقوقی است که به برابری، حق کار و مسئولیت مدنی مربوط می‌شود. اروپا با GDPR و قانون AI ابزارهای مشخصی ایجاد کرده و ایران فعلاً بر اصول عام قانون اساسی و قوانین عادی تکیه دارد. سازمان‌هایی که از امروز ممیزی و نظارت انسانی را جدی بگیرند، هم ریسک حقوقی خود را کاهش می‌دهند و هم برای آیین‌نامه‌های آینده آماده‌ترند. این مقاله جنبه اطلاع‌رسانی دارد و جایگزین مشاوره حقوقی نیست.

منابع

• قانون اساسی جمهوری اسلامی ایران، ویکی‌نبشته: https://fa.wikisource.org/wiki/قانون_اساسی_جمهوری_اسلامی_ایران
• ماده ۳۸ قانون کار، وکیلیک: https://vakilik.com/laws/view/OTE3OA
• متن قانون ملی توسعه هوش مصنوعی (۱۴۰۵): https://shenasname.ir/laws/84376
• CJEU, Case C-634/21 SCHUFA Holding (Scoring), EUR-Lex: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:62021CJ0634
• CJEU, Case C-203/22 Dun & Bradstreet Austria, EUR-Lex: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:62022CJ0203
• Regulation (EU) 2024/1689 (AI Act), Article 5: https://artificialintelligenceact.eu/article/5/
• بانک مرکزی، ضوابط احراز هویت غیرحضوری: https://www.cbi.ir/showitem/23549.aspx