تبعیض الگوریتمی چیست و قانون ایران چه حمایتی دارد؟
وقتی الگوریتم در استخدام، وام یا خدمات عمومی میان افراد تبعیض قائل میشود، چه حقی دارید؟ تبعیض الگوریتمی از نگاه حقوق ایران.
تحریریه آرتیلا · ۱۴۰۵/۰۷/۰۹
این مقاله در حال بازبینی حقوقی است.
تبعیض الگوریتمی یعنی وضعیتی که یک سامانه خودکار یا هوش مصنوعی، هنگام تصمیم‌گیری درباره افراد (مثلاً پذیرش درخواست وام، انتخاب داوطلب استخدام، تعیین قیمت بیمه یا اولویت دریافت خدمات)، بدون دلیل موجه با گروهی از مردم بدتر از دیگران رفتار کند؛ مثلاً به‌خاطر جنسیت، قومیت، سن، محل سکونت یا معلولیت. این تبعیض معمولاً عمدی نیست و از داده‌های آموزشی سوگیرانه، طراحی نادرست یا متغیرهایی ناشی میشود که به‌طور غیرمستقیم نماینده ویژگی‌های حساس هستند. در ایران قانون خاصی با عنوان تبعیض الگوریتمی وجود ندارد، اما اصول قانون اساسی و برخی قوانین عادی، مبنای حمایت از افراد را فراهم می‌کنند.
الگوریتم چطور تبعیض قائل میشود؟
داده‌های سوگیرانه
هوش مصنوعی از گذشته یاد می‌گیرد. اگر در گذشته یک شرکت عمدتاً مردان را برای یک شغل استخدام کرده باشد، الگوریتمی که با سوابق همان شرکت آموزش ببیند، ممکن است یاد بگیرد که «مرد بودن» نشانه موفقیت است و رزومه زنان را پایین‌تر رتبه‌بندی کند.
متغیرهای جانشین
حتی اگر جنسیت یا قومیت از داده‌ها حذف شود، متغیرهایی مثل کد پستی، نام مدرسه، زبان نوشتاری یا الگوی خرید ممکن است به‌طور غیرمستقیم همان ویژگی‌ها را نشان دهند. نتیجه این است که ساکنان یک منطقه کم‌برخوردار، مثلاً در اعتبارسنجی بانکی، به‌طور نظام‌مند امتیاز کمتری بگیرند.
نبود شفافیت
بسیاری از مدل‌ها «جعبه سیاه» هستند. فردی که درخواستش رد شده، معمولاً نمی‌داند دلیل آن چه بوده و آیا تصمیم را انسان گرفته یا ماشین. همین عدم شفافیت، اعتراض و اثبات تبعیض را دشوار می‌کند.
نمونه‌های رایج در زندگی روزمره
- اعتبارسنجی و وام: سامانه‌های رتبه‌بندی اعتباری که سقف وام یا امکان خرید اقساطی را تعیین می‌کنند.
- استخدام: نرم‌افزارهای غربالگری رزومه و مصاحبه ویدئویی خودکار.
- بیمه: قیمت‌گذاری پویا بر اساس داده‌های رفتاری.
- پلتفرم‌های اقتصاد اشتراکی: تخصیص سفر یا سفارش به رانندگان و پیک‌ها و تعیین درآمد آن‌ها.
- خدمات عمومی: اولویت‌بندی دریافت یارانه، خدمات درمانی یا تشخیص تخلف.
- تشخیص چهره: خطای بیشتر برای برخی گروه‌های جمعیتی، که در مقاله حریم خصوصی بیومتریک بیشتر بررسی شده است.
چارچوب حقوقی در ایران
اصول قانون اساسی
اصل ۱۹ قانون اساسی می‌گوید مردم ایران از هر قوم و قبیله که باشند از حقوق مساوی برخوردارند و رنگ، نژاد، زبان و مانند این‌ها سبب امتیاز نخواهد بود. اصل ۲۰ همه افراد ملت، اعم از زن و مرد، را یکسان در حمایت قانون قرار می‌دهد. اصل ۴۰ نیز تصریح می‌کند هیچ‌کس نمی‌تواند اعمال حق خویش را وسیله اضرار به غیر یا تجاوز به منافع عمومی قرار دهد. این اصول مستقیماً درباره الگوریتم نیستند، اما برای دستگاه‌های دولتی که از سامانه‌های خودکار استفاده می‌کنند، معیار مشروعیت به شمار می‌روند و می‌توانند مبنای شکایت در دیوان عدالت اداری علیه تصمیم‌ها یا مقررات تبعیض‌آمیز دستگاه‌های عمومی باشند.
قانون کار
ماده ۳۸ قانون کار پرداخت مزد مساوی به زن و مرد برای کار مساوی در شرایط مساوی را الزامی می‌داند و تبعیض در تعیین مزد بر اساس سن، جنس، نژاد، قومیت و اعتقادات سیاسی و مذهبی را ممنوع می‌کند. اگر کارفرمایی از الگوریتمی برای تعیین دستمزد یا پاداش استفاده کند که چنین نتیجه‌ای داشته باشد، استفاده از نرم‌افزار او را از مسئولیت معاف نمی‌کند.
قانون ملی توسعه هوش مصنوعی
قانون ملی توسعه هوش مصنوعی در بند «ح» ماده ۱، هنگام تعریف «مخاطره» سامانه‌ها، به مواردی مانند حقوق و آزادی‌های مشروع، حریم خصوصی، «رتبه‌بندی و برچسب‌زنی افراد»، اشتغال و «دسترسی عادلانه به خدمات عمومی» اشاره می‌کند. این یعنی سامانه‌هایی که افراد را رتبه‌بندی می‌کنند، احتمالاً در سطح‌بندی مخاطره جدی‌تر گرفته خواهند شد. با این حال، جزئیات و ضمانت اجرا به آیین‌نامه ماده ۷ این قانون موکول شده است.
قواعد عمومی مسئولیت مدنی
اگر تصمیم تبعیض‌آمیز یک الگوریتم موجب ضرر مالی شود، مثلاً فرصت شغلی یا مالی بدون دلیل موجه از دست برود، ماده ۱ قانون مسئولیت مدنی که لطمه به «حق» دیگری در نتیجه بی‌احتیاطی را موجب مسئولیت می‌داند، می‌تواند مبنای مطالبه خسارت باشد. البته اثبات رابطه سببیت و میزان ضرر در عمل دشوار است.
چالش‌های اثبات
بزرگ‌ترین مانع، اثبات است. فرد معمولاً فقط تصمیم نهایی را می‌بیند. برای اثبات تبعیض باید نشان داد که الگوی تصمیم‌ها به ضرر یک گروه است، که این کار به دسترسی به داده‌ها و کارشناسی آماری نیاز دارد. در برخی نظام‌های حقوقی، مانند مقررات حمایت از داده اتحادیه اروپا، افراد حق دارند در برابر تصمیم‌های صرفاً خودکار با اثر مهم، مداخله انسانی و توضیح بخواهند. در ایران چنین حقی هنوز به‌صراحت در قانون نیامده است، هرچند در لایحه حمایت از داده‌های شخصی مباحث مشابهی مطرح بوده است.
تبعیض مستقیم و غیرمستقیم: تفاوت مهم
در ادبیات حقوقی میان دو نوع تبعیض فرق گذاشته میشود. تبعیض مستقیم زمانی است که سامانه آشکارا بر اساس یک ویژگی حساس تصمیم بگیرد؛ مثلاً الگوریتمی که به‌صراحت به متقاضیان بالای یک سن امتیاز منفی بدهد. تبعیض غیرمستقیم زمانی است که معیار ظاهراً بی‌طرف باشد، اما در عمل گروه خاصی را به‌طور نامتناسب کنار بگذارد؛ مثلاً شرط «سابقه کار پیوسته» که زنانی را که مدتی برای مراقبت از فرزند از کار فاصله گرفته‌اند حذف کند. بیشتر موارد تبعیض الگوریتمی از نوع دوم است و به همین دلیل، بررسی «نتیجه» تصمیم‌ها، نه فقط «معیارهای اعلام‌شده»، اهمیت دارد. یک معیار بی‌طرف تنها وقتی موجه است که به هدفی مشروع مرتبط باشد و راه کم‌ضررتری برای رسیدن به آن هدف وجود نداشته باشد.
توصیه‌ها برای کسب‌وکارها
- پیش از استفاده از مدل در تصمیم‌های مهم، نتایج آن را برای گروه‌های مختلف آزمایش کنید.
- متغیرهایی را که می‌توانند جانشین ویژگی‌های حساس باشند شناسایی و کنترل کنید.
- برای تصمیم‌های مهم، امکان بازبینی انسانی و اعتراض فراهم کنید.
- دلایل اصلی تصمیم را به زبان ساده به کاربر توضیح دهید.
- همه آزمون‌ها و اصلاحات را مستند کنید تا در صورت اختلاف، حسن نیت خود را اثبات کنید.
برای طراحی سیاست‌های داخلی و قراردادهای مرتبط، می‌توانید از مشاوران آرتیلا کمک بگیرید.
اگر قربانی تبعیض الگوریتمی شدید
- از ارائه‌دهنده کتباً بخواهید دلیل تصمیم و نقش سامانه خودکار را توضیح دهد.
- اگر طرف مقابل دستگاه دولتی است، امکان شکایت در دیوان عدالت اداری را بررسی کنید.
- در روابط کاری، اداره کار و مراجع حل اختلاف کار را در نظر بگیرید.
- در صورت ورود ضرر مالی، با وکیل درباره دعوای مطالبه خسارت مشورت کنید.
نکات کلیدی
- تبعیض الگوریتمی معمولاً عمدی نیست و از داده‌های سوگیرانه یا متغیرهای جانشین ناشی میشود.
- ایران قانون خاصی درباره تبعیض الگوریتمی ندارد، اما اصول ۱۹ و ۲۰ قانون اساسی برابری در حقوق را تضمین می‌کنند.
- طبق ماده ۳۸ قانون کار، تبعیض در تعیین مزد بر اساس جنس، سن، نژاد یا قومیت ممنوع است، حتی اگر الگوریتم آن را تعیین کند.
- قانون ملی توسعه هوش مصنوعی رتبه‌بندی و برچسب‌زنی افراد را از عوامل سنجش مخاطره سامانه‌ها دانسته است.
- استفاده از نرم‌افزار، کارفرما یا ارائه‌دهنده خدمات را از مسئولیت تصمیم‌های تبعیض‌آمیز معاف نمی‌کند.
سوالات متداول
آیا تبعیض الگوریتمی در ایران جرم است؟
عنوان مجرمانه مستقلی با این نام وجود ندارد. اما بسته به مورد، ممکن است نقض قانون کار، تخلف اداری یا مبنای مسئولیت مدنی باشد.
آیا حق دارم بدانم تصمیم درباره من را ماشین گرفته است؟
قانون ایران فعلاً چنین حقی را به‌صراحت پیش‌بینی نکرده است، اما می‌توانید کتباً توضیح بخواهید و در دعاوی، این اطلاعات از طریق کارشناسی قابل پیگیری است.
اگر بانک با امتیاز اعتباری وامم را رد کند، می‌توانم اعتراض کنم؟
می‌توانید از بانک بخواهید دلیل و مبنای امتیاز را اعلام کند و در صورت وجود اطلاعات نادرست، اصلاح آن را بخواهید. مراجع نظارتی بانکی نیز برای شکایت در دسترس هستند.
کسب‌وکارها چطور از اتهام تبعیض الگوریتمی جلوگیری کنند؟
با آزمون منظم نتایج مدل برای گروه‌های مختلف، امکان بازبینی انسانی، شفافیت درباره معیارها و مستندسازی اقدامات اصلاحی.
آیا قانون جدید هوش مصنوعی ایران تبعیض را ممنوع کرده است؟
این قانون ممنوعیت صریحی ندارد، اما دسترسی عادلانه و رتبه‌بندی افراد را در تعریف مخاطره سامانه‌ها آورده و جزئیات را به آیین‌نامه سپرده است.