فرض کنید نیلوفر، دانشجوی سال آخر، شب قبل از تحویل پایان‌نامه از هوش مصنوعی می‌خواهد پنج منبع علمی دربارهٔ موضوعش معرفی کند. جواب عالی به نظر می‌رسد: اسم نویسنده‌ها، عنوان مقاله‌ها، سال انتشار، حتی نام مجله. همه را در فهرست منابعش می‌گذارد. یک هفته بعد استاد راهنما صدایش می‌کند: «سه‌تا از این مقاله‌ها اصلاً وجود ندارند.»
نیلوفر دروغ نگفته بود. هوش مصنوعی هم — به معنای واقعی کلمه — دروغ نگفته بود. اما نتیجه همان شد. این فصل دربارهٔ همین دام‌هاست: اینکه هوش مصنوعی کجا اشتباه می‌کند، چرا اشتباه می‌کند، و شما چطور می‌توانید پیش از آنکه اشتباهش گران تمام شود، گیرش بیندازید. نگران نباشید؛ قرار نیست از هوش مصنوعی بترسید. قرار است مثل یک رانندهٔ باتجربه، جاده‌های لغزنده را بشناسید.
توهم: وقتی هوش مصنوعی با اطمینان اشتباه می‌کند
در پیشگفتار گفتیم به این پدیده توهم (Hallucination) می‌گویند: هوش مصنوعی چیزی را که درست نیست، با همان لحن مطمئن و روانی می‌گوید که حرف درست را می‌گوید. برای اینکه بفهمید چرا، باید کمی سر از کار این ابزارها دربیاوریم — به ساده‌ترین شکل ممکن.
چرا اتفاق می‌افتد؟
صفحه‌کلید گوشی‌تان را در نظر بگیرید. وقتی تایپ می‌کنید «سلام، حالت»، کلمهٔ «چطوره» را پیشنهاد می‌دهد. چرا؟ چون این دو کلمه را بارها کنار هم دیده است. مدل‌های زبانی، در اصل نسخهٔ بسیار بسیار پیشرفته‌تر همین کارند: با خواندن حجم عظیمی از متن یاد گرفته‌اند که بعد از هر جمله، محتمل‌ترین ادامه چیست.
نکتهٔ کلیدی همین است: مدل یاد گرفته متن‌ها چه شکلی دارند، نه اینکه یک جدول از حقایق درست در حافظه‌اش باشد. بیشتر وقت‌ها محتمل‌ترین جواب، همان جواب درست است؛ چون حرف درست در متن‌هایی که خوانده بارها تکرار شده. اما وقتی دربارهٔ موضوعی اطلاعات کافی ندارد، دستگاه از کار نمی‌افتد. همچنان «محتمل‌ترین شکل» یک جواب را می‌سازد. اگر از او منبع خواسته باشید، چیزی می‌سازد که شبیه منبع است: اسم نویسنده، عنوان، سال، نام مجله. و مشکل اینجاست که خودش هم نمی‌داند که نمی‌داند.
یک تشبیه آشنا: دانش‌آموزی را تصور کنید که سر امتحان شفاهی، درس را نخوانده اما خیلی خوش‌صحبت است. با اعتمادبه‌نفس و جمله‌های درست‌وحسابی حرف می‌زند و اگر ممتحن خودش موضوع را خوب نداند، قانع می‌شود. درس اصلی این فصل در یک جمله: روان بودن متن، نشانهٔ درست بودنش نیست.
مدل‌های جدیدتر، به‌خصوص وقتی به جستجوی وب وصل‌اند، کمتر دچار توهم می‌شوند و این ابزارها مرتب بهتر می‌شوند. اما در زمان نگارش این کتاب، هیچ‌کدام به نقطهٔ «بدون خطا» نرسیده‌اند.
نمونه‌های رایج توهم
- منابع ساختگی: مقاله، کتاب یا لینکی که وجود ندارد؛ یا نویسنده‌ای واقعی با مقاله‌ای که هرگز ننوشته؛ یا لینکی که به صفحه‌ای بی‌ربط می‌رود. این شایع‌ترین دام دانشجوهاست.
- عدد و آمار اشتباه: جمعیت یک شهر، سال یک رویداد، درصد رشد یک بازار. عددهایی که خیلی دقیق به نظر می‌رسند (مثل «۳۷٫۴ درصد») ولی هیچ منبعی پشتشان نیست.
- قانون ساختگی یا قدیمی: شمارهٔ مادهٔ قانونی که وجود ندارد، جمله‌ای که به قانون نسبت داده می‌شود ولی در آن نیامده، یا قانونی که سال‌ها پیش اصلاح شده است.
- نقل‌قول جعلی: جمله‌ای که به یک آدم مشهور نسبت داده می‌شود. همان‌طور که در فضای مجازی شعرهایی به اسم حافظ و سعدی دست‌به‌دست می‌شود که مال آن‌ها نیست، هوش مصنوعی هم ممکن است شعری را به شاعر اشتباهی نسبت بدهد یا بیتی را غلط نقل کند.
- اطلاعات محلی: آدرس و ساعت کاری یک مغازه، خدمات یک شرکت کوچک یا سوابق کسی که چندان مشهور نیست.
- راهنمای نرم‌افزار: مسیر منوها و دکمه‌هایی که در نسخهٔ فعلی یک برنامه دیگر وجود ندارد، چون ظاهر برنامه عوض شده است.
چرا سؤال‌های حقوقی ایران پرخطرترند؟
یکی از پرخطرترین جاها برای توهم، سؤال‌های حقوقی مربوط به قوانین ایران است. چند دلیل ساده دارد:
- ۱متن‌های فارسی دربارهٔ قوانین ایران، در مقایسه با متن‌های انگلیسی که این مدل‌ها با آن‌ها آموزش دیده‌اند، بسیار کم است. پس مدل این حوزه را کمتر می‌شناسد.
- ۲قانون‌ها، آیین‌نامه‌ها و بخشنامه‌ها مرتب تغییر می‌کنند و مدل ممکن است نسخهٔ قدیمی را بشناسد.
- ۳ممکن است قوانین کشورهای دیگر را با قوانین ایران قاطی کند و جوابی بدهد که «حقوقی» به نظر می‌رسد، اما مال یک نظام حقوقی دیگر است.
- ۴جواب درست حقوقی به جزئیاتی بستگی دارد — متن دقیق قرارداد، تاریخ‌ها، رویهٔ دادگاه‌ها — که مدل از آن‌ها خبر ندارد.
راستی‌آزمایی جواب‌ها در ۳ قدم
اگر قرار باشد تک‌تک کلمه‌های هر جواب را چک کنید، اصلاً چه فایده‌ای دارد که از هوش مصنوعی کمک بگیرید؟ خبر خوب اینکه لازم نیست. فقط باید بدانید چه چیزی را و چقدر چک کنید. این سه قدم را به خاطر بسپارید: جدا کنید، دوباره بپرسید، از بیرون تأیید بگیرید.
قدم اول: ادعاهای قابل بررسی را جدا کنید
همهٔ یک جواب، درست یا غلط‌بردار نیست. ایده‌ها، پیشنهادها و متن‌های خلاقانه درست و غلط ندارند؛ فقط خوب یا بد دارند. اما بعضی جمله‌ها ادعا هستند و می‌شود بررسی‌شان کرد: عدد، تاریخ، اسم، نقل‌قول، قانون و منبع. اول همین‌ها را پیدا کنید. حتی می‌توانید از خود هوش مصنوعی کمک بگیرید:
در جواب قبلی‌ات، همهٔ ادعاهای قابل بررسی را (عدد، تاریخ، نام، قانون، نقل‌قول و منبع) در یک فهرست بنویس. کنار هر کدام بگو چقدر به آن مطمئنی و من از کجا می‌توانم چکش کنم.
یادتان باشد که ارزیابی خود مدل از «میزان اطمینانش» هم کاملاً قابل اعتماد نیست. اما همین فهرست، یک چک‌لیست آماده برای قدم‌های بعدی به شما می‌دهد.
قدم دوم: دوباره بپرسید، این بار از زاویهٔ دیگر
- یک گفتگوی تازه باز کنید و همان سؤال را با کلمه‌های دیگری بپرسید. در گفتگوی قبلی، مدل تمایل دارد حرف قبلی‌اش را تکرار کند.
- از ابزار دیگری بپرسید. حالا که در فصل هشتم با شخصیت هر سه ابزار آشنا شدید، از این تنوع استفاده کنید.
- مستقیم منبع بخواهید: «برای این ادعا منبع داری؟ اگر منبع مطمئنی نداری، صریح بگو.»
اگر دو جواب در یک نکتهٔ کلیدی با هم فرق داشتند، این یک چراغ قرمز است: دست‌کم یکی‌شان اشتباه است. اما برعکسش را هم بدانید: اینکه دو مدل یک حرف را بزنند، دلیل درستی آن نیست؛ ممکن است هر دو یک اشتباه را از یک جا یاد گرفته باشند. این قدم یک صافی است، نه حکم نهایی.
قدم سوم: از بیرون تأیید بگیرید
حرف آخر را باید منبعی بیرون از هوش مصنوعی بزند:
- منابع علمی: عنوان مقاله را در گوگل یا گوگل اسکالر (Google Scholar) جستجو کنید. ببینید وجود دارد، نویسنده و سالش همان است و واقعاً همان حرف را می‌زند.
- عدد و آمار: سراغ منابع رسمی آمار و رسانه‌های معتبر بروید.
- قانون: متن قانون را در منابع رسمی قوانین و مقررات پیدا کنید و در صورت لزوم از وکیل بپرسید.
- لینک: رویش کلیک کنید و با کلیدهای Ctrl و F دنبال عدد یا جملهٔ ادعاشده بگردید.
- نقل‌قول: عین جمله را داخل گیومه جستجو کنید تا ببینید واقعاً از چه کسی است.
اما چقدر باید وقت بگذارید؟ بستگی دارد اشتباه چقدر برایتان گران تمام شود:
| اهمیت | مثال | چه کار کنید |
|---|---|---|
| کم | ایدهٔ کپشن، اسم برای کسب‌وکار، متن تبریک | لازم نیست چک کنید؛ اگر خوشتان آمد استفاده کنید |
| متوسط | گزارش کاری، تحقیق دانشجویی، متن تبلیغاتی همراه با عدد | عددها، اسم‌ها و منابع را با جستجو چک کنید |
| زیاد | تصمیم پزشکی، حقوقی، مالی یا خرید ملک | جواب را فقط برای آشنایی بخوانید و تصمیم را با متخصص بگیرید |
محدودیت‌های دیگر
توهم معروف‌ترین دام است، اما تنها دام نیست. پنج محدودیت دیگر را هم بشناسید.
تاریخ انقضای دانش
هر مدل با متن‌هایی آموزش دیده که تا یک تاریخ مشخص جمع شده‌اند. به این تاریخ تاریخ قطع دانش (Knowledge Cutoff) می‌گویند. مدل را مثل کسی تصور کنید که برای یک سفر طولانی به جایی بی‌اینترنت رفته؛ هر اتفاقی که بعد از رفتنش افتاده، از آن خبر ندارد.
پس سؤال دربارهٔ نرخ ارز، قیمت‌های امروز، قانون تازه، خبرهای اخیر یا نسخه‌های جدید یک محصول، اگر جستجوی وب فعال نباشد، احتمالاً جواب کهنه می‌گیرد — و مدل همیشه هم نمی‌گوید که اطلاعاتش کهنه است. حتی ممکن است تاریخ قطع دانش خودش را دقیق نداند. راه‌حل: برای هر چیزی که با زمان عوض می‌شود، جستجو را فعال کنید، تاریخ اطلاعات را بخواهید و قیمت و نرخ را از منابع رسمی و به‌روز بگیرید.
سوگیری (Bias)
بیشتر متن‌هایی که این مدل‌ها از آن‌ها یاد گرفته‌اند، انگلیسی و مربوط به کشورهای غربی است. این سه پیامد دارد. اول اینکه دربارهٔ ایران کمتر می‌دانند. دوم اینکه توصیه‌هایشان گاهی برای ایران کاربرد ندارد؛ مثلاً پیشنهاد می‌کنند با پی‌پال پول دریافت کنید یا از خدمات بانکی و قانونی کشورهای دیگر استفاده کنید. سوم اینکه ممکن است کلیشه‌های رایج دربارهٔ جنسیت، قومیت یا شغل‌ها را تکرار کنند، یا در موضوعات بحث‌برانگیز به یک طرف ماجرا متمایل باشند.
راه‌حل: شرایط خودتان را صریح بگویید و در موضوعات بحث‌برانگیز، دیدگاه‌های مختلف را جداگانه بخواهید.
من در ایران زندگی می‌کنم و به خدمات پرداخت بین‌المللی دسترسی ندارم. با در نظر گرفتن همین شرایط، راه‌های فروش آنلاین محصولات دست‌ساز را پیشنهاد بده.
چاپلوسی
در فصل هشتم دیدیم که ChatGPT گاهی بیش از حد با شما موافق است، اما این تمایل کم‌وبیش در همهٔ مدل‌ها هست. خطرش وقتی جدی می‌شود که پای یک تصمیم مهم در میان است، یا وقتی از نظر خودتان مطمئنید و فقط دنبال تأیید می‌گردید: «حق با من بود دیگه، نه؟» در این لحظه‌ها، هوش مصنوعی ممکن است فقط آینه‌ای باشد که حرف خودتان را با کلمه‌های قشنگ‌تر به خودتان برمی‌گرداند. سؤال بی‌طرف بپرسید، دلیل مخالف بخواهید و صریح بگویید که صداقت را به تعریف ترجیح می‌دهید.
خطای محاسبه
شاید عجیب باشد، اما ابزاری که می‌تواند مقاله بنویسد، گاهی در یک ضرب ساده اشتباه می‌کند. دلیلش این است که مدل زبانی با متن کار می‌کند، نه مثل ماشین‌حساب با عدد. در محاسبه‌های چندمرحله‌ای ممکن است یک رقم را جابه‌جا کند و باز هم با اطمینان کامل ادامه بدهد.
جاهای پرخطر: درصد و سود مرکب، قسط وام، تقسیم سهم شرکا، تبدیل تاریخ شمسی و میلادی و تبدیل واحدها. سه راه‌حل دارید:
- بخواهید مراحل محاسبه را قدم‌به‌قدم بنویسد تا اشتباه احتمالی را راحت‌تر ببینید.
- اگر ابزارتان امکان اجرای کد یا محاسبهٔ دقیق دارد، از آن بخواهید برای محاسبه از همین امکان استفاده کند.
- عددهای مهم را خودتان با ماشین‌حساب یا اکسل دوباره حساب کنید. در فصل دوازدهم یاد می‌گیرید چطور فرمول اکسل را هم از هوش مصنوعی بگیرید.
حریم خصوصی
در فصل چهارم دربارهٔ امنیت خود اکانت حرف زدیم. اینجا موضوع چیزی است که داخل گفتگو می‌نویسید. هر چه تایپ می‌کنید به سرورهای شرکت سازنده می‌رود و ممکن است ذخیره شود. بسته به سرویس و تنظیمات شما، ممکن است برای بهبود مدل‌ها هم استفاده شود. پس این‌ها را هرگز ننویسید:
- کد ملی، شمارهٔ کارت و حساب، رمزها و کدهای تأیید،
- پروندهٔ پزشکی همراه با نام، به‌خصوص اگر مال کس دیگری است،
- اطلاعات محرمانهٔ شرکت یا قراردادهای کاری، بدون اجازهٔ کارفرما،
- اطلاعات مشتری‌ها: نام، شماره تلفن، آدرس.
یک عادت خوب این است که پیش از چسباندن هر متن، اطلاعات شناسایی را حذف کنید: اسم‌ها را با «مشتری الف» و «مشتری ب» عوض کنید و شماره‌ها را پاک کنید. معمولاً در تنظیمات هر سرویس هم گزینه‌ای برای مدیریت استفاده از داده‌هایتان و گاهی حالتی برای گفتگوی موقت وجود دارد؛ یک بار سری به آن بزنید.
کی نباید به هوش مصنوعی تکیه کرد؟
یک قاعدهٔ ساده: هر چه هزینهٔ اشتباه بیشتر، تکیه کمتر. در تصمیم‌های پزشکی، حقوقی و مالی، هوش مصنوعی می‌تواند تمرین‌دهندهٔ خوبی باشد که شما را برای دیدار با متخصص آماده کند؛ اما جای خود متخصص را نمی‌گیرد. دلیلش هم روشن است: متخصص شما را معاینه می‌کند، مدارکتان را می‌بیند، جزئیات پرونده‌تان را می‌پرسد و مسئولیت حرفش را می‌پذیرد. هیچ‌کدام از این‌ها از یک چت‌بات برنمی‌آید.
| حوزه | هوش مصنوعی کجا کمک می‌کند | کجا باید سراغ متخصص بروید |
|---|---|---|
| پزشکی | توضیح اصطلاح‌های یک برگهٔ آزمایش، آماده کردن فهرست سؤال برای پزشک | تشخیص بیماری، شروع یا قطع دارو، تعیین مقدار مصرف |
| حقوقی | توضیح سادهٔ یک قرارداد یا اصطلاح حقوقی، فهرست سؤال برای وکیل | امضای قرارداد مهم، طرح دعوا، مهلت‌های قانونی، ارث و طلاق |
| مالی | یاد گرفتن مفاهیمی مثل تورم و سود مرکب، ساختن جدول بودجهٔ خانه | خرید و فروش سهام، طلا، ارز دیجیتال یا ملک، گرفتن وام سنگین |
| سلامت روان | مرتب کردن افکار، یاد گرفتن تکنیک‌های ساده برای آرام شدن | افکار آسیب به خود، بحران‌های روحی، غم و افسردگی طولانی |
یک نمونه از استفادهٔ درست در حوزهٔ پزشکی:
من چند اصطلاح در برگهٔ آزمایش خونم را نمی‌فهمم. فقط معنی این اصطلاح‌ها را به زبان ساده توضیح بده و بگو چه سؤال‌هایی از پزشکم بپرسم. تشخیص نده و دارو پیشنهاد نکن. [فقط نام اصطلاح‌ها و عددها؛ بدون نام و مشخصات خودتان]
ببینید این پرامپت چطور مرز را مشخص کرده: هوش مصنوعی توضیح می‌دهد و شما را برای گفتگو با پزشک آماده می‌کند، اما تصمیم پزشکی نمی‌گیرد. همین منطق را برای حقوق و پول هم به کار ببرید.
جمع‌بندی فصل
- توهم یعنی گفتن حرف نادرست با لحن مطمئن. علتش این است که مدل محتمل‌ترین متن را می‌سازد، نه اینکه حقیقت را از جایی بخواند. روان بودن متن، نشانهٔ درستی‌اش نیست.
- منابع ساختگی، عدد و آمار اشتباه و قانون ساختگی یا قدیمی، رایج‌ترین توهم‌ها هستند. سؤال‌های حقوقی دربارهٔ قوانین ایران، به‌خصوص پرخطرند.
- راستی‌آزمایی در سه قدم: ادعاها را جدا کنید، دوباره و از زاویهٔ دیگر بپرسید، و از منبعی بیرون از هوش مصنوعی تأیید بگیرید؛ به اندازهٔ اهمیت موضوع.
- برای اطلاعات تازه، جستجو را فعال کنید و تاریخ بخواهید. برای پرهیز از سوگیری، شرایط ایران را صریح بگویید.
- در برابر چاپلوسی، نقد بخواهید. عددهای مهم را با ماشین‌حساب یا اکسل دوباره حساب کنید.
- اطلاعات شناسایی را پیش از چسباندن حذف کنید و در اکانت اشتراکی هیچ چیز شخصی ننویسید.
- در تصمیم‌های پزشکی، حقوقی و مالی، هوش مصنوعی برای فهمیدن و آماده شدن است؛ تصمیم را با متخصص بگیرید.
با این فصل، بخش دوم کتاب تمام می‌شود: حالا هم بلدید درست بپرسید و هم می‌دانید کجا باید شک کنید، پس وقت آن رسیده که در بخش سوم هوش مصنوعی را سر کارهای واقعی ببریم — و اولین ایستگاه، فصل دهم است: هوش مصنوعی به‌عنوان دستیار تحقیق.
ابزارهای هوش مصنوعی، قیمت‌ها و قوانین استفادهٔ آن‌ها مرتب تغییر می‌کند. مطالب این کتاب جنبهٔ آموزشی دارد؛ پیش از هر تصمیم مالی، حقوقی یا پزشکی با متخصص مشورت کنید و مسئولیت رعایت قوانین هر سرویس با کاربر است.