خلاصه: برای انتخاب ابزار AI، ده نمونه از کار واقعی خودتان آماده کنید و ورودی یکسان را به گزینه‌ها بدهید. کیفیت قابل‌قبول، زمان اصلاح و هزینه هر خروجی پذیرفته‌شده را ثبت کنید. رتبه ابزار برای کاربرد شما از همین آزمون می‌آید؛ تعداد قابلیت‌ها، شهرت یا یک نمونه نمایشی، جای نتیجه واقعی را نمی‌گیرند.
پیش‌نیاز: دو یا چند ابزار با دسترسی مجاز، ده ورودی عمومی و معیار قبولی مشخص.
سطح: مقدماتی
همه ابزارها در صفحه معرفی عالی‌اند
فرض کنید برای یک فروشگاه کوچک، کپشن محصول می‌نویسید. ابزار اول متن زیبا تولید می‌کند، اما جنس محصول را حدس می‌زند. ابزار دوم ساده‌تر می‌نویسد، اما اطلاعات را درست نگه می‌دارد. کدام بهتر است؟ پاسخ به هزینه ویرایش و معیار انتشار شما بستگی دارد.
ارزیابی پیش از استفاده و سنجش متناسب با کاربرد، در راهنمای NIST درباره هوش مصنوعی مولد مطرح شده است. روش ده‌نمونه‌ای زیر، یک پیشنهاد عملی آلواناست؛ بنچمارک عمومی یا تضمین برتری ابزار نیست. منبع NIST
مسیر آزمون کوچک
ده نمونه عمومی و مجاز از کارتان انتخاب کنید: چند مورد ساده، چند مورد مبهم و چند مورد دشوار. برای کپشن، نمونه دشوار می‌تواند محصولی با نام مشابه یا ویژگی ناقص باشد. همان اطلاعات و همان دستور را به هر گزینه بدهید.
قبل از دیدن نتیجه، تعریف قبولی را بنویسید: ویژگی اختراعی نداشته باشد، طول در محدوده سفارش باشد، لحن مناسب باشد و اقدام پایانی روشن داشته باشد. اگر برای تصویر آزمون می‌کنید، خوانایی سوژه و حفظ ویژگی‌های محصول را جایگزین معیارهای متن کنید.
نام ابزار و نسخه، تاریخ، تنظیمات، زمان تولید، زمان اصلاح و هزینه را ثبت کنید. هر خروجی ردشده را هم نگه دارید؛ پاک‌کردن شکست‌ها، مقایسه را خوش‌بینانه می‌کند. یک نمونه خوب برای انتخاب کافی نیست.
هزینه واقعی را حساب کنید
فرمول پیشنهادی این است: مجموع هزینه تلاش‌ها تقسیم بر تعداد خروجی‌های پذیرفته‌شده. فرضاً ابزار الف با هزینه فرضی دو واحد، دو خروجی قابل‌استفاده داده؛ هزینه هر خروجی یک واحد است. ابزار ب با سه واحد، شش خروجی پذیرفته‌شده داده؛ هزینه هر خروجی نیم‌واحد است. این اعداد مثال‌اند و قیمت هیچ سرویس واقعی نیستند.
زمان اصلاح را جدا گزارش کنید. اگر گزینه ارزان‌تر برای هر خروجی پانزده دقیقه اصلاح می‌خواهد، باید ارزش زمان خودتان را هم در تصمیم لحاظ کنید. برای کار محلی، هزینه اشتراک ممکن است نباشد، اما زمان و منابع دستگاه وجود دارند.
نتیجه‌ای که بتوان به آن عمل کرد
خروجی آزمون را محدود بنویسید: «برای این ده نمونه کپشن، گزینه ب کمتر اصلاح خواست.» از آن نتیجه «بهترین ابزار دنیا» نگیرید. ماه بعد یا با تغییر نسخه، چند نمونه را دوباره بررسی کنید.
برای این مسیر نصب مدل تازه لازم نیست؛ از گزینه‌هایی شروع کنید که دسترسی مجاز دارید. معیار پایان، جدول روشن و تصمیم برای یک کاربرد مشخص است. آزمون، کیفیت فارسی همه موضوعات یا عملکرد همه کاربران را ثابت نمی‌کند.
منبع
NIST AI 600-1. نمونه‌ها، فرمول و تعداد ده، پیشنهاد تحریریه آلواناست.
پرامپت آماده
برای ورودی زیر یک خروجی طبق سفارش بساز. اگر ویژگی لازم در اطلاعات موجود نیست، آن را حدس نزن. طول: [محدوده]. لحن: [لحن]. معیار قبولی: [معیارها]. اطلاعات ورودی: [داده].
سؤالات متداول
آیا ده نمونه نتیجه قطعی می‌دهد؟
خیر. برای تصمیم اولیه در همان کاربرد مفید است، اما برای کارهای حساس یا متنوع نمونه و ارزیابی بیشتری لازم است.
چرا هزینه خروجی‌های ردشده را هم حساب کنیم؟
چون برای آن تلاش‌ها هزینه یا زمان صرف شده است. حذفشان، هزینه واقعی هر خروجی قابل‌استفاده را پنهان می‌کند.
محدودیت‌ها
آزمون کوچک قابل تعمیم به همه کاربردها نیست؛ هزینه زمان و تغییر نسخه باید ثبت شود.
