طبقه بندی: CURVE ROC و AUC

مجموعه های خود را بهینه کنید و محتوا را مطابق با تنظیمات خود طبقه بندی کنید.

به نام زمان: 8 دقیقه

دلهره

منحنی ROC (منحنی ویژگی های کار کارگاه) نمادی است که اثربخشی مدل طبقه بندی را برای کلیه مقادیر آستانه طبقه بندی نشان می دهد. این منحنی دو پارامتر را نشان می دهد:

• سرعت مثبت واقعی
• نتیجه کاذب- مثبت

نرخ مثبت واقعی (TPR) مترادف برای بررسی است و بنابراین به شرح زیر تعیین می شود:

$ $ tpr = frac$$

نشانگر مثبت کاذب (FPR) به شرح زیر تعیین می شود:

$ $ fpr = frac$$

منحنی ROC نسبت TPR و FPR را با آستانه های مختلف طبقه بندی نشان می دهد. کاهش آستانه طبقه بندی به شما امکان می دهد عناصر بیشتری را به عنوان مثبت طبقه بندی کنید و از این طریق تعداد آثار دروغین و محرک های واقعی را افزایش دهید. شکل بعدی یک منحنی ROC معمولی را نشان می دهد.

شکل 4. ضریب TP و FP برای آستانه های مختلف طبقه بندی.

برای محاسبه نکات مربوط به منتقدان ROC ، می توانیم بارها و بارها مدل رگرسیون لجستیک را با آستانه های مختلف طبقه بندی ارزیابی کنیم ، اما این کار بی اثر خواهد بود. خوشبختانه ، یک الگوریتم مؤثر بر اساس مرتب سازی وجود دارد که می تواند این اطلاعات به نام AUC را در اختیار ما قرار دهد.

AUC: مربع زیر منحنی ROC

AUC به معنای "مربع زیر منحنی ROC" است. یعنی AUC کل منطقه دو بعدی را در زیر کل منحنی ROC (به عنوان مثال ، حساب انتگرال) از (0. 0) تا (1. 1) اندازه گیری می کند.

شکل 5. AUC (منطقه زیر ROC-Row).

AUC یک شاخص عملکرد کل را برای کلیه مقادیر آستانه ممکن طبقه بندی فراهم می کند. یکی از روشهای تفسیر AUC احتمال اینکه مدل یک مثال مثبت تصادفی بالاتر از یک مثال منفی تصادفی باشد ، قرار می دهد. به عنوان مثال ، با توجه به مثالهای زیر که از چپ به راست به ترتیب افزایش پیش بینی های رگرسیون تدارکات قرار دارند:

شکل 6. پیش بینی ها با افزایش ارزیابی رگرسیون لجستیک رتبه بندی می شوند.

AUC به احتمال زیاد نمونه مثبت (سبز) تصادفی در سمت راست مثال منفی (قرمز) تصادفی قرار دارد.

مقدار AUC از 0 تا 1 متفاوت است. مدل ، که پیش بینی های آن 100 ٪ نادرست است ، AUC برابر با 0. 0 است. موردی که پیش بینی های آن 100 ٪ صحیح است ، AUC 1. 0 است.

AUC به دو دلیل زیر مطلوب است:

• AUC به مقیاس بستگی ندارد. او اندازه گیری می کند که پیش بینی ها به خوبی رتبه بندی می شوند و نه ارزش های مطلق آنها.
• AUC به آستانه طبقه بندی بستگی ندارد. این کیفیت پیش بینی های مدل را صرف نظر از آستانه انتخاب شده طبقه بندی اندازه گیری می کند.

با این حال ، هر دو دلیل با رزرو همراه هستند که می توانند سودمندی AUC را در موارد خاص استفاده محدود کنند:

• ثابت در مقیاس بزرگ همیشه مطلوب نیست. به عنوان مثال ، گاهی اوقات ما واقعاً به یک احتمال خوب به خوبی نیاز داریم و AUC در مورد آن به ما نمی گوید.
• تغییر آستانه طبقه بندی همیشه مطلوب نیست. در مواردی که در هزینه نتایج مثبت منفی و کاذب اختلاف زیادی وجود دارد ، ممکن است به حداقل رساندن یک نوع خطای طبقه بندی مهم باشد. به عنوان مثال ، اگر هرزنامه در E-Mail تشخیص داده شود ، احتمالاً می خواهید ماشه های کاذب را به حداقل برسانید (حتی اگر این امر منجر به افزایش قابل توجهی در نتایج منفی کاذب شود). AUC یک شاخص مفید برای این نوع بهینه سازی نیست.

بازگشت به علاوه ارسال یک بررسی

مگر در مواردی که مشخص نشده باشد ، محتوای موجود در این صفحه تحت مجوز Creative Commons ارائه شده است که نشان دهنده نویسندگی 4. 0 و کد کد با توجه به مجوز Apache 2. 0 است. اطلاعات بیشتر در مورد این را در قوانین سایت بخوانید. جاوا یک علامت تجاری ثبت شده از شرکت اوراکل و افراد وابسته آن است.

آخرین بروزرسانی: 2022-09-26 UTC.

 

فارکس وکسب درامد...