مدل‌های Moderation وظیفه بررسی متن ورودی و مشخص کردن اینکه آیا متن دارای محتوای نامناسب است را دارند. اگر متن ورودی نامناسب تضخیص داده شود, فراخوانی‌های بعدی به مدل‌های دیگر برای این متن رد خواهند شد.
این مدل‌ها محتوای متن ورودی را از جنبه های زیر مورد بررسی قرار می‌دهند:
- نفرت‌پراکنی
- آزار و اذیت
- خودآزاری
- خشونت
- سکس
Moderations API #
استفاده از اندپوینت Moderations رایگان است. توصیه می‌شود برای افزایش دقت مدل متن ورودی را به chunkهایی به طول حداکثر ۲۰۰۰ کاراکتر تبدیل کنید.
نمونه‌ای از فواخوانی APIی moderations را در زیر مشاهده کنید:
1curl https://api.gilas.io/v1/moderations \
2 -X POST \
3 -H "Content-Type: application/json" \
4 -H "Authorization: Bearer $GILAS_API_KEY" \
5 -d '{"input": "Sample text goes here"}'
در زیر نمونه‌ای از خروجی تولید شده توسط این اندپوینت را مشاهده می‌کنید.
- در صورتی که کلید
flaggedبرابر با مقدارtrueباشد, مدل تشخیص داده است که محتوای متن ورودی مغایر با قوانین OpenAI است. categoriesشامل دسته‌بندی های مختلفی که محتوای متن را بررسی کرده‌اند می‌شود. بسته به محتوای متن ورودی ممکن است تعدادی از این دسته‌بندی ها مقدارtrueداشته باشند که معنی آن این است که متن ورودی دارای محتوایی از این دسته است.category_scoresنمایش عددی میزان اعتماد مدل در طبقه‌بندی متن بر اساس هر دسته می‌باشد.
1{
2 "id": "modr-XXXXX",
3 "model": "omni-moderation-latest",
4 "results": [
5 {
6 "flagged": true,
7 "categories": {
8 "sexual": false,
9 "hate": false,
10 "harassment": false,
11 "self-harm": false,
12 "sexual/minors": false,
13 "hate/threatening": false,
14 "violence/graphic": false,
15 "self-harm/intent": false,
16 "self-harm/instructions": false,
17 "harassment/threatening": true,
18 "violence": true,
19 },
20 "category_scores": {
21 "sexual": 1.2282071e-06,
22 "hate": 0.010696256,
23 "harassment": 0.29842457,
24 "self-harm": 1.5236925e-08,
25 "sexual/minors": 5.7246268e-08,
26 "hate/threatening": 0.0060676364,
27 "violence/graphic": 4.435014e-06,
28 "self-harm/intent": 8.098441e-10,
29 "self-harm/instructions": 2.8498655e-11,
30 "harassment/threatening": 0.63055265,
31 "violence": 0.99011886,
32 }
33 }
34 ]
35}
توجه
در نظر داشته باشید که Gilas APIs از لحاظ فنی و نحوه کارکرد و قابلیت‌ها کاملا شبیه OpenAI APIs هستند. به همین منظور پیشنهاد میکنیم که برای آگاهی از نحوه‌ی کارکرد API ها به مستندات OpenAI API Reference و OpenAI Documentation ارجاع کنید.