ניתוח חדשות · המקורות נבדקו ב־6 בנובמבר 2026
OpenAI הציגה ב־6 בנובמבר 2026, יחד עם Ligo, את BioBasicsBench: מבחן לפענוח נתונים גולמיים ב־100 משימות מעבדה ביולוגית שגרתיות. ברמת החשיבה xhigh דיווחה החברה על ממוצע של 66.7% מהניקוד האפשרי ל־GPT-6 Astra, לעומת 43.8% ל־GPT-5.6 Sol. זהו ציון המבוסס גם על ניקוד חלקי, ולא שיעור הניסויים שהושלמו בהצלחה. OpenAI מציגה גם טעויות שנותרו. התוצאות הן דיווח של מפתחת המודלים; SysSeder לא שחזרה אותן באופן עצמאי. להודעה המקורית.
ההחלטה על שימוש מתחילה בעבודה שלכם
לצוות IT שתומך במדענים כדאי לשאול שאלה ממוקדת: האם העוזר יקצר את הזמן הדרוש לבדיקת תוצאה קיימת, בלי להגדיל את מספר הטעויות בעלות ההשלכות המשמעותיות? כדי לקבל החלטת רכש צריך ראיות מתהליך העבודה עצמו, כולל הקבצים שבהם משתמשים, התוכנה שמקיפה את המודל והאדם שבודק את תשובתו.
מסגרת ניהול סיכוני ה־AI של NIST ממליצה על הערכה בתנאים שדומים לסביבת השימוש ועל תיעוד מגבלות ההכללה. המסמך המשלים שלה ל־AI גנרטיבי ממליץ גם לבדוק את מקורות התשובות ולהימנע מהסקת מסקנות רחבות מבדיקות מצומצמות. אלה עקרונות הערכה כלליים, ולא אישור של המבחן או של מודל מסוים. מסגרת AI RMF · מסמך NIST AI 600-1, סעיף Measure 2.5.
פיילוט קטן שאפשר לבדוק את תוצאותיו
להלן הצעה של SysSeder לתכנון פיילוט. זו הצעת הערכה, ולא נוהל מעבדה שנבדק בניסוי.
- קבעו מראש את הקלט ואת התשובה המצופה. בקשו מבודק בעל הכשרה מתאימה לבחור דוגמאות היסטוריות שהשימוש בהן מותר, ולתעד את המסקנות הקבילות לפני שהמודל נחשף אליהן. שמרו סט נפרד לבדיקה הסופית. ודאו שמותר להעביר את הקבצים לשירות שנבחר, והסירו מידע אישי או חסוי שאינו נחוץ.
- מדדו נכונות וזמן בדיקה בנפרד. תעדו אם המסקנה קבילה, אם הראיות שאליהן מפנה התשובה תומכות בה, וכמה דקות נדרשות לבודק כדי לאמת או לתקן אותה. רשמו בנפרד טעויות בעלות השלכות משמעותיות, כדי שממוצע לא יסתיר אותן. קבעו את תנאי העצירה לפני תחילת הפיילוט.
- אפשרו לבדוק את הראיות בקלות. הציגו את הקובץ או התמונה המקוריים ליד המסקנה המוצעת. דרשו הפניה מדויקת למיקום הרלוונטי וציון ברור של מידע חסר. שמרו את המקור, במקום להחליף אותו בגרסה עם סימוני המודל.
- התחילו במצב קריאה בלבד. העבירו את התוצאות לתור בדיקה. אל תאפשרו לתשובה משכנעת לשנות אוטומטית רישום מעבדתי, להפעיל ציוד או לאשר ניסוי. הגדירו בודק שאחראי לקבל או לדחות כל תוצאה.
- תעדו את התצורה המלאה. שמרו עם תוצאות הבדיקה את מזהה המודל, רמת החשיבה, גרסת ההנחיות, עיבוד הקלט והכלים הזמינים. הריצו מחדש את סט בדיקות הקבלה כשהתצורה משתנה. גם שינוי בגודל התמונות או ברכיב שקורא את הקבצים שייך ליומן השינויים.
כשל אחד שכדאי לתכנן עבורו
דמיינו מקרה כללי בפיילוט: העוזר מחלץ ערך מצילום של צג מכשיר, אך התשובה אינה מפנה לתווית או ליחידת מידה. ממשק הבדיקה צריך לאפשר למדען לאמת את שתיהן ישירות. אם אחת מהן אינה קריאה, המערכת צריכה להחזיר את המקרה לבדיקה במקום להשלים ערך שנראה סביר. זו דוגמה לדרישת מוצר, ולא טענה לגבי משימה מסוימת ב־BioBasicsBench.
פיילוט מועיל מסתיים בהחלטה ממוקדת: באיזו משימת בדיקה מסייעת המערכת, מי נושא באחריות, איזה כשל עוצר את השימוש ומתי צריך לבדוק מחדש את ההחלטה. כך מתקבל בסיס מעשי לעבודה, מעבר למספר בטבלת דירוג.
תחום המאמר: הערכת AI ובקרות תוכנה. המאמר אינו ייעוץ רפואי, פרוטוקול מעבדה או הוכחה שתהליך מעבדתי אוטונומי בטוח.