Thinking Machines הכריזה על Inkling 2 Small ב־5 בנובמבר. Tinker מציעה כבר עכשיו הרצת המודל וכוונון עדין, אך המשקולות עדיין סגורות. החברה מתכוונת לפרסם אותן ברישיון Apache 2.0 בשבוע שלאחר ההכרזה, לאחר בדיקות בטיחות חיצוניות וניסיונות תקיפה מבוקרים. ההכרזה.
לצוות שבוחר מודל, זמינות והתאמה הן החלטות נפרדות. אפשר להכין הערכה בלי להתחייב להעביר תהליך ייצור למודל.
קראו בזהירות את תיאור המודל
למודל בתצורת תערובת מומחים יש 594 מיליארד פרמטרים בסך הכול ו־17 מיליארד פעילים. הספק מציין אריכות תשובות ובחירה לא מושלמת של כלים בין המגבלות. ארכיטקטורה ומגבלות. המילה “Small” אינה מפרט לחומרה ביתית.
Artificial Analysis מציגה קלט טקסט ותמונה, פלט טקסט והקשר של מיליון טוקנים ברמת המודל, אך בדף הספק מופיעים 262 אלף. בדקו את המגבלה בפועל של נקודת הקצה שנבחרה, במקום להתייחס ליכולת המודל כהבטחת שירות. פרופיל המודל; פרופיל הספק.
השוו משימה שהושלמה, לא רק טוקן
המעריכה העצמאית Artificial Analysis מדווחת על ציון 31 במדד Intelligence Index v5.0.1. בבדיקותיה נרשמו בממוצע כ־150 אלף טוקני פלט ו־1.18 דולר למשימה, לעומת 37 אלף ו־0.20 דולר ב־Inkling Small הקודם. היא מציגה תעריפי API של 0.30 דולר למיליון טוקני קלט ודולר למיליון טוקני פלט. כל סכומי הדולר הם בדולר ארה״ב. אלה נתוני הערכה מתוארכים, לא הצעת מחיר לעומס העבודה שלכם. הערכה עצמאית, 5 בנובמבר.
ציון במבחן יכול לסייע בבחירת מועמד, אך אינו מגדיר את תנאי הקבלה של היישום שלכם. תשובה ארוכה מועילה רק אם היא משלימה את העבודה באיכות שמצדיקה את הזמן, הבדיקה והעיבוד שהיא דורשת.
הכינו השוואה שאפשר לחזור עליה
- בחרו עבודה מייצגת: השתמשו באוסף קטן של דוגמאות לא רגישות עם תנאי קבלה ידועים, כולל מצבים שבהם המערכת צריכה לסרב או להעביר טיפול לאדם.
- שמרו על תנאים בני השוואה: תעדו את גרסת המודל, רמת החשיבה, הכלים ומדיניות הניסיונות החוזרים. שינוי של כמה גורמים יחד מקשה על ההשוואה.
- מדדו את העבודה כולה: רשמו הצלחה, זמן, טוקנים, ניסיונות חוזרים, הוצאות כלים ותיקונים אנושיים. הסכימו על תקרת הוצאה לפני הרצה.
- בדקו פריסה בנפרד: בדקו מחירים עדכניים, מגבלות נקודת הקצה ותנאי טיפול במידע. להפעלה עצמאית, המתינו למשקולות, לרישיון ולתיעוד הפריסה בפועל.
אלה צעדי הערכה מוצעים, לא תוצאות מניסוי מעשי. התייחסו להשקה כסיבה לבדוק מועמד מול הדרישות שלכם, לא כהוכחה שהוא טוב יותר בכל מצב.