llama.cpp 0.9.0: מה לבדוק לפני עדכון סביבת AI מקומית

4 בנובמבר 2026 · The Useful Byte / SysSeder

llama.cpp 0.9.0 מרחיבה את האפשרויות להרצת בינה מלאכותית על החומרה שלכם. הגרסה פורסמה ב־4 בנובמבר וכוללת תמיכה במודלים, שיפורים בטיפול בזיכרון ועדכוני אודיו. אם כבר יש לכם סביבת עבודה מקומית, כדאי להתחיל מבדיקת המשימות שאתם מבצעים בה היום.

מה משתנה?

llama.cpp היא תוכנה להרצת מודלי AI. המודל מספק את היכולות שנלמדו; סביבת ההרצה צריכה לטעון אותו ולבצע את החישובים על החומרה הזמינה.

הגרסה כוללת תמיכה ב־Mistral Large 4, ב־Clover, ב־Limite וב־Metis-1.6. מדובר בתוספות לסביבת ההרצה. בכל התקנה עדיין צריך לבדוק את דרישות הזיכרון, את קובצי המודל ואת הרישיון שלו. התמיכה ב־Mistral Large 4, למשל, נכנסה לענף הפיתוח ב־29 באוקטובר. החדשה של היום היא פרסום גרסה 0.9.0, ולא השקה של ארבעה מודלים חדשים.

שני שינויים שכדאי להכיר

אפשרות נוספת לייצוג המספרים במודל. העבודה על OCP FP8 E4M3 מוסיפה טיפוס של מספרי נקודה צפה בשמונה ביטים ותמיכה בהמרה אליו. לפני שבוחרים קובץ מודל חדש, בדקו שהגרסה המותקנת ומנגנון החישוב לחומרה שלכם תומכים בשימוש המבוקש. שם הפורמט לבדו אינו מעיד על מהירות או על איכות התשובות במחשב שלכם.

אפשרות לצמצום התקורה בטיפול בכמה רצפי טקסט. השינוי במטמון KV המאוחד נועד לייעל עיבוד של כמה רצפים המשתמשים במטמון משותף, כאשר מנגנון החישוב לחומרה תומך בפעולה החדשה. המטמון שומר מידע ביניים המשמש ליצירת התשובות. המפתחים מדווחים על שיפור בתנאי בדיקה מסוימים; כדאי למדוד את עומס העבודה שלכם לפני שמצפים לתוצאה דומה. שיחה אחת וכמה בקשות במקביל עשויות להתנהג אחרת.

גם ggml 0.29.0, המשולבת בגרסה, כוללת שינויים למנגנוני חישוב עבור מעבדים שונים. הרלוונטיות שלהם תלויה באופן שבו המערכת שלכם מריצה את המודל.

בדיקת עדכון קטנה ומעשית

1. תעדו את המצב הקיים. שמרו את גרסת התוכנה העובדת, את שם קובץ המודל, את ההגדרות ואת פקודת ההפעלה. אם אתם משתמשים ביישום שולחני או בכלי עוטף, בדקו איזו גרסת הרצה כלולה בו בפועל.
2. שנו תחילה רק את סביבת ההרצה. השתמשו באותו מודל ובהנחיות מייצגות. השוו את איכות התשובות, את התקלות, את צריכת הזיכרון ואת זמני התגובה. השאירו דרך לחזור לגרסה העובדת.
3. בדקו עומס מציאותי. כללו קלט ארוך ובקשות מקבילות אם אלה חלק מהשימוש הרגיל. מדדו בנפרד את ההמתנה לפלט הראשון ואת קצב המשך היצירה.
4. בדקו תכונות חדשות בנפרד. נסו מודל אחר, פורמט מספרי חדש או תכונת אודיו רק אחרי שהשימוש הקיים עבר את הבדיקה. כך קל יותר לאתר את מקור התקלה אם מופיעה נסיגה.

אלה המלצות לבדיקה תפעולית, ולא תוצאות של מבחן ביצועים שערכנו. המטרה היא לקבל ראיות לכך שהגרסה החדשה עובדת בסביבה שלכם, ולמדוד את התועלת בתנאים שבהם אתם באמת משתמשים בה.

English