Skip to content
עברית

Qwen3.8-27B ב־Foundry Local: בדקו התאמת GPU וגבולות לסוכן

משתתף המסומן כ־Collaborator במאגר Foundry Local אישר ב־4 בנובמבר 2026 כי Qwen3.8-27B זמין בקטלוג. זו אפשרות פריסה חדשה למודל קיים: Qwen מתארכת את השקת המודל ל־14 באוגוסט.

לצוות פיתוח, השאלה המעשית היא אם האפשרות מתאימה למחשבים ולכללי האישור שלו. העברת הרצת המודל לתחנת העבודה משנה חלק אחד בתהליך; לקוח התכנות והכלים שלו עדיין דורשים בדיקה נפרדת.

התאימו את המחשב לתצורה שפורסמה

המדריך של Microsoft מ־5 בנובמבר דורש Foundry Local CLI בגרסה 0.13.0 ומעלה וחומרת NVIDIA. בתצורת 4 ביט, המודל תופס כ־18 GB; המדריך מציין 24 GB של VRAM להקשר של עד 64K, ו־32 GB ומעלה לעד 262K. הרחבה ל־Mac ול־AMD מתוארת כתוכנית עתידית. אלה נתוני תצורה של הספק, לא מדידות שלנו.

גרסת CLI 0.13.0 מ־2 בנובמבר היא גרסת תצוגה מקדימה. הוראות NVIDIA שלה דורשות התקנה ידנית של CUDA ושל cuDNN תואם, עם דרישות שונות ל־x64 ול־ARM64. בדקו את ההוראות לארכיטקטורה המתאימה לפני שינוי סביבה קיימת.

אל תהפכו את נתון הזיכרון של המודל להבטחת התאמה לרכישה. הבדיקה הראשונה שאנו מציעים היא לתעד VRAM פנוי בזמן שעורך הקוד, עומס התצוגה והיישומים הרגילים פועלים. לאחר מכן בדקו משימות מייצגות ממאגר הקוד בגודל ההקשר המיועד. טעינה מוצלחת של המודל היא רק תחילת בדיקת הקבלה.

מפו את החיבורים של הסוכן

השאלות הנפוצות של Foundry Local מציינות שההנחיות והתשובות בנקודת הקצה שלו מעובדות במכשיר. המסמך מפריד מכך הורדת מודלים ורכיבים ושיתוף אבחון אופציונלי, שעשויים להשתמש ברשת.

תיעוד BYOK של GitHub מבחין בין בקשות למודל שהמשתמש מגדיר ונשלחות ישירות לספק, לבין מודלים שמוגדרים בארגון ומנותבים דרך GitHub. הוספת מודל מותאם משאירה מודלים אחרים זמינים. בדקו את הלקוח, התצורה והמודל שנבחרו בפועל, במקום להניח שכל תהליך Copilot עובר באותו מסלול.

ניסוי קטן לפני הרחבת השימוש

  • השתמשו במאגר קוד שאינו רגיש ותעדו את גרסאות המודל, סביבת ההרצה, מנהל ההתקן והלקוח. שמרו אוסף משימות שניתן לשחזר ותוצאות צפויות.
  • מדדו שינויים נכונים שהושלמו לצד השהיה ושיא צריכת הזיכרון. הריצו את בדיקות הפרויקט וסקרו את ההבדלים בקוד; קצב יצירת טוקנים לבדו אינו מוכיח איכות תכנות.
  • רשמו כלים בעלי גישה לרשת, שירותים מרוחקים והגדרות טלמטריה. תנו לסוכן רק הרשאות קבצים ופקודות הנחוצות לניסוי, עם אישור אנושי לשינויים בעלי השלכות.
  • כללו חומרה, אנרגיה וזמן תחזוקה בהשוואת העלויות. נקודת קצה מקומית להסקה אינה הופכת את כל תהליך הפיתוח לחינמי או למנותק מהרשת.

אלה בדיקות מוצעות, לא תוצאות התנסות. לא התקנו את גרסת התצוגה המקדימה, לא מדדנו את ביצועי המודל ולא בדקנו באופן עצמאי את התנהגות הפרטיות שלו.

Read in English

Post a Comment

Previous Post Next Post