רוב מערכות הבינה המלאכותית ה'פתוחות' כביכול סגורות למעשה - וזו בעיה

לדגמי AI "פתוחים" יש הרבה מה לתת. הנוהג של שיתוף קוד מקור עם הציבור מדרבן חדשנות ודמוקרטיזציה של AI ככלי.

או כך הסיפור אומר.ניתוח חדשבטֶבַעמכניס טוויסט לנרטיב: רוב דגמי הבינה המלאכותית ה"פתוחים" כביכול, כמו Llama 3 של Meta, הם בקושי כאלה.

במקום לעודד או להועיל לסטארט-אפים קטנים, "הרטוריקה של פתיחות מופעלת לעתים קרובות בדרכים ש...מחמירות את ריכוז הכוח" בחברות טכנולוגיה גדולות, כתב דייוויד ווידר מאוניברסיטת קורנל, מרדית' וויטאקר ב-קרן איתות, ושרה ווסט במכון AI Now.

למה אכפת? הדיון בפתיחות בינה מלאכותית נראה אקדמי בלבד. אבל עם השימוש הגובר ב-ChatGPT ובמודלים גדולים אחרים של שפות, קובעי המדיניות מתאמצים להתעדכן. האם ניתן לאפשר דגמים בבתי ספר או בחברות? אילו מעקות צריך להיות במקום כדי להגן מפני שימוש לרעה?

ואולי הכי חשוב, רוב דגמי הבינה המלאכותית נשלטים על ידי גוגל, מטה וענקיות טכנולוגיה אחרות, שיש להן את התשתית והאמצעים הפיננסיים לפתח או להעניק רישיון לטכנולוגיה - ובתמורה להנחות את התפתחות הבינה המלאכותית כדי לעמוד בתמריצים הפיננסיים שלהן.

מחוקקים ברחבי העולם שמו לב. השנה אימץ האיחוד האירופי אתחוק AI, החקיקה המקיפה הראשונה בעולם להבטיחנעשה שימוש במערכות AIהם "בטוחים, שקופים, לא מפלים וידידותיים לסביבה." נכון לספטמבר, היומעל 120 חשבונות AIבקונגרס, מלווה פרטיות, אחריות ושקיפות.

לְהֲלָכָה,יכול לספק את הצרכים הללו. אבל "כאשר מדיניות מתעצבת, ההגדרות חשובות", כתב הצוות.

בניתוח החדש, הם פירקו את המושג "פתיחות" במודלים של בינה מלאכותית לאורך כל מחזור הפיתוח וקבעו כיצד ניתן להשתמש במונח לרעה.

מה זה בכלל 'פתיחות'?

המונח "קוד פתוח" ישן כמעט כמו התוכנה עצמה.

בתחילת המאה, קבוצות קטנות של מורדי מחשוב פרסמו קוד לתוכנה חופשית שכל אחד יכול להוריד ולהשתמש בה בניגוד לשליטה הארגונית. היה להם חזון: תוכנות קוד פתוח, כמו מעבדי תמלילים הזמינים באופן חופשי דומים לאלו של מיקרוסופט, יכולות ליישר את מגרש המשחקים עבור בחורים קטנים ולאפשר גישה לאנשים שלא יכלו להרשות לעצמם את הטכנולוגיה. הקוד הפך גם למגרש משחקים, שבו מהנדסי תוכנה נלהבים התעסקו עם הקוד כדי לגלות פגמים שצריך לתקן - וכתוצאה מכך תוכנה שמישה ומאובטחת יותר.

עם AI, הסיפור שונה. מודלים של שפה גדולים בנויים עם מספר רב של שכבות של "נוירונים" מלאכותיים מחוברים זה לזה. בדומה לעמיתיהם הביולוגיים, המבנה של אותם קשרים משפיע במידה רבה על ביצועי המודל במשימה ספציפית.

דוגמניות מאומנות על ידי גירוד באינטרנט לטקסט, תמונות, ויותר ויותר סרטונים. כאשר נתוני האימון הללו זורמים דרך הרשתות העצביות שלהם, הם מתאימים את חוזק הקשרים של הנוירונים המלאכותיים שלהם - המכונים "משקלות" - כך שהם מייצרים תפוקות רצויות. רוב המערכות נבדקות לאחר מכן על ידי אנשים כדי לשפוט את הדיוק והאיכות של התוצאות.

הבעיה? הבנת התהליכים הפנימיים של מערכות אלו אינה פשוטה. בניגוד לתוכנה מסורתית, שיתוף רק את המשקלים והקוד של מודל AI, ללא נתוני האימון הבסיסיים, מקשה על אנשים אחרים לזהות באגים פוטנציאליים או איומי אבטחה.

המשמעות היא שמושגים קודמים מתוכנת קוד פתוח מיושמים ב"דרכים לא מתאימות למערכות AI", כתב הצוות, מה שהוביל לבלבול לגבי המונח.

כביסה פתוחה

דגמי AI "פתוחים" נוכחיים משתרעים על מגוון רחב של פתיחות, אבל בסך הכל, יש להם שלושה מאפיינים עיקריים.

האחת היא שקיפות, או כמה פרטים על ההגדרה של מודל AI היוצר שלו מפרסם.Eleether AI'סדרת Pythia, למשל, מאפשרת לכל אחד להוריד את קוד המקור, נתוני ההדרכה הבסיסיים ותיעוד מלא. הם גם מעניקים רישיון למודל הבינה המלאכותית לשימוש חוזר רחב, העונה על ההגדרה של "קוד פתוח" מה-יוזמת קוד פתוח, מלכ"ר שהגדיר את המונח כפי שהתפתח במשך כמעט שלושה עשורים. לעומת זאת, ה-Llama 3 של Meta, למרות שתואר כפתוח, מאפשר לאנשים רק לבנות על ה-AI שלהם באמצעות API - מעין ממשק המאפשר לתוכנות שונות לתקשר, מבלי לשתף את הקוד הבסיסי - או להוריד רק את משקלי הדגם כדי להתעסק אבל עם הגבלות על השימוש בהם.

"זהו'כביסה פתוחה' מערכות שמובנות טוב יותר כסגורות", כתבו המחברים.

מאפיין שני הוא שימוש חוזר, בכך שאנשים אחרים יכולים להשתמש בנתונים ובפרטים בעלי רישיון גלוי של מודל בינה מלאכותית (אם כי לעתים קרובות רק באמצעות שירות ענן - עוד על כך בהמשך). המאפיין השלישי, ההרחבה, מאפשר לאנשים לכוונן קיים מודלים לצרכים הספציפיים שלהם.

"[זו] תכונה מרכזית שדוגלת במיוחד על ידי שחקנים ארגוניים שמשקיעים בבינה מלאכותית פתוחה", כתב הצוות. יש סיבה: אימון מודלים של AI דורש כוח מחשוב ומשאבים מסיביים, שזמינים לרוב רק לחברות טכנולוגיה גדולות. לאמה 3, למשל, הוכשר על15 טריליון אסימונים-יחידה לעיבוד נתונים, כגון מילים או תווים. נקודות החנק הללו מקשות על סטארט-אפים לבנות מערכות בינה מלאכותית מאפס. במקום זאת, לעתים קרובות הם מאמנים מחדש מערכות "פתוחות" כדי להתאים אותן למשימה חדשה או לפעול בצורה יעילה יותר. ה-AI של סטנפורדדגם אלפקה, המבוסס על לאמה, למשל, זכה להתעניינות בעובדה שהוא יכול לרוץ על מחשב נייד.

אין ספק שהרבה אנשים וחברות נהנו. אבל עבור המחברים, הם עשויים גם להוות מחסום לדמוקרטיזציה של AI.

הצד האפל

מערכות AI פתוחות בקנה מידה גדול כיום מאומנות על שרתי ענן, מציינים המחברים. המכון לחדשנות טכנולוגית של איחוד האמירויות התפתחפלקון 40Bואימן אותו בשרתי ה-AWS של אמזון.ה-AI של MosaicMLהוא "קשור לAzure של מיקרוסופט." אפילו OpenAI שיתפה פעולה עם מיקרוסופט כדי להציע את דגמי ה-AI החדשים שלה במחיר.

בעוד שמחשוב ענן שימושי ביותר, הוא מגביל את מי שיכול להפעיל מודלים של AI לקומץ חברות גדולות - והשרתים שלהן. האלפקה של סטנפורד נסגרה בסופו של דבר חלקית בגלל מחסור במשאבים כספיים.

סודיות סביב נתוני אימון היא דאגה נוספת. "הרבה מודלים בקנה מידה גדול מתוארים כהזנחה גלויה לספק מידע בסיסי אפילו על הנתונים הבסיסיים המשמשים לאימון המערכת", כתבו המחברים.

מודלים של שפה גדולים מעבדים כמויות אדירות של נתונים שנגרדו מהאינטרנט, שחלקם מוגנים בזכויות יוצרים, וכתוצאה מכך מספר נתונים מתמשכיםתביעות משפטיות. כאשר מערכי נתונים אינם זמינים בקלות, או כאשר הם גדולים להפליא, קשה לבדוק את הביצועים המדווחים של המודל, או אם מערכי הנתונים "מכבסים קניין רוחני של אחרים", לדברי המחברים.

הבעיה מחמירה כאשר בונים מסגרות, שפותחו לרוב על ידי חברות טכנולוגיה גדולות, כדי למזער את הזמן "להמציא מחדש את הגלגל". קטעי קוד, זרימות עבודה וכלי הערכה שנכתבו מראש אלה עוזרים למפתחים לבנות במהירות על מערכת AI. עם זאת, רוב השינויים אינם משנים את הדגם עצמו. במילים אחרות, כל בעיות או הטיות פוטנציאליות שקיימות בתוך המודלים יכולים להתפשט גם ליישומים במורד הזרם.

מערכת אקולוגית של AI

בעיני המחברים, פיתוח בינה מלאכותית פתוחה יותר אינו עניין של הערכת מודל אחד בכל פעם. במקום זאת, זה לוקח בחשבון את כל המערכת האקולוגית.

רוב הוויכוחים על פתיחות בינה מלאכותית מחמיצים את התמונה הגדולה יותר. ככל שה-AI מתקדם, "לא סביר שהמרדף אחר פתיחות בפני עצמו יניב תועלת רבה", כתב הצוות. במקום זאת, יש לקחת בחשבון את כל המחזור של פיתוח בינה מלאכותית - מהקמה, הדרכה והפעלת מערכות בינה מלאכותית ועד לשימושים המעשיים שלהן ותמריצים כספיים - בעת בניית מדיניות AI פתוחה.

"תקוותינו בבינה מלאכותית 'פתוחה' בבידוד לא תוביל אותנו לעולם הזה", כתב הצוות.

קרדיט תמונה: x / x