כולם עוברים לחיסכון בטוקנים: איך תוכלו לעשות את זה גם? + ההפסד הענק של OpenAI
עם אלכס גרינשפון
24 Jun 20265 min read40m
TL;DR
OpenAI הוציאה 34 מיליארד דולר בשנה אחת תוך שהכניסה רק 13 מיליארד — פער של 21 מיליארד שממחיש עד כמה מודל ה-AI הנוכחי מסובסד על ידי משקיעים ולא בר-קיימא. במקביל, אלכס גרינשפון מציגה שיטות מעשיות לחיסכון בטוקנים דרך ניהול חכם של קונטקסט וסוכנים, כולל כלי קוד פתוח שחסך לה 40,000 טוקנים לכל סשן.
Key Moments
יואב צוקר
“open AI הוציעה 34 מיליארד דולר בשנה שעברה, הכניסה 13 מיליארד דולר בלבד”
כשהמארחים פותחים את הדיון על הדוחות הכספיים של OpenAI שנחשפו לראשונה על ידי עיתונאי עצמאי
“אני לא יודע מי צודק כולם צודקים כאילו מצד אחד תעשיית הייטק באמת היא מוכרת יותר היא מרוויחה יותר היא מתייעלת אבל ההתייעלות הזאתי מגיעה על חשבון העובדים”
סיכום הדיון על האם AI מחליפה עובדים, לאחר הצגת נתוני הלשכה המרכזית לסטטיסטיקה שמראים גידול בשכר ובמשרות ההייטק
אלכס גרינשפון היא מייסדת שותפה של חברת Tanx Company, חברה לייעוץ והטמעה של AI. היא מתמחה בבניית סוכנים ומערכות AI לחברות וארגונים, ופיתחה כלי קוד פתוח בשם Token Optimizer לחיסכון בטוקנים. גרינשפון מגיעה מרקע לא-טכני ובנתה את כל המערכות שלה ללא ידע קודם בתכנות.
Takeaways
1
40,000 טוקנים נחסכו בסשן אחד עם ניקוי סטאפ אלכס גרינשפון גילתה שהסכולים ה-MCP connectors ותיאורי הכלים שהיא טוענת בכל סשן בזבזו אלפי טוקנים מיותרים. ניקוי והצרת הקונטקסט חסך לה כ-40,000 טוקנים לכל סשן — בלי לפגוע באיכות התוצרים.
2
בנו מוח-תיקייה לסוכן לפני שמתחילים במקום להסביר מחדש בכל סשן מי אתה ומה הפרויקט, אלכס ממליצה לבנות תיקיית קונטקסט מובנית עם מסמכי לקוח, סיכומי שיחות ומשימות פתוחות. הסוכן טוען את התיקייה אוטומטית ומגיע מוכן — מה שחוסך זמן, כסף, וסיבובי שגיאות מיותרים.
3
אל תקנו פריימורק — בנו קונטקסט בעצמכם גרינשפון מזהירה שעתק-הדבק של frameworks קיימים לא נותן תוצאות טובות כי הם לא מתאימים לצרכים הספציפיים שלך. עדיף לבקש מהסוכן עצמו לשאול אותך שאלות ולדלות ממך את המידע הנכון — כך תקבל מוח-קונטקסט שמותאם לך ולא לאחרים.
4
OpenAI מפסידה 21 מיליארד דולר בשנה הדוחות הכספיים של OpenAI שנחשפו מראים הוצאות של 34 מיליארד דולר מול הכנסות של 13 מיליארד בלבד. ההפסד הגיע בין היתר מ-19 מיליארד מו"פ, 5.7 מיליארד שיווק ו-7.5 מיליארד עלויות אינפרנס — כל זאת ערב הנפקה מתוכננת בוול סטריט.
5
SoftBank היא גם משקיעה וגם לקוחה של OpenAI כ-867 מיליון דולר מתוך 13 מיליארד ההכנסות של OpenAI הגיעו מ-SoftBank — המשקיעה הגדולה שלה — בתמורה למוצר לא ידוע בשם 'intelligence'. זה מעלה שאלות קשות על איכות ההכנסות ועל האינטרס של המשקיעה לתמוך בחברה גם כלקוחה.
6
אנטרופיק קרובה לרבעון רווחי ראשון בניגוד ל-OpenAI, אנטרופיק מדווחת על הכנסות של כ-1 מיליארד דולר לרבעון ועלות מחשוב של 56 סנט על כל דולר הכנסה. ההצלחה מגיעה ממודל עסקי B2B, שימוש בשבבים זולים יותר של גוגל ואמזון, ועסקת compute עם xAI של מאסק שעניקה להם הנחה משמעותית.
7
יאן לקון מזהיר מפיצוץ בועת AI אבי הבינה המלאכותית אמר ל-CNBC שאף אחד כיום לא מרוויח מ-AI, העלויות רק גדלות, ורוב השימוש בטוקנים מסובסד על ידי משקיעים. לדעתו, החברות יידרשו להעלות מחירים דרמטית, לקצץ חזק בעלויות, או שנראה קריסה ורכישה.