האם טוקנים בעברית באמת עולים פי 3 מאנגלית?
אולי שמעתם את זה פעם: כדאי לכתוב ל-ChatGPT באנגלית, כי עברית "עולה פי 3". זה נשמע הגיוני, וקשה לבדוק. אז ספרנו בעצמנו, על טקסטים שעסק קטן באמת כותב.
טוקנים בעברית יקרים יותר מאנגלית?
טוקנים בעברית יקרים רק קצת יותר היום. ב-5 בנובמבר 2026 ספרנו 5 טקסטים עסקיים בעברית ובאנגלית במקודדים של OpenAI. במקודד הישן, של GPT-4, העברית דרשה פי 2.8 טוקנים. במקודד של GPT-4o ו-GPT-5 היא דרשה רק 15% יותר, ולכן השמועה על "פי 3" כבר לא מדויקת.
מה זה טוקן, ולמה משלמים לפיו?
מודל שפה קורא טקסט בחתיכות, והחתיכות האלה נקראות טוקנים. מילה נפוצה יכולה להיות חתיכה אחת. מילה נדירה מתפרקת לכמה.
תחשבו על מונה במונית, שמתקדם בקפיצות קבועות של מרחק. ככה בדיוק נספר טקסט שעובר דרך מודל. כשעסק מחבר AI למערכת שלו, למשל בוט שעונה ללקוחות, החשבון בסוף החודש נספר בטוקנים. גם מה שנכנס למודל וגם מה שיוצא ממנו.
את הפירוק עושה המקודד, תוכנה קטנה שיושבת לפני המודל. OpenAI מפרסמת את המקודדים שלה בקוד פתוח, ולכן אפשר להריץ אותם על מחשב רגיל ולספור בדיוק.
מאיפה הגיעה השמועה שעברית עולה פי 3?
היא הייתה נכונה, פחות או יותר. המקודד שעבד עם GPT-4 ו-GPT-3.5 נקרא cl100k, והוא כמעט לא הכיר מילים בעברית. הוא פירק אותן לשברים קטנים, לפעמים חצי אות לחתיכה.
דוגמה אחת מהספירה שלנו: המילה "לקוחות" תפסה אצלו 7 טוקנים. המילה customers תפסה טוקן אחד.
כל מקודד לומד מתוך כמויות גדולות של טקסט, ומה שמופיע הרבה מקבל חתיכה משלו. כשיש מעט עברית בחומר שממנו הוא למד, העברית נשארת מפורקת.
איך ספרנו, ומה יצא?
כתבנו 5 טקסטים קצרים, מהסוג שעסק קטן כותב כל שבוע:
- פנייה של לקוחה שרוצה לנקות ספה עם כתם קפה
- תשובה עם מחיר ומועד פנוי ביום חמישי
- תיאור של בקבוק שמן זית מהגליל
- תגובה לביקורת על עוגה שהגיעה בזמן
- פוסט על 20% הנחה לנעלי ריצה
תרגמנו כל אחד לאנגלית, משפט מול משפט.
אחר כך העברנו את 10 הטקסטים בשני המקודדים של OpenAI: הישן, cl100k, והחדש, o200k, שלפי הקוד של OpenAI עובד עם GPT-4o, GPT-4.1 ו-GPT-5.
במקודד הישן הפער היה פי 2.8, כמעט בדיוק השמועה. במקודד החדש אותם טקסטים בעברית תפסו 263 טוקנים, מול 229 באנגלית. זה 15% יותר.
והעברית עצמה הפכה זולה בהרבה: מ-647 טוקנים ל-263, בערך פי 2.5 פחות על אותן מילים בדיוק.
למה טוקנים בעברית מתחלקים אחרת מאנגלית?
כי עברית דחוסה. אותם 5 טקסטים יצאו בעברית 131 מילים, ובאנגלית 187. בערך 30% פחות מילים.
מצד שני, כל מילה עברית סוחבת יותר. "שמטפטף" היא באנגלית שלוש מילים, that is dripping, ואצלנו הכול נדבק למילה אחת. בממוצע מילה בעברית תפסה 2 טוקנים במקודד החדש, ומילה באנגלית 1.2.
שתי התכונות כמעט מקזזות זו את זו. פחות מילים, יותר חתיכות לכל מילה, ובסוף החשבון קרוב לזה של אנגלית. בתגובה לביקורת, למשל, יצא תיקו מלא: 40 טוקנים בכל שפה.
אז כמה זה משנה בחשבון של העסק?
מי שמשתמש בצ׳אט במנוי חודשי לא רואה טוקנים בכלל. המחיר קבוע, והשפה לא משנה אותו.
הטוקנים מגיעים לחשבונית כשמחברים AI למערכת: סוכן AI שעונה ללקוחות באתר, או אוטומציה שמנסחת תשובה לכל מייל שנכנס. נניח שעבודה כזו הייתה עולה 100 ₪ בחודש באנגלית, באותו מחיר לטוקן. בעברית, במודל חדש, היא תעלה בערך 115 ₪. במודל ישן, בערך 280 ₪.
כלומר הבחירה במודל משנה את החשבון הרבה יותר מהבחירה בשפה. ולכתוב ללקוח ישראלי באנגלית כדי לחסוך 15 ₪ זה רעיון שעדיף לוותר עליו.
מי עדיין משלם את המחיר הישן?
מי שהבוט שלו נבנה לפני כמה שנים ולא עודכן מאז. תוסף צ׳אט באתר, או חיבור ישן בין מערכות, יכולים להמשיך לעבוד על GPT-3.5 או GPT-4 בלי שאף אחד שם לב. הכול עובד, והחשבון פשוט גבוה יותר.
לבדוק איזה מודל עומד מאחורי כל חיבור באתר זה חלק ממה שאנחנו עושים בתחזוקת אתרים, יחד עם עדכון התוספים עצמם.
ומה שלא בדקנו: ספרנו רק במקודדים של OpenAI, כי הם פתוחים ורצים על המחשב בלי לשלוח טקסט לאף אחד. אצל Anthropic וגוגל הפירוק של עברית יכול לצאת אחר, ושם כדאי להסתכל על החשבון בפועל.
איך מעריכים את הטוקנים של העסק שלכם בלי שום כלי?
מספיקים מחשבון ו-5 דקות:
- קחו מייל טיפוסי שעניתם עליו השבוע, יחד עם התשובה שלכם.
- ספרו את המילים. ב-Google Docs היא בתפריט "כלים", וב-Word היא מופיעה בשורה התחתונה של החלון.
- הכפילו ב-2. זה בערך מספר הטוקנים בעברית במודל חדש, לפי הספירה שלנו.
- הכפילו במספר המיילים בחודש. עכשיו יש לכם הערכה גסה של הנפח שבוט היה צורך.
- שאלו את מי שבנה לכם את הבוט או את האוטומציה איזה מודל עובד שם. אם התשובה היא GPT-3.5 או GPT-4, שווה לשאול על מעבר.
אם עוד אין לכם חיבור כזה, ההערכה הזו עוזרת להחליט אם בכלל שווה להקים אחד. את ההחלטה הזו אנחנו מפרטים בעמוד על אוטומציות לעסקים.
שאלות על טוקנים בעברית
ניקוד ואימוג׳י מוסיפים טוקנים?
הרבה יותר ממה שנדמה. במקודד החדש "שלום" היא טוקן אחד, ו"שָׁלוֹם" עם ניקוד תפסה 7. "תודה רבה" תפסה 3 טוקנים, ועם ניקוד 13. אימוג׳י של ידיים מתפללות הוסיף 2. בטקסט שנשלח למודל, ניקוד כמעט אף פעם לא נחוץ.
המספרים שלכם נכונים לכל טקסט בעברית?
הם נכונים ל-5 טקסטים קצרים ויומיומיים. גם בתוכם היה פיזור: בתגובה לביקורת יצא תיקו, ובתיאור שמן הזית העברית דרשה 34% יותר. טקסט עם הרבה מונחים מקצועיים או שמות נדירים יתפרק כנראה ליותר חתיכות.
גם Claude ו-Gemini מפרקים עברית באותה צורה?
את זה לא מדדנו. לכל חברה יש מקודד משלה, והתוצאה בעברית יכולה להיות שונה. הדרך הפשוטה לדעת היא להריץ את אותה משימה בשתי השפות ולהשוות את השימוש שמופיע בלוח הבקרה של הספק.
טוקנים משפיעים גם על כמה טקסט המודל זוכר?
בהחלט. גם הזיכרון של המודל בתוך שיחה, שנקרא חלון הקשר, נמדד בטוקנים. במקודד הישן עברית מילאה אותו פי 2.8 מהר יותר מאנגלית. במודלים החדשים הפער קטן, ולכן מסמך ארוך בעברית נכנס כמעט כמו התרגום שלו.
איך יודעים איזה מודל עובד מאחורי הצ׳אט באתר?
בדרך כלל זה כתוב בהגדרות של התוסף, ליד מפתח ה-API. אם אין לכם גישה להגדרות, שאלו את מי שהתקין אותו. שווה לבקש גם צילום של עמוד השימוש אצל ספק המודל, כדי לראות כמה טוקנים נצרכו בחודש האחרון.
לא בטוחים על איזה מודל הבוט שלכם רץ?
שלחו לנו את כתובת האתר, ונבדוק איזה מודל עומד מאחורי הצ׳אט או האוטומציה, והאם מעבר למודל חדש יוריד את החשבון.