מדי פעם, בשיחות סלון... עולה בשיחה השאלה

מה ההבדל בין סוגי הReality השונים?

בין Virtual-reality)  VR)  לבין Augmented-Reality) AR)  ו (MR  (Mixed-Reality

בואו ננסה להבין את ההבדלים בין שלושת הטכנולוגיות הללו.

VR    הייתה הטכנולוגיה הראשונה שפותחה.

     טכנולוגיה פשוטה יחסית.

     טכנולוגיה המאפשרת לראות מציאות וירטואלית בתלת מימד.

כך זה עובד:

אנחנו מנצלים את העובדה שהראיה התלת מימדית שלנו נובעת בעיקר מהעובדה (נחזור בהמשך ל"בעיקר") שכול עין רואה תמונה שונה במקצת מהשניה. בזוית שונה. יש פזילה קטנה בין העיניים. ככול שהעצם קרוב יותר הפזילה גדולה יותר ולהפך- ככול שהעצם רחוק יותר הפזילה קטנה יותר. המוח שלנו יודע לתרגם את ההבדל בין שני התמונות למודל תלת מימדי של העולם ואת גודל " הפזילה" למרחק מהעצם. ושוב -בעיקר, נחזור בהמשך ל"בעיקר" הזה, כשנדבר על הבעיות של הטכניקות הללו.

מה ההחברות שמוכרות משקפי VR עושות?. בונים משקפיים -שבדרך כלל  נראות יותר כמו משקפי צלילה. כול עין רואה תמונה המוקרנת על מסך LCD  קטן. כול תמונה נראת בזוית שונה במקצת, והמוח מתרגם את ההבדל הזה לראיה של עולם בתלת מימד. ישנם חברות רבות המייצרות משקפיים כאילו. המחירים מגיעים מכמה עשרות שקלים עד לכמה מאות דולרים. באיכויות דיי סבירות. מה אפשר לעשות עם המשקפיים הללו? לא הרבה. קצת סרטים, קצת משחקים, זהו. כעובדה - משקפיים מהסוג הזה לא זכו להצלחה מרובה.

AR    הגיעה בהמשך.

מה זה Augmented-Reality  ) AR) או בעברית "מציאות רבודה"?

אנחנו רואים את המציאות (בדרך כלל דרך משקפיים ) כאשר על המשקפיים מוקרן מידע נוסף.

הצורה הפשוטה ביותר של AR  כוללת פריטי מידע שאינם קשורים לעולם הממשי. לדוגמה נתונים בתצוגה עילית של מטוסי קרב או במכוניות (למשל מהירות). פריטים אילו קל להציג מכוון שהם מופיעים במקום קבוע ואין צורך להתייחס לתמונת העולם האמיתי.

הצורה המתוחכמת יותר של AR היינה הצגה של פריטי מידע וירטואלי באופן שייראה למשתמש כאילו הם צמודים לפריטים בעולם האמיתי. למשל – אתה הולך ברחוב ומקבל מודעות פרסומת רלוונטיות לחנויות בעולם האמיתי. נכון, חברות רבות ישמחו לספק לכם פרסומות בצורה זו. רובנו לא נשמח לזה.

המשקפיים הראשונות שGoogle   שיווקו GoogleGlass, היו מהסוג הזה. שוב – הרבה הצלחה לא הייתה שם.

בינתיים דיברנו על (VR (Virtual-Reality  ועל  (AR ( Augmented-Reality והגענו למסקנה שהטכנולוגיות הללו לא כול כך מענינות וחוץ מכמה נישות וקצת מאוד שימושים המוצרים הקיימים לא ממש מעניינים (ועובדה – כמעט אף אחד לא קונה מוצרים כאלו).

הסוג השלישי (MR (Mixed-Reality   מציאות מעורבת - הוא הסוג המעניין,     סוג המציאות שכשיבשיל ישנה את כללי המשחק בתחומים רבים אבל - כמו שכבר אמרתי "לא לעצור את הנשימה בציפייה למוצר שכדאי לקנות", בהמשך אסביר למה.

מה זה MR ?

בMR  אנחנו רואים את המציאות דרך משקפיים מעבירות למחצה והמחשב מקרין תמונה על עדשות המשקפיים כאשר התמונות המוקרנות  על המשקפיים צמודות לעולם האמיתי, וצמודות היטב. למשל, אם נניח אגרטל (וירטואלי) על שולחן (אמיתי) האגרטל ישב על השולחן, לא מעל לשולחן ולא בתוך השולחן. כשנזיז את השולחן האגרטל יזוז איתו. כשנזיז את הראש (עם המשקפיים) האגרטל (הוירטואלי) לא יזוז עם התזוזה של המשקפיים שעל האף שלנו אלא יישאר על השולחן (האמיתי) במקום ששמנו אותו.

בשביל מה זה טוב?

טוב. זו בדיוק שאלת המיליארד דולר (או הרבה מיליארדי דולרים).

המשקיעים בתחום הזה (שכבר השקיעו הרבה מליארדים של דולרים ) מאמינים שיהיו לכך הרבה שימושים ושהרבה אנשים יקנו את המשקפיים הללו (ושהמכירות הללו יכניסו להם הרבה כסף) אבל יותר מאשר ההכנסות ממכירת המשקפיים, הם ירוויחו הרבה כסף ממכירת תוכנות נלוות והרבה כסף משרותים שייווצרו  מסביב לשוק הזה.

אחת החברות המובילות בתחום ועד לזמן האחרון אחת המבטיחות והמסקרנות הינה MagicLeap. החברה הוקמה על ידי רוני אבוביץ ב 2010 ובמספר סבבים גיסה כ3.5 מליארד דולר (כן,זה לא טעות- 3.5 מליארד !). הכסף הגיעה מJack_Ma המייסד והבעלים של AlliExpress  (כמה מאות מיליוני דולרים). Google (כמה מאות מיליוני דולרים). חברת טלפוניה מובילה מיפן (כמה מאות מיליוני דולרים) ועוד. שוב, סה"כ מעל 3.5 מליארד דולר!!. בתקופה האחרונה לקחה Magic Leap הלוואה של חצי מיליארד דולר!. הלוואה שאותה יהיה צורך להחזיר. איך?. מאיזה כסף?.  לא ממש ברור. אבל, בואו נחזור לטכנולוגיה.

טוב - איך זה עובד.

הבסיס לטכנולוגיה הזו הינם עדשות מיוחדות, שבקצה אחד מוקרנת תמונה שמיוצרת על ידי מחשב ( Virtual ). התמונה "מוזרקת" לתוך אזור מיוחד בקצה העדשה מועברת על ידי סריג מיוחד לאזור שמול העין, האזור שדרכו רואים את העולם (ה Reality ) ומשם התמונה מוקרנת לכיוון העין של המשתמש. כמו שכבר הסברתי בפוסט הראשון, לכל עין מוקרנת תמונה שונה במקצת, המוח שלנו יוצר את התמונה התלת מימדית של העולם בעזרת ה"פזילה של העיניים".

העדשות המיוחדות הללו הם בעצם הפטנט העיקרי של החברות שמנסות ליצר משקפיים מהסוג הזה. מי מנסה ליצר משקפיים כאילו? חברות "קטנות" כמו

   Apple    Facebook    Microsoft וכמובן MeagicLeap  

חלק מהם מפתחים אותם בעצמם וחלק קונים חברות שפיתחו עדשות כאלו.

איך עושים את ההצמדה של העצמים הווירטואליים לעולם האמתי?

למשקפיים מחוברת מצלמה (או שניים) שנקראת מצלמת עולם. המצלמה  מעבירה למחשב את תמונת העולם והמחשב מקרין את התמונות הווירטואליות על העדשה במקום מתאים, כך שהצופה שמשתמש במשקפיים יראה את התמונה במקום הנכון על העולם האמיתי. כמובן שכשאנו מזיזים את הראש התמונה צריכה לזוז על המשקפיים כך שהיא תשאר צמודה לעצם האמיתי בעולם האמיתי. כמובן שלעשות זאת במהירות מתאימה זה מאוד לא פשוט וצריך מעבדים חזקים מאוד ותוכנה חכמה מאוד.

Head Position – תכונה שהמערכת צריכה כדיי לדעת לאן אנחנו מסתכלים. לאיזה חלק של העולם האמיתי, ולזהות תזוזות של הראש.

תכונה נוספת שנדרשת למשקפיים מהסוג הזה היינה מעקב אחרי העיניים של הצופה באנגלית - Eye Tracking, למה?. אנחנו יודעים שהרזולוציה שאנחנו רואים איננה אחידה בכול שדה הראיה שלנו, במרכז ישנו אזור  עם רזולוציה מקסימלית ובקצוות של שדה הראיה ישנה רזולוציה נמוכה מאוד. באזור הזה אנחנו רואים בעיקר תזוזה. למה זה חשוב? באזור עם הרזולוציה הנמוכה התמונה הווירטואלית מוקרנת ברזולוציה נמוכה, למה? כדי לחסוך כוח מחשוב (תמיד חסר) ולחסוך אנרגיה וכך להגדיל את הזמן בין טעינה לטעינה של הסוללה (פרמטר חשוב מאוד).

טוב. עכשו שאנו מבינים פחות או יותר איך זה עובד - בשביל מה זה טוב?.

את השאלה הזו שאלו את סמנכ"ל התוכן של Magic Leap. ליתר דיוק, הוא נשאל מה האפליקציה שתשכנעה את כל העולם לקנות משקפיים של MagicLeap והתשובה שלו הייתה "לא יודע". מה?!!! הייתה התגובה. אתה האיש שאמור לענות על השאלות הללו. זה התפקיד שלך לפתח אפליקציות (ליתר דיוק לשלם לאנשים שיפתחו אפליקציות). ואז הוא הסביר שאנחנו עדיין לא יודעים מה האפליקציה העיקרית והחשובה שתשלוט בשוק של הMR והוא הסביר "זוכרים מה הייתה האפליקציה ששכנעה אתכם לקנות את smart phone הראשון שלכם?" הוא דיבר כמובן לאנשים שנולדו לפני smart phone -הילדים של היום לא מכירים עולם בלי.

אתם זוכרים מה שכנעה אתכם לעבור מטלפון נייד שידע רק לבצע שיחות טלפון לטלפון חכם? מצליחים לזכור?

אותי ואת רוב האנשים התכונה העיקרית בטלפון החכם היתה המצלמה. ותראו מה עושים היום עם הטלפונים האלו. כמעט הכל. הרבה יותר מאשר טלפון.

למעשה הפונקציה "טלפון" הפכה להיות פונקציה די משנית.

כמובן שלסמנכ"ל הזה היו הרבה רעיונות לאפליקציות רבות, הוא רק ניסה להראות שבתחום הזה קשה לצפות את העתיד.

אז בואו נראה מה הרעיונות המובילים שמשכנעים משקיעים להשקיע סכומים עתק הנדרשים לפתח משקפיים מהסוג הזה, ורק לזכור שבדרך כלל המציאות עוברת את הדמיון הכי פרוע שלנו.

Jack_Ma מיסד ובעל מניות העיקרי בקבוצת "עליבאבא" (בעלת אתר המכירות AlliExpress )  השקיעה מאות מיליוני דולרים ב MagicLeap כדי שכשתירצו לקנות מוצרים בAlliExpress  תוכלו להוריד אותם מהקטלוג  ולראות איך הם משתלבים בעולם האמיתי, כך כנראה שתקנו יותר מוצרים.  כמובן שבאותה צורה תוכלו להוריד מוצרים מכל קטלוג מקוונן (IKEA למשל)  ולוודא איך המוצרים מתאימים לעולם האמיתי. איך השולחן הווירטואלי מתאים לפינת האוכל ואיך הבגד החדש שאתם רוצים לקנות מתאים לכם.

Google השקיעה מאות מיליוני דולרים בMagicLeap כדי שבמקרה והפיתוח שלהם לא יצליח יהיה להם משקפיים של MR שיתחברו למערכת ההפעלה שלהם. למה  Google צריכים משקפיים כאלו?Google  רוצים קשר לכל מה שעובד עם מחשבים ושמאפשר להם לקבל עלינו מידע.

משקפיי MR יוכלו להחליף את הטלפונים הסלולריים. היום השימוש העיקרי של הטלפונים הסלולרים הינו הצג שלו (החלק של הטלפון לוקח חלק קטן בלבד מהאלקטרוניקה של הטלפונים הסלולרים-מי שלא מאמין מוזמן לבדוק את צריכת החשמל של הצג לעומת צריכת החשמל של הטלפון). כל הפונקציות של המדיה יעבדו הרבה יותר טוב על המשקפיים הללו, רק לדמיין את כל המדיה החברתית על מסך ענקי ובתלת מימד. מהר מאוד יצרנית של משקפיים כאלו תהפוך גם ליצרנית של טלפונים סלולרים. חברה כזו תהפוך ליצרנית טלפונים מובילה - לApple  חדשה.                                                                                                 

מה משקפי MR יתרמו למחשבים? תתארו לכם שכשאתם עובדים עם מחשב או מחשב נייד תוכלו להציב מסביבכם סוללה של מסכים וירטואלים ולעבוד אתם, במקום לעבוד עם המסך המוגבל של המחשב הנייד.

תחשבו מה משקפיים מהסוג הזה יעשו לתחום של ה .Gamingכל המשחקים שישלפו מפלצות מתחת למיטה שלכם. קרבות שיערכו על פני השטח האמיתי.

תוכנות  AUTOCAD אפשר יהיה בקלות לבדוק התאמה של חלקים שתכננתם לעולם האמיתי.

הוראות הרכבה של DIY (do-it-yourself). תיקונים לחובבים ולטכנאים

רופא שיוכל לראות צילום רנגן או  MRI מוקרן על החולה שלו בזמן אמת.

בזמן נהיגה תוכלו לראות  את המפה של Waze  או  Google Map  או התראות מהרכב  בלי להוריד את העיניים מהכביש.

וזאת רק רשימה ראשונית.

אם המוצר כל כך נפלא, למה עדיין אין משקפיים כאלה בחנויות? זוכרים שהצעתי לא לעצור את הנשימה בציפיה למוצר?

 

טוב. עכשו הגיעה הזמן להבין מדוע עדיין אין לנו את המשקפיים הנפלאים הללו.

התשובה פשוטה, מסתבר שמאוד מאוד (אבל באמת מאוד) קשה לייצר משקפיים כאלו...

א. מכוון שכמובן הן צריכים להיות קטנות  מספיק בכדי שיהיה נוח להשתמש איתם   (משקפיים על האף – זוכרים?).

ב. זולות- כדי שהרבה אנשים יוכלו לקנות אותם.

ג. צריכת חשמל נמוכה (אי אפשר לרוץ לשקע לטעון אותם כל הזמן)

ד. בהירות גבוהה של ההקרנה על המשקפיים שתאפשר לעבוד איתם גם מחוץ  לבית (outdoor)

ה. הבעיה הגדולה ביותר שהמשקפיים צריכות להיות נוחות לשימוש ממושך.

סעיפים א ב ג וד  ברורים יחסית. סעיף ה קצת פחות. בואו נדבר עליו תחילה

כאשר יצאו לשוק המשקפיים הראשונות של מציאות מדומה התברר שלאנשים רבים (ואולי לרובם) קשה להשתמש במשקפים לזמן ממושך. אחרי זמן מה רוב האנשים חווים משהו שדומה למחלת ים, בחילה, סחרחורת (nausea) .למה? 

ההסבר הפשוט (למי שלא רוצה להתעמק יותר מדי) - במציאות ראיית העומק שלנו כרוכה גם במיקוד (פוקוס) של עדשת העין שלנו, במשקפיים שיש היום העין ממוקדת למרחק אחד וההבדל במרחקים נובע רק מה"פזילה" של העיניים. המוח "מרגיש שעובדים עליו" ומגיב בnausea .

והסבר מעט יותר טכני ומפורט. הבעיה נובעת בעיקר בגלל השיטה בה אנו מייצרים תחושה של עומק ושל תלת מימד. זוכרים שבפרק הראשון דיברנו על זה שהראיה התלת מימדית שלנו נובעת בעיקר מהעובדה שכל עין רואה תמונה שונה במקצת מהשניה? בזוית שונה? יש פזילה קטנה בין העיניים. ככול שהעצם קרוב יותר הפזילה גדולה יותר ולהפך- ככול שהעצם רחוק יותר הפזילה קטנה יותר. המוח שלנו יודע לתרגם את ההבדל בין שתי התמונות למודל תלת מימדי של העולם ואת גודל "הפזילה" למרחק מהעצם. ושוב - בעיקר... טוב, זו הבעיה, הבעיקר הזה.

הצורה הנוספת שאנחנו מזהים מרחק מעצמים בעולם האמיתי הינו מיקוד של עדשת העין, וכאן בדיוק הבעיה. בכל סוגי המשקפיים (VR. AR. MR) אנו מקבלים את תחושת העומק רק על ידי הפזילה של העיניים. ז"א עצם שאמור להיות קרוב יותר אלינו התמונות יוקרנו קרוב יותר אחד לשניה (על עדשות המשקפיים). כך שמעבר לאפקט של ה"תלת מימד" הפזילה של העיניים תהיה גדולה והעצם יראה לנו קרוב יותר. כאשר נרצה שהעצם יראה רחוק יותר המחשב יקרין לנו את הדמויות רחוק יותר אחד מהשני (וכמובן קטן יותר) וכך העצם יראה רחוק יותר.

אז מה הבעיה? טוב... המוח שלנו מרגיש שמשהו לא בסדר ואנחנו מנסים לעבוד עליו. התגובה שלו הינה בצורה שהזכרתי. בחילה ( nausea).  וטוב... ללכת עם משקפיים שגורמות לנו למחלת ים, לא הרבה אנשים ירצו.

איך מנסים לפתור את הבעיה הזו?

דרך אחת: במקום עדשה אחת בלבד לשים 2 או 3 עדשות ובהתאם למרחק שהדמות הוירטואלית צריכה להיות הדמות שהמחשב יקרין אותה על העדשה המתאימה. דמות קרובה תוקרן על עדשה אחת. דמות במרחק בנוני תוקרן על עדשה שניה ודמות רחוקה תוקרן על עדשה שלישית. כול עדשה תתוכנן כך שהדמות שמוצגת עליה תוצג במרחק המתאים כך שהעין (העדשה של העין ) תתמקד במרחק המתאים וכך הבעיה תיפתר. (במציאות, העין מתמקדת בצורה רציפה במעבר בין המרחקים -אבל התברר ששלושה מרחקי מוקד פותרים את הבעית ה Nausea) 

יופי של פתרון... שאפילו עובד לא רע כאשר בונים משקפיים לתצוגה - גדולות, כבדות ויקרות (כך ML גייסה את הכסף הגדול בהתחלה) מה שנקרה בעגה מקצועית POC (proof of concept). אבל כשמנסים לבנות משקפיים קלות שאפשר להרכיב על האף, וכמובן שכשהמחיר הופך להיות קריטי הפתרון הזה לא כל כך מעשי.

פיתרון אחר הינו עם עדשה שהפוקוס שלה משתנה לפי "המרחק" של הדמות המוקרנת, כך שהדמות תוקרן במרחק מתאים ושהעין תתמקד לפי המרחק הנדרש. תחושת העומק תתקבל לפי הפזילה של העין וגם לפי הפוקוס של עדשת העין, כך שתחושת העומק תהיה טבעית ונכונה.

נו, אז מה הבעיה?

עדיין אין עדשה כזו. ישנם מספר סטארטאפים שעובדים על עדשה כזו (כולל סטארטאפ בישראל ) אבל עדיין אין עדשה כזו שאפשר יהיה להכניס אותה למוצר (למשקפיים). כנראה שזה יהיה הפתרון.

עובדים על זה... בינתיים עדיין אין מוצר.

בעיה נוספת שגורמת ל nausea נגרמת בגלל שבתהליך הקרנת המידע נוצרת השהייה בגלל זמני מדידה, חישוב והקרנה, כך שנוצרים הפרשים זוויתים בין העולם הוירטואלי לבין העולם האמיתי. התברר שהמוח רגיש מאוד להשהיה הזאת. הדרישה לזמני השהייה קצרים מאוד כשהאדם מזיז את הראש או שהעצמים בעולם האמיתי זזים כך שתשמר התאמה בין העולם האמיתי והעולם וירטואלי, דורשת שימוש בחומרה החזקה ביותר, כולל שימוש בGPU   גרפים החזקים ביותר -של NVIDIA  למשל.                                                                     כיום ע"י שימוש בחומרה חזקה בעיה זו דיי פתורה. מצד שני המחיר של החומרה הזו גבוה מאוד – זוכרים? דיברנו שהמחיר צריך לרדת  בהרבה ... בכדי שהרבה אנשים יוכלו לקנות משקפיים כאלה.

 

זמן מה אחרי שכתבתי ש"מאוד מאוד קשה לייצר משקפיים כאילו..."

..." מתברר שגם בMagicLeap  (שהייתה החברה המובילה בעולם בתחום) הגיעו למסקנה הזו. מעל ל1000 מעובדי החברה בעולם ורוב עובדי החברה בארץ קיבלו מכתבי פיטורים – כולל עבדכם הנאמן, אני

 

מה יקרה הלאה??

מי יצא ראשון עם משקפי MR מוצלחות? משקפיים שאנשים יעמדו בתור כדיי לקנות אותם?

בואו נשאיר משהו למאמר הבא