הסדרה החדשהGeForce RTX 4000הוא כעת מציאות: הכריז על ידי מנכ"ל Nvidia, Jensen Huang, במהלך GTC 2022, הוא יגיע בשלוש גרסאות שונות בסתיו הקרוב.
RTX 4090, ספינת הדגל החדשה שלNVIDIA, עם זיכרון הווידאו של 24 ג'יגה-בייט שלו, יהיה זמין החל מה-12 באוקטובר, בעוד שה-RTX 4080 יגיע בנובמבר, אבל בשתי גרסאות נפרדות: אחת עם 16 ואחת עם 12 ג'יגה-בייט, עם הפרש מחיר בין השניים של כ-300 יוֹרוֹ.
ברור שביצועי כרטיסי המסך החדשים זכו לעלייה משמעותית בהשוואה לסדרות הקודמות, אך במהלך המצגת, הואנג שם דגש רב על חידושים בתחום שלבינה מלאכותית. ברור מיד, אם כן, שהחברה מתמקדת מאוד בפיתוח טכנולוגיות שיכולות לגרום לכרטיסים לעבוד בצורה חכמה יותר, ולא רק בהגדלת כוח החומרה הטהור.
למעשה, בין התכונות החדשות, הDLSS 3, איטרציה חדשה של טכנולוגיית הלמידה העמוקה של NVIDIA. כלי כבר שימושי במיוחד ובמובנים מסוימים מדהים, שהצליח להקל על עומס העבודה עבור כל סדרת ה-RTX, וכעת, עם סדרת 4000, הוא מתעדכן כדי לנצל בצורה הטובה ביותר את המשאבים הזמינים ובכך להגביר את הביצועים הגרפיים. DLSS 3 יורכב משלושה אלמנטים עיקריים: Super Resolution, NVIDIA Reflex ו-Frame Generation.
במהלך פגישה סגורה עם העיתונות, סגן הנשיא של מדור מחקר הלמידה העמוקה של החברה פרט על טכנולוגיה זו, וסיפר לנו לעומק את המאפיינים העיקריים של ה-DLSS 3 החדש.
מאת סטפנו וינצ'י
"כשהתחלנו לעבוד עם מעקב אחר קרניים מסדרת RTX, ידענו שנעמוד בפני מאמץ חישובי אינטנסיבי באמת. ידענו גם שהתמודדות עם הבעיה באמצעות כוח גס לא יהיה הפתרון, אבל במקום זאת שמנו לב מיד לבואם של התקדמות בתחום. תחום הבינה המלאכותית עבורנו זו הייתה ההזדמנות להגדיר מחדש את תהליך העיבוד הגרפי". בריאן קטנזארו - סמנכ"ל, מחקר למידה עמוקה יישומית
התוצאה הייתה הDLSS(סופר דגימת למידה עמוקה), טכנולוגיה המבוססת על שימוש אינטנסיבי בTensor Coreשל GPUs מסדרת RTX: באמצעות למידת מכונה ובינה מלאכותית, DLSS יכול ליצור מחדש תמונות ברזולוציה גבוהה ברזולוציה נמוכה יותר. פונקציה זו קיבלה את השם של Super Resolution, ואפשרה לנו להפחית את עומס העבודה בעיבוד פריימים בודדים, והותירה את המשימה של יצירת חלק מהתמונה לבינה מלאכותית. בדרך זו, ה-GPU יכול לעבוד בצורה זריזה יותר, ולחשב כמות קטנה יותר של פיקסלים על המסך. מה שכמובן מתורגם לעלייה בביצועים: קצבי פריימים גבוהים יותר ותגובתיות רבה יותר, אפילו ברזולוציות גבוהות ועם אפקטים אקטיביים של מעקב אחר קרניים.
ה-AI היה בתחילה "אומן" לשחזר את הפריימים של משחקי וידאו ספציפיים, כגון Battlefield V ו-Metro Exodus. ניסוי מוצלח ראשון, שעם זאת דרש הכשרה ייעודית לבינה מלאכותית עבור כל כותרת נתמכת בודדת.
זה הוביל מפתחים להציג את ה- Neural Graphics Framework (NGX), פרוטוקול שמאמן את הרשת העצבית באמצעות עשרות אלפי תמונות ברזולוציה גבוהה. הודות לשימוש בכלי החדש הזה, הרשת ממש למדה לשחזר מסגרות משחק, מחושבות ועיבוד ברזולוציה נמוכה, ולהחזיר את התמונה לרזולוציה גבוהה יותר.
מעין הגדלה המנוהלת על ידי ה-AI של NVIDIA, שעם זאת אינו מגביל את עצמו לעבודה על תמונת המקור. למעשה, DLSS לוקח בחשבון גם את וקטורי התנועה שנוצרו על ידי מנוע המשחק: אלו הם לא יותר ממידע פשוט המחושב בזמן אמת על ידי המנועים, ומצביעים על הכיוונים שבהם עוברים האובייקטים בסצנה ממסגרת אחת לאחרת. . בעזרת הנתונים הללו, הרשת יכולה לזהות אלמנטים נעים ולהעריך כיצד ייראה הפריים הבא.
לבסוף, המסגרת המעובדת באופן מסורתי, ברזולוציה נמוכה, מושווה למסגרת האחרונה ברזולוציה הגבוהה שנוצרה, כדי לקבוע בדיוק כיצד לפעול בשחזור התמונה החדשה שתוצג על המסך.
בקיצור, צעד משמעותי קדימה, שהוצג כעדכון לטכנולוגיה הראשונית, וקיבל את השם DLSS 2.0.
יצירת מסגרת
מה שהצוות עובד כעת עליו עבור הדור השלישי של ארכיטקטורת ה-RTX שלו, ADA Lovelace, הוא עדכון נוסף של הטכנולוגיה הזו, שתהפוך ל-DLSS 3 האמיתי.
בנוסף לניסיון שצבר ה-AI בשחזור תמונה עם Super Resolution, אשר מייצר כעת חלק גדול מהפיקסלים על המסך, גרסה חדשה זו מציגההדור של כל המסגרת, מה שיאפשר לך להגביר את הביצועים בצורה משמעותית עוד יותר.
המסגרת ה"היברידית", המוצגת ברזולוציה נמוכה ומשוחזרת על ידי Super Resolution, מתחלפת במסגרות שנוצרו במלואן על ידי AI. תהליך שנקרא בדיוקיצירת מסגרת, מה שבכך גם מאפשר לך להשפיע לטובה על ביצועי המעבדים, במיוחד באותם משחקים שדורשים עבודה רבה מהמעבד, כמו Microsoft Flight Simulator, שחייב לנהל את הסימולציה של כמות גדולה מאוד של אלמנטים .
מדוע Frame Generation בלעדי לסדרת 4000?
כדי לנצל את הפונקציונליות החדשה הזו, הכרטיסים החדשים מסדרת GeForce RTX 4000 מצוידים בליבות Tensor מהדור הרביעי, המסוגלים לנהל בו-זמנית תהליכים עצביים שונים עבור כל מסגרת בודדת, ואתמאיץ זרימה אופטי, חומרה המוקדשת במיוחד לארכיטקטורת ADA Lovelace החדשה, המתמחה באחד מתהליכי המפתח של Frame Generation.
"האתגר להשיג יצירת פריימים נכונה היה תובעני בהחלט, וזו הסיבה שאף אחד עד היום לא ניסה עדיין להשתמש במערכת הזו", מסביר Catanzaro. "צריך לוודא שהאובייקטים נעים בצורה קוהרנטית, ללא חפצים או עיוותים. בלי לקחת בחשבון שיש צורך להתמודד עם ממשקי המשחק ושינויי סצנה, וכל זה חייב להיות מחושב בהשהייה אינסופית באמת על מנת לאפשר לשמור על קצב פריימים גבוה".
ארכיטקטורת ADA Lovelace החדשה פותחה למעשה כדי להשתמש בתהליך ה-Optical Flow החדש.
זהו תהליך מחקר, שמטרתו לזהות את השינויים בתמונה בין פריים אחד למשנהו, כדי להיות מסוגל לזהות ולצפות את תנועת האלמנטים במשחק כך שבינה מלאכותית תוכל להתערב כדי לשנות את התמונה הבאה ל נוֹף. ההבדל בהשוואה למערכת וקטור התנועה שהוצגה עם DLSS 2 טמון בדרך ההתממשקות שלה עם אפקטים של מעקב אחר קרניים.
על ידי יצירת הפריימים החל רק מהמידע המסופקים על ידי וקטורי התנועה, למעשה, חלק מהאלמנטים במשחק שמושפעים ישירות, או אפילו נוצרים, מהעקיבה של האור (שתי דוגמאות מעל הכל: צללים והשתקפויות), יצירת גרפים של חפצים מעצבנים. זה קורה מכיוון שווקטורי התנועה, המשדרים מידע גיאומטרי גרידא, אינם מסוגלים (בעצמם וללא תמיכה של תמונה מעובדת באופן מסורתי, אפילו ברזולוציה נמוכה) לספק ל-AI פרטים על תנועת האור המנוהל באמצעות מעקב אחר קרניים והאינטראקציה שלו עם אלמנטים על המסך.
שיהיה ברור, צל של מכונית נוסעת, המוטל על הכביש שמתחתיה, אינו זז עם הכביש כשהמכונית מאיץ. זה מוביל לכך שהפריימים שנוצרו במלואם על ידי הבינה המלאכותית מציגים את הצל מעט מוזז בהשוואה למקום שבו הוא אמור להיות באופן טבעי, מה שביניהם הפריימים ה"היברידיים" שנוצרו באמצעות Super Resolution, גורם לאפקט הבהוב לסירוגין.
עם זאת, באמצעות וקטורי תנועה קלאסיים, בשילוב עם מערכת חיפוש הפיקסלים שמספקת Optical Flow, ניתן לזהות מצבים אלו ולשחזר באופן אמין אפילו את אפקטי מעקב הקרניים המורכבים ביותר.
ה-Optical Flow Accelerator הוא רכיב החומרה שפותח במיוחד עבור ADA Lovelace וסדרת RTX 4000, ולכן מאפשר לך להשתמש נכון בכלי מפתח בתהליך יצירת המסגרת.
ובדיוק מסיבה זו התהליך המדובר נותר מאפיין בלעדי של ה-GeForce RTX 4000: התכונה החדשה, כפי שאמרנו, מבוססת על סדרה של טכנולוגיות וחומרה הקיימים רק בכרטיסי ה-NVIDIA החדשים: האופטי. תהליך הזרימה, המנוהל בעיקר על ידי רכיב החומרה הייעודי שלו ב-4000, מאיץ הזרימה האופטי, הוא מרכיב חיוני בכל הנוגע ליצירת מסגרת המנוהלת לחלוטין על ידי AI. השימוש ב-Frame Generation ללא תמיכה בנתונים ששוחזרו הודות לארכיטקטורת ADA Lovelace יהיה בלתי אפשרי בגלל ההשפעות של מעקב אחר קרניים. האחרונים עדיין נשארים הרכיב היקר ביותר מבחינת משאבים לעיבוד התמונה, עד כדי כך שהם המרכיב העיקרי שעבורו נוצר DLSS בתחילה.
רפלקס NVIDIA
לאחר ה-Super Resolution המנוסה ותהליך Generation החדש של Frame, השלים את השלושער על ידירפלקס NVIDIA, אשר מתאם את זרימת המידע המוחלפת בין המעבד וה-GPU, ומאפשר להפחית משמעותית את זמן השהיית הקלט.
זה אפשרי הודות לאופטימיזציה של צינור העיבוד: בדרך כלל, הקלט מתחיל מהציוד ההיקפי, העכבר, המקלדת או הבקר, ומעובד על ידי ה-CPU. בשלב זה, המעבד מכניס את הקלט לתור רינדור, שממנו כרטיס המסך יכול לצייר הוראות לעיבוד התמונה על המסך. המערכת המסורתית בנויה בצורה זו כדי לאפשר ל-GPU תמיד להיות עם תור של הוראות לצייר ממנו ברגע שהעיבוד הקודם הגיע לסיומו, ובכך להיות מסוגל לעבוד ללא הרף וללא האטות. אבל תור ההוראות הזה, מכתיבתור לעיבוד, כרוך בהכרח מסויםחֶבִיוֹןבין הזנת הקלט לבין העיבוד שלו בפועל על המסך.
NVIDIA Reflex לא עושה יותר מאשר להכניס את המעבד וה-GPU לתקשורת ישירה, כך שניתן לשלוח הוראות ישירות מהמעבד לכרטיס המסך. מכיוון שיש תיאום בין שני הרכיבים, ניתן להעביר הוראות בתזמון הנכון, כדי לספק כל הזמן את ה-GPU בכל פעם שהעבודה הקודמת מסתיימת. על ידי כך, כרטיס המסך יכול "לקפוץ לתור" (תרתי משמע) ולחסוך אלפיות שניות יקרות בין לחיצה על מקש לבין הפעולה המוצגת על המסך.
תכונה זו הופכת כעת לבסיסית לתפקוד נכון של DLSS 3 ומפתחים שרוצים להשתמש בטכנולוגיה המעודכנת בתוך הכותרים שלהם יצטרכו להבטיח את התאימות של מנוע המשחק עם Reflex.
באוקטובר נתחיל לראות את המשחקים הראשונים עם תמיכה מלאה ב-DLSS 3, אשר תחילה יהיה יותר מ-35. זה הופך את DLSS 3 לאחד מהעדכונים הטכנולוגיים המאומצים ביותר בתעשייה.
אילו כרטיסים תומכים ב-DLSS 3?
האיחוד של שלוש הטכנולוגיות הללו נותן חיים ל-DLSS 3 החדש, שלמרות שאינו בלעדי לסדרת 4000, לא יתמכו באותה צורה על ידי כל דורות הכרטיסים הגרפיים. שָׁםתְאִימוּתהוא למעשה מובטח בכל סדרת ה-RTX, אך במקרים מסוימים ייתכן שפיצ'ר אחד או יותר לא יהיה זמין.
ניתן להשתמש ב-NVIDIA Reflex גם בכרטיסים שלפני מהפכת ה-RTX, כולל כל כרטיסי המסך מסדרת GeForce 900 ואילך.
המצב שונה לגבי ה-Super Resultion, שצריכה בהכרח סדרת GeForce RTX, 20, 30 או 40 כדי לעבוד.
התכונה הבלעדית היחידה בפועל שתהיה זמינה רק ב-GeForce RTX 4000 החדש היא תהליך יצירת המסגרת. הסיבה לכך היא שהפיצ'ר החדש, כפי שאמרנו, מבוסס על סדרה של טכנולוגיות וחומרה הקיימים רק בתוך כרטיסי ה-NVIDIA החדשים: תהליך ה-Optical Flow, המנוהל בעיקר על ידי רכיב החומרה הייעודי שלו ב-4000, מאיץ הזרימה האופטי (Optical Flow Accelerator).
