Logo Leicom ITEC AG
Spiegelung Gebäudefassaden Spiegelung Gebäudefassaden

NVIDIA and the new paradigm of artificial intelligence.

15.01.2025

NVIDIA's CEO, Jensen Huang hat Project DIGITS vorgestellt, einen Desktop-KI-Supercomputer mit dem neuen GB10 Grace Blackwell-Chip, der einen bedeutenden Fortschritt im Bereich der künstlichen Intelligenz und der technologischen Entwicklung darstellt. Der neue GB10 Grace Blackwell Superchip bietet 1 PetaFLOP KI-Rechenleistung. Zum Vergleich: Ein High-End-Laptop erreicht etwa 1 TeraFLOP, was bedeutet, dass Project DIGITS "theoretisch" 1.000-mal leistungsstärker ist und enorme Datenmengen deutlich schneller als herkömmliche Lösungen verarbeiten kann.

Das "theoretisch" ist wichtig, da NVIDIA derzeit keine Angaben zur Rechengenauigkeit macht. Es bleibt abzuwarten, bis detaillierte Benchmarks vorliegen, um die tatsächliche Leistung in verschiedenen Anwendungsszenarien zu bewerten. Die Rechengenauigkeit (FP - Floating Point) ist entscheidend, um die tatsächliche Leistung zu verstehen: Während KI-Inferenz auch mit niedrigen Genauigkeiten wie FP8 oder FP4 effektiv arbeiten kann, erfordern andere Workloads wie Training, wissenschaftliche Simulationen oder 3D-Grafiken höhere Genauigkeiten (FP16, FP32). Jede Halbierung der Genauigkeit kann die Leistung theoretisch verdoppeln, jedoch auf Kosten der Berechnungsgenauigkeit.

Project DIGITS kann 200 Milliarden Parameter verarbeiten (405 in einer Dual-System-Konfiguration) und ermöglicht fortschrittliche Analysen in komplexen Kontexten, Echtzeitverarbeitung und die Ausführung komplexer Modelle, die mit GPT-3.5 vergleichbar sind. Allerdings ist Project DIGITS weit davon entfernt, Modelle wie GPT-4 zu unterstützen, das etwa 1,8 Billionen Parameter verwendet. Damit positioniert es sich als leistungsstarke Lösung für lokale Anforderungen, ist jedoch nicht für das Training oder die Ausführung von Modellen im Maßstab großer Cloud-Infrastrukturen ausgelegt.

Key Technical Features:

  • 128 GB of unified and coherent memory

  • Up to 4 TB of NVMe storage

  • NVIDIA Grace CPU with 20 energy-efficient cores based on Arm architecture

Key Functions:

  • Enables the development and testing of AI models directly on the desktop

  • Supports deployment in the cloud or data centers

  • Compatible with popular frameworks such as PyTorch and Python

  • Access to NVIDIA libraries for AI and data science

NVIDIA has not provided specific details on power consumption but emphasized that Project DIGITS is designed to operate with a standard power outlet (120/240 V). This indicates relatively low power consumption compared to traditional AI computing systems that require specialized infrastructures. Based on high-end GPUs, power usage is estimated between 500 and 1,000 W, making it suitable for home and office environments without electrical modifications or additional cooling infrastructures.

With a price of $3,000, DIGITS is strategically positioned:

  • Affordable for university research labs

  • Attractive for AI startups

  • Competitive compared to cloud resources, with advantages in security and data control

Future Prospects:
With Project DIGITS, NVIDIA introduces an AI development model that combines accessibility, performance, and simplicity. While it does not fully replace cloud infrastructures, it offers a tangible and scalable alternative for developers, researchers, and small organizations.

Project DIGITS showcases how AI is becoming more accessible and versatile. It brings advanced AI computing capabilities directly to the desktop, offering a balance of performance, efficiency, and cost. This opens new opportunities not only for AI experts but also for innovators in other fields. It should be seen as a complementary technology to large-scale infrastructures required for models like GPT-4.