La primera tarjeta aceleradora de IA para PC de MemryX, Kinara, debutó en CES

Dado que Intel no planea tener una CPU de escritorio con capacidades de IA hasta finales de este año, los fabricantes de PC están recurriendo a nuevas empresas de chips, y el Lenovo ThinkCentre Neo Ultra puede mostrar el camino, probablemente con tarjetas de IA de MemryX y Kinara en su interior. .

Lenovo lanzará la PC ThinkCentre Neo Ultra en junio por alrededor de $ 1,000, dijo el gerente de producto Bryan Lin desde el stand de Lenovo en CES 2024. Aunque la documentación de Lenovo no enumera oficialmente ninguno de los procesadores de IA, es posible que se incluyan. El pequeño escritorio de creación de contenido en CES mostraba dos tarjetas de IA.

Si bien AMD, Intel y Qualcomm han mostrado procesadores móviles con NPU AI integradas, solo AMD ha anunciado un procesador de escritorio Ryzen con una APU en su interior. Intel, que tiene la participación dominante en la industria de procesadores de PC, tendrá que esperar hasta el lanzamiento de Arrow Lake para que la NPU esté disponible para los fabricantes de PC de escritorio.

Al mismo tiempo, cada vez más fabricantes de PC se están dando cuenta de que se puede construir una “PC impulsada por IA” utilizando solo una CPU y una GPU, mientras que las NPU proporcionan una IA con mayor eficiencia energética. Si usted es un fabricante de computadoras de escritorio y normalmente tiene menos preocupaciones sobre el consumo de energía, eso podría ser suficiente. Pero las empresas que quieren aplicar la IA para ganar dinero ahora quieren IA y les preocupa reducir el consumo de energía a escala. Al menos en este sentido, el mercado empresarial puede estar por delante de los PC de consumo.

«Lo que estamos viendo ahora es que la tarjeta gráfica discreta tiene mucha demanda en términos de factor de forma, potencia, diseño térmico, etc.», dijo Lin. «Por lo tanto, una tarjeta NPU que consume entre 5 y 10 vatios podría brindarnos cierto nivel de capacidades de IA».

Pero ¿qué pasa cuando debutará Arrow Lake?

“Lo que obtengo con Arrow Lake es que todavía es muy limitado. [in terms of] «Poder», dijo Lin. “Entonces, al menos dentro de 18 a 24 meses, creo que eso será algo separado. [AI accelerators] Seguirá siendo parte de ello. Especialmente para escritorio, donde no tenemos límites de batería.

Mark Hashman/IDG

El ThinkCentre Neo Ultra incluirá hasta un procesador Intel Core i9 vPro de una arquitectura no anunciada, con hasta 64 GB de memoria DDR5-5200. También incluirá una GPU Nvidia GeForce RTX 4060 de clase creadora, almacenamiento SSD de hasta 4 TB y una fuente de alimentación interna de 350 W. Tiene una carrocería de 3,6 litros y unas dimensiones de 7,67 x 7,67 x 4,21 pulgadas.

Lenovo tiene lo que llama un motor de inteligencia artificial, que dirige las cargas de trabajo hacia donde mejor se adaptan, dijo Lin.

Mark Hashman/IDG

Lin dijo que hay varias nuevas empresas de chips de IA con las que la compañía está trabajando, incluidas MemryX y Kinara, las dos compañías de chips de IA que se exhiben en el stand.

Conozca MemryX, uno de los primeros aceleradores de IA

MemryX fabrica el acelerador MX3 Edge AI. El SDK de la compañía, y lo que Lenovo ofrece dentro del ThinkCentre, consta de cuatro chips MX3 montados en una tarjeta M.2 PCI Express (tercera generación, algo sorprendente), aunque también puede ejecutarse dentro de una tarjeta USB 3.2.

MemryX califica cada MX3 como capaz de realizar 10 TFLOP (billones de operaciones de punto flotante) en lugar de los TOPS más tradicionales. Esto se debe a que el MX3 utiliza operaciones de punto flotante de 16 bits y pesos de 8 bits de forma predeterminada, en lugar de operaciones de números enteros que son una métrica más común, según Roger Bean, vicepresidente de desarrollo de productos y negocios de MemryX.

«Cuando exista la oportunidad de utilizar soluciones independientes, todos las utilizarán hasta que Intel o AMD las integren», dijo Binnie. «Así que todo el mundo sabe lo avanzado que es Intel… han intensificado su marketing. Obviamente no están contentos de que Lenovo haya elegido una startup para ejecutar IA en una PC. Así que esa es la historia».

Mark Hashman/IDG

Cada MX3 consume de 1 a 2 vatios en promedio, dijo Penny. Los chips son compatibles con los sistemas operativos Linux, Android y Windows, así como con los marcos TensorFlow, TensorFlow-lite, PyTorch, ONNX y Keras.

Cada chip puede ejecutar un modelo que contiene 10 millones de parámetros de 8 bits, escalables según sea necesario. Fuera de la caja, el MX3 puede ejecutar YOLO v7 tiny a 416×416, 375 fps (x2) sin recortar ni entrenar, o SSDMobileNet (224×224) a 1403 fps.

No tuvimos la oportunidad de hablar con Kinara, aunque la compañía lanzó el procesador Ara-2 Edge AI el otoño pasado. «Como ejemplo de sus capacidades en el procesamiento de modelos generativos de IA, Ara-2 puede alcanzar 10 segundos por imagen para un despliegue estable y docenas de tokens por segundo para LLaMA-7B», dijo la compañía en un comunicado de prensa.

Mark Hashman/IDG

READ  Hollyland Solidcom C1 Pro con salida de audio USB-C

Tanto el chip MemryX como el Kinara AI están posicionados principalmente como AI de reconocimiento de imágenes, con una demostración de MemryX que muestra cómo puede reconocer si los trabajadores de la construcción han usado el equipo de protección adecuado. Sin embargo, la IA se puede utilizar para todo tipo de propósitos: juegos, avatares, modelos/chatbots en el idioma local y más.

Pero lo que es aún más importante es que empresas como Nvidia, Rendition, 3Dfx y otras se lanzaron hace años como aceleradores 3D y ahora, después de que algunas de ellas fracasaron, dominan la industria de creación de contenidos y juegos. Espere una nueva ola de cartas de aceleración de IA para desafiarlos.