SiMa dice que su MLSoC, que se muestra aquí en su paquete, es el primer chip diseñado específicamente para manejar no solo las operaciones de multiplicación de matrices de IA en casos de uso integrados, sino también funciones tradicionales de visión por computadora que deben ejecutarse en la misma aplicación.
SiMa AI
Dentro del panorama muy amplio de los chips de computadora con inteligencia artificial, los productos para atender al mercado “de vanguardia”, que abarca drones, dispositivos de Internet de las cosas, teléfonos y entornos de servidores de bajo consumo, brindan un terreno fértil para los proveedores como uno de los menos rentables. áreas desarrolladas en el mercado en comparación con la tecnología de centros de datos.
Como informó a principios de este año, docenas de nuevas empresas han obtenido decenas de millones en financiación de riesgo para fabricar chips para IA en dispositivos móviles y otros usos informáticos integrados. Debido a que el mercado periférico está menos asentado, hay muchas formas diferentes en que los proveedores abordarán el problema.
El martes, la startup de chips de IA SiMa dot ai presentó formalmente lo que llama su MLSoC, un sistema en chip para acelerar redes neuronales con menor consumo de energía. La compañía argumenta que el nuevo chip, que ha comenzado a enviarse a los clientes, es la única parte “diseñada específicamente” para manejar tareas con un gran énfasis en tareas de visión por computadora, como detectar la presencia de un objeto en una escena.
“Todo el mundo está construyendo un acelerador de aprendizaje automático, y nada más”, dijo Krishna Rangasayee, cofundador y director ejecutivo de SiMa.ai, en una entrevista con .
“Lo que es muy diferente entre el mercado de borde integrado” y la computación en la nube, dijo Rangasayee, es que “la gente busca solucionadores de problemas de aplicaciones de extremo a extremo”, en lugar de simplemente un chip para funciones de aprendizaje automático.
“Están buscando una experiencia de sistema en un chip en la que se pueda ejecutar toda la aplicación en un chip”.
Los competidores, dijo Rangasayee, “manejan una pequeña parte del problema” realizando únicamente la función de red neuronal del aprendizaje automático.
“Todo el mundo necesita ML, pero es una parte del problema general, no el problema completo”, afirmó Rangasayee.
También: El mercado de chips de IA está en llamas, impulsado por la 'asombrosa' financiación de capital de riesgo
Construido con el proceso de fabricación de 16 nanómetros de Taiwan Semiconductor, el chip SiMa.ai tiene múltiples piezas diseñadas como un solo chip. Las piezas incluyen un acelerador de aprendizaje automático y el nombre en código “Mosaic”, que está dedicado a las multiplicaciones de matrices que son la base del procesamiento de redes neuronales.
También está integrado un núcleo de procesador ARM A65, que a menudo se encuentra en automóviles, y una variedad de unidades funcionales para ayudar en la tarea específica de las aplicaciones de visión, incluido un procesador de visión por computadora independiente, un codificador de video y un decodificador, 4 megabytes de memoria interna. memoria de chip y una multitud de chips de comunicaciones y acceso a memoria, incluida una interfaz para circuitos de memoria LPDDR4 de 32 bits.
El hardware del chip viene con el software SiMa.ai para que sea mucho más fácil ajustar el rendimiento y manejar muchas más cargas de trabajo.
Más detalles sobre MLSoC están disponibles en el sitio web de SiMa.ai.
El producto de SiMa.ai está dirigido a una variedad de mercados, incluidos robots, drones, vehículos autónomos, automatización industrial y aplicaciones en los mercados gubernamental y de atención médica.
El mercado gubernamental ha adoptado la tecnología con especial rapidez, dijo Rangasayee.
“En mi empresa anterior aprendí lo importante que es el software, y esto realmente dependerá de la solidez de nuestro software”, dijo Krishna Rangasayee, director ejecutivo de SiMa. “Sí, nuestro silicio es excelente y estamos muy orgullosos de él. Y sin silicio no eres una empresa”, afirmó. “Pero para mí, esa es la función necesaria, no suficiente. La función suficiente es proporcionar una experiencia de aprendizaje automático sin esfuerzo”.
SiMa AI
“Me sorprende lo rápido que se está moviendo el sector gubernamental”, dijo. La impresión típica, señaló Rangasayee, es que a los gobiernos les lleva de cinco a siete años adquirir nueva tecnología, pero las cosas están sucediendo mucho más rápido que eso. Las aplicaciones en las que el gobierno está particularmente interesado son cosas como el uso de tanques ML a bordo y detectores que buscan artefactos explosivos improvisados. Los satélites también son una aplicación prometedora, afirmó.
“Es un mercado multimillonario que todavía utiliza tecnología de décadas de antigüedad”, observó Rangasayee sobre las diversas aplicaciones civiles y gubernamentales.
Muchos de los sistemas de visión por computadora actuales para naves autónomas y otras aplicaciones utilizan “arquitecturas tradicionales de almacenamiento de carga, arquitecturas de Von Neumann”, dijo Rangasayee, refiriéndose al diseño básico de la mayoría de los chips de computadora en el mercado.
Los medios, dijo, por los que los chips que se utilizan para el aprendizaje automático y para las computadoras no han avanzado en términos de cómo manejan el ancho de banda de cálculo y los datos combinados entre sí.
También: Para proliferar las tareas de IA, un kit de inicio de Xilinx requiere poca programación
“Tenemos un SoC de ML único, el primer sistema en un chip que comprende ML, por lo que las personas pueden realizar visión por computadora clásica y resolver problemas heredados, además de ML, en una sola arquitectura”, dijo Rangasayee.
SiMa.ai ha recibido 150 millones de dólares en capital de riesgo en múltiples rondas de Fidelity Management & Research, el asesor de inversiones del gigante de fondos mutuos Fidelity, y Dell Technologies Capital, entre otros. Lip-Bu Tan, experto en la industria de chips desde hace mucho tiempo y ex director de la empresa de software de diseño de chips Cadence Design, forma parte de la junta directiva de SiMa.ai.
La palabra “sima” es una transliteración de la palabra sánscrita que significa “borde”.
Además de Rangasayee, Moshe Gavrielov, ex director ejecutivo de Xilinx, es el presidente de la empresa.
El término Edge AI se ha convertido en un término general para referirse a todo lo que no está en un centro de datos, aunque puede incluir servidores en los márgenes de los centros de datos. Abarca desde teléfonos inteligentes hasta dispositivos integrados que consumen microvatios de energía utilizando el marco TinyML para IA móvil de Google.
SiMa.ai se enfrenta a una serie de competidores móviles e integrados. En el mercado de vanguardia, los competidores incluyen a AMD, ahora matriz de Xilinx, el gigante de la propiedad intelectual ARM, Qualcomm, Intel y Nvidia. Sin embargo, esas empresas se han centrado tradicionalmente en chips más grandes que funcionan con una potencia mucho mayor, del orden de decenas de vatios.
El chip SiMa.ai cuenta con lo que sus creadores dicen que es uno de los presupuestos de energía más bajos de cualquier chip en el mercado para completar tareas típicas como ResNet-50, la red neuronal más común para procesar las tareas ImageNet de etiquetado de imágenes.
SiMa ofrece el MLSoC en una placa de evaluación para pruebas de aplicaciones.
SiMa AI
La compañía dijo que la pieza puede realizar 50 billones de operaciones por segundo, o “teraoperaciones”, con un consumo de energía de 10 teraoperaciones por segundo por vatio. Eso significa que la pieza consumirá 5 vatios al realizar tareas de red neuronal, aunque puede aumentar con otras funciones activas.
Esa clase de chip que funciona con unos pocos vatios coloca a SiMa.ai en compañía de una gran cantidad de nuevas empresas, incluidas Hailo Technologies, Mythic, AlphaICs, Recogni, EdgeCortix, Flex Logix, Roviero, BrainChip, Syntiant, Untether AI, Expedera, Deep AI. , Andes y Plumerai, por nombrar sólo los más obvios.
Las únicas empresas que están “en nuestra línea de visión”, dijo Rangasayee, son Hailo y Mythic. Pero “nuestra gran diferenciación es que ellos solo están construyendo aceleradores de ML. Nosotros estamos construyendo SoC de ML completos”.
Gracias a la integración de núcleos ARM y circuitos de imagen dedicados de SiMai.ai junto con el código de red neuronal Mosaic, los clientes tendrán una mayor capacidad para ejecutar programas existentes mientras agregan código de marcos de aprendizaje automático populares como PyTorch y TensorFlow.
También: Para medir la IA de potencia ultrabaja, MLPerf obtiene un punto de referencia TinyML
“Lo interesante para mí es que la demanda reprimida de una plataforma diseñada específicamente para respaldar el legado es bastante alta”, dijo Rangasayee. . “Pueden ejecutar su aplicación casi desde el primer día; esa es una gran ventaja que tenemos”.
“Somos la primera empresa en descifrar el código para resolver cualquier problema de visión por computadora, porque no nos importa la base del código, puede ser en C++, puede ser en Python o cualquier marco de aprendizaje automático”, explicó Rangasayee. El amplio apoyo a los programas, afirmó, inclina a la empresa a verse a sí misma como la “Isla Ellis” de los chips. “Danos a tus pobres, danos a tus cansados… ¡Nosotros nos los llevaremos a todos!” él dijo.
Ese amplio apoyo significa que la empresa tiene una audiencia más amplia de decenas de miles de clientes en lugar de sólo un nicho, afirmó Rangasayee.
Otro punto a favor del chip, según Rangasayee, es que tiene diez veces más rendimiento que cualquier pieza comparable.
“Lo que les importa a nuestros clientes son los fotogramas por segundo por vatio”, en términos de fotogramas de imagen por cada vatio de potencia, dijo Rangasayee. “Somos mínimo 10 [times] de nadie”, afirmó. “Lo demostramos día tras día a cada uno de nuestros clientes”.
La compañía aún no ofrece especificaciones de referencia de acuerdo con los puntajes de referencia de MLPerf ampliamente citados, pero Rangasayee dijo que la compañía tiene la intención de hacerlo más adelante.
“En este momento, la prioridad es ganar dinero”, dijo Rangasayee. “Somos una empresa muy pequeña” con 120 empleados. “No podemos dedicar un equipo a hacer MLPerf solos”.
“Se podrían hacer muchos ajustes en torno a los puntos de referencia, pero a la gente le importa el rendimiento de extremo a extremo, no sólo un punto de referencia de MLPerf.
“Sí, tenemos números y sí, lo hacemos mejor que nadie, pero al mismo tiempo, no queremos perder nuestro tiempo construyendo puntos de referencia. Sólo queremos resolver los problemas de los clientes”.
Aunque el anuncio del martes se refiere a un chip, SiMa.ai pone especial énfasis en su capacidad de software, incluyendo lo que llama “técnicas novedosas de optimización del compilador”. El software permite admitir “una amplia gama de marcos”, incluidos TensorFlow, PyTorch y ONNX, las bibliotecas de programación dominantes que utiliza el aprendizaje automático para desarrollar y entrenar redes neuronales.
La compañía dijo que su software permite a los usuarios “ejecutar cualquier aplicación de visión por computadora, cualquier red, cualquier modelo, cualquier marco, cualquier sensor, cualquier resolución”.
Rangasayee dijo: “Se podría dedicar mucho tiempo a una sola aplicación, pero ¿cómo lograr que miles de clientes crucen la línea de meta? Ese es realmente el problema más difícil”.
Con ese objetivo, el esfuerzo de software de la compañía, dijo Rangasayee, consiste en dos cosas: innovaciones en compiladores en el “front end” y automatización en el “backend”.
El compilador admitirá “más de 120 interacciones”, lo que ofrece la “flexibilidad y escalabilidad” de incorporar muchos más tipos de aplicaciones al chip de lo que normalmente sería el caso.
La parte backend del software utiliza la automatización para permitir que más aplicaciones se “asignen a su rendimiento” en lugar de “esperar meses para obtener resultados”.
“La mayoría de las empresas están poniendo a un ser humano al tanto para obtener el rendimiento adecuado”, afirmó Rangasayee. “Sabíamos que teníamos que automatizar de manera inteligente para obtener una mejor experiencia en minutos”.
Esa innovación de software está diseñada para hacer uso del “botón” MLSoC, dijo, porque “todo el mundo quiere ML; nadie quiere la curva de aprendizaje”. Ese es un enfoque que el antiguo empleador de Rangasayee, Xilinx, también ha adoptado para tratar de hacer que sus chips de IA integrados sean más fáciles de usar.
“En mi empresa anterior aprendí lo importante que es el software. Y esto realmente dependerá de la solidez de nuestro software”, afirmó Rangasayee. “Sí, nuestro silicio es fantástico y estamos muy orgullosos de él. Sin silicio no somos una empresa”, afirmó.
“Pero para mí, esa es la función necesaria, no la suficiente; la función suficiente es proporcionar una experiencia de aprendizaje automático sin esfuerzo”.