How sensor fusion is driving vehicle autonomy forward
page banner image

As these systems extend to critical and time-sensitive applications – such as emergency braking, automatic parking, front-collision warning and avoidance, and blind spot detection – design engineers will need to fuse these different information sources into a single picture to deliver reliable real-time decisions.

“For automatic parking, you need to combine data from cameras, radar and sometimes ultrasound to give the vehicle an accurate sense of what’s going on around you,” said Curt Moore, general manager for Jacinto™ processors at our company. “None of these sensors would be accurate enough on their own, but by combining them, you can get a much more accurate picture of the space around you. This allows you to park in much tighter spaces without the risk of causing damage.”

The proliferation of automotive sensors

Advanced safety systems are no longer reserved only for high-end automobiles. Nearly 93% of vehicles produced in the U.S. come with at least one ADAS feature – and automatic emergency braking is set to become standard across 99% of new cars in the United States by September.1

The shift is a result of the decreasing cost and size of sensors, such as TI mmWave radar sensors which integrate an entire radar system into a chip the size of a coin.

“Ten years ago, radar was predominantly used in military applications because of size, cost and complexity,” Miro said. “But today, radar is on the verge of becoming a standard component in the car.”

While the proliferation of affordable sensors opens up new applications, it also creates new challenges for ADAS engineers who need to design systems that bring together all the data streams and process them efficiently, while meeting tight affordability and power constraints.

A communication challenge

In a single-sensor ADAS system, pre-processing data for object detection takes place close to the sensor in order to use that information immediately. But sensor fusion requires that raw, high-resolution data be instantly transmitted to a central unit for processing to form a single, accurate model of the environment that will help the vehicle avoid a collision.

“With all the data coming in from these sensor nodes, the challenge is making sure all of it is synchronized so the vehicle can understand what’s happening around you and make critical decisions,” said Heather Babcock, general manager for FPD-Link™ products at our company. “In order to transmit synchronized data in real time, it’s important to have high-bandwidth, uncompressed transmission capability because compressing data introduces latencies.”

Our FPD-Link communications protocol, which was initially created for transmitting digital video streams from graphics processors to digital displays, is designed for transmitting large amounts of uncompressed data over several meters with simple, easily routable cables.

As ADAS technology extends to critical, time-sensitive applications – such as emergency braking, front-collision warning and avoidance, and blind-spot detection – combining data from multiple sensors enables reliable, real-time decisions for safer autonomous driving.

From reading road signs to keeping you inside lane markers, artificial-intelligence-assisted cameras are already making our vehicles smarter and safer. But what happens when the fog rolls in and your camera’s vision is as compromised as yours?

“A camera might be great for object recognition, but it’s not so good in bad weather or at night,” said Miro Adzan, general manager of advanced driver assistance systems (ADAS) at our company. “However, radar will continue to work in rain, snow or mist. Driver assistance systems need to incorporate a range of different sensors so the vehicle can take full advantage of the benefits of these different technologies.”

Using the strengths of different types of sensors is not just a matter of switching between them for different conditions or applications. Even in clear weather, a camera will be stronger for object details, but radar will measure an object’s distance more accurately.

As these systems extend to critical and time-sensitive applications – such as emergency braking, automatic parking, front-collision warning and avoidance, and blind spot detection – design engineers will need to fuse these different information sources into a single picture to deliver reliable real-time decisions.

“For automatic parking, you need to combine data from cameras, radar and sometimes ultrasound to give the vehicle an accurate sense of what’s going on around you,” said Curt Moore, general manager for Jacinto™ processors at our company. “None of these sensors would be accurate enough on their own, but by combining them, you can get a much more accurate picture of the space around you. This allows you to park in much tighter spaces without the risk of causing damage.”

The proliferation of automotive sensors

Advanced safety systems are no longer reserved only for high-end automobiles. Nearly 93% of vehicles produced in the U.S. come with at least one ADAS feature – and automatic emergency braking is set to become standard across 99% of new cars in the United States by September.1

The shift is a result of the decreasing cost and size of sensors, such as TI mmWave radar sensors which integrate an entire radar system into a chip the size of a coin.

“Ten years ago, radar was predominantly used in military applications because of size, cost and complexity,” Miro said. “But today, radar is on the verge of becoming a standard component in the car.”

While the proliferation of affordable sensors opens up new applications, it also creates new challenges for ADAS engineers who need to design systems that bring together all the data streams and process them efficiently, while meeting tight affordability and power constraints.

A communication challenge

In a single-sensor ADAS system, pre-processing data for object detection takes place close to the sensor in order to use that information immediately. But sensor fusion requires that raw, high-resolution data be instantly transmitted to a central unit for processing to form a single, accurate model of the environment that will help the vehicle avoid a collision.

Our FPD-Link communications protocol, which was initially created for transmitting digital video streams from graphics processors to digital displays, is designed for transmitting large amounts of uncompressed data over several meters with simple, easily routable cables.

“With all the data coming in from these sensor nodes, the challenge is making sure all of it is synchronized so the vehicle can understand what’s happening around you and make critical decisions,” said Heather Babcock, general manager for FPD-Link™ products at our company. “In order to transmit synchronized data in real time, it’s important to have high-bandwidth, uncompressed transmission capability because compressing data introduces latencies.”

Heather Badcock general manager for FPD-Link products.

Enabling more efficient decision-making

Once this data is at the central processor, integrating it into a unified model of the car’s surroundings typically requires computationally intensive signal processing and deep-learning algorithms – with a consequent increase in required power input and heat output.

The physical constraints of an automobile place tight limits on the size and weight of batteries and cooling infrastructure, so ADAS engineers need processors specifically designed to perform these tasks as efficiently as possible.

Our Jacinto processors combine dedicated digital signal processing (DSP) and matrix multiplication cores that operate with the lowest available power in the industry, even at temperatures of up to 125 degrees Celsius.

“There are tremendous advantages in integrating the DSP and the processor into one system on a chip,” Curt said. “Otherwise, each will need its own memory and power supply, driving up the system cost. The other advantage is the reduction in latency gained by integrating these operations into one chip.”

In addition to power-efficient processors, our automotive-qualified power management integrated circuits with functional safety features for sensor fusion, front cameras and domain controllers improve overall power efficiency and functionality within the vehicle.

Beyond the individual components, our entire ecosystem of ADAS products is created for seamless compatibility, allowing car manufacturers to select from a holistic portfolio that can be scaled to the demands and price points of their vehicles.

«We have all the pieces of the ADAS puzzle designed in a way that keeps the various challenges of the vehicle in mind,» Miro said. «That makes the system design easier for our customers.»


https://www.aaa.com/AAA/common/AAR/files/ADAS-Technology-Names-Research-Report.pdf

El papel del subproceso digital y el gemelo digital en la transformación digital
Cortesía de Siemens.

Las organizaciones de fabricación de todo el mundo están invirtiendo significativamente en la transformación digital para mejorar el desarrollo de productos y plantas de fabricación. Las empresas que adoptan una visión holística del gemelo digital encontrarán un mayor éxito a medida que persiguen estas iniciativas en cada paso del ciclo de vida del producto.

Una definición mejorada de gemelo digital y el subproceso digital

Las organizaciones de fabricación saben que se estabilizan al día con la competencia requieren una evaluación y mejora constantes del proceso de desarrollo de productos. Como se informó en la Agenda estratégica del ejecutivo de ingeniería de Lifecycle Insights de 2020, el 25 % de los encuestados invirtió en esfuerzos de mejora el año pasado. Y un 38% adicional de los encuestados afirmó que planeaba invertir en mejoras el próximo año. Las mejoras son necesarias para mantener una ventaja competitiva frente a requisitos cada vez más complejos y plazos reducidos.

Si bien los conceptos de gemelo digital e hilo digital son relativamente nuevos en la industria, han ganado terreno rápidamente. Las iniciativas de mejora de muchas empresas se centran en el gemelo digital, un modelo virtual completo que define un producto o una planta. Otras organizaciones están priorizando el hilo digital, o la secuencia de actividades virtuales en los procesos comerciales que pueden mejorar y expandir el gemelo digital. Con muchas empresas investigando o buscando iniciativas de transformación digital (DX), muchas se preguntan qué papel juegan los gemelos digitales y los subprocesos digitales en esos esfuerzos.

En esta publicación, discutiremos los roles tanto del gemelo digital como del subproceso digital en mayores iniciativas de transformación digital.

El papel del gemelo digital en la transformación digital

Hace unos años, si le hubiera pedido a un miembro de la comunidad de fabricación que definiera el término «gemelo digital», podría haber obtenido una variedad de respuestas diferentes. Desde entonces, la definición de gemelo digital se ha solidificado en toda la industria.

El gemelo digital es una representación virtual de un producto o planta que existe antes de que se construya físicamente. Las organizaciones colaboran en torno a esta definición inequívoca del producto o planta. Los miembros de todos los departamentos funcionales pueden trabajar desde el mismo plano digital. Esta «única fuente de verdad» virtual facilita a los fabricantes el desarrollo de un diseño optimizado y la predicción del rendimiento del diseño, mucho antes de unir las piezas.

Tradicionalmente, el gemelo digital de un producto conectado inteligente probablemente incluiría el hardware mecánico, la electrónica, los sistemas de distribución eléctrica y el software integrado. Del mismo modo, un gemelo digital integral de una planta cubriría el diseño y la programación de herramientas para equipos de control numérico por computadora (CNC) y robótica, así como la planificación de celdas, líneas e instalaciones, y más. Estas definiciones forman una base sólida para la ingeniería y otros departamentos funcionales.

La profundización del gemelo digital mediante la incorporación de una mayor fidelidad y definiciones más detalladas desde el principio coloca a las organizaciones en una posición aún mejor para respaldar las mejoras.

Por ejemplo, un gemelo digital mejorado podría incluir una simulación muy detallada y precisa de cómo funcionaría un producto inteligente y conectado. Podría enviar datos de sensores a una plataforma de Internet de las cosas (IoT) para su análisis y una toma de decisiones más informada. En el caso del gemelo digital de una planta, una definición más mejorada podría simular a un trabajador ejecutando un proceso con asistencia robótica y evaluar la tensión resultante en el trabajador.

Cortesía de Siemens.

Los gemelos digitales más detallados pueden ayudar a las organizaciones de fabricación a obtener beneficios más tangibles de sus inversiones en transformación digital. Esos beneficios incluyen:

una colaboración más estrecha entre los departamentos funcionales, capacidades mejoradas de solución de problemas, una reducción de errores y retrasos innecesarios, y habilidades de toma de decisiones más informadas a lo largo de todo el ciclo de vida del desarrollo.

El papel del hilo digital en la transformación digital

El concepto de hilo digital es más nuevo que el de gemelo digital y, debido a su novedad, su definición todavía está evolucionando un poco. La definición que se acerca al consenso es que el hilo digital es la forma digital de los procesos de negocios individuales (actividades, tareas y decisiones) que mejoran y expanden el gemelo digital. Estos procesos también respaldan los esfuerzos de automatización, trazabilidad y estandarización.

Algunas organizaciones están convirtiendo procesos manuales, en papel o basados ​​en correo electrónico en procesos digitales automatizados que luego pueden ocupar su lugar en el hilo digital. Esto hace que el hilo digital sea más robusto. Los procesos que podrían convertirse incluyen actividades digitales de apoyo en algún tipo de sistema de registro, o tareas de automatización o enrutamiento basadas en restricciones y lógica definida. En estos ejemplos, un beneficio tangible es que las partes interesadas del proyecto pueden ser notificadas automáticamente sobre decisiones clave o cualquier actividad que pueda estar fuera de programa.

Una segunda forma en que los fabricantes aprovechan el subproceso digital para mejorar es mediante la automatización de procesos y la exposición de más información en otros sistemas comerciales, incluidos los que utilizan los socios proveedores. Dichos esfuerzos pueden abarcar múltiples tipos de sistemas, incluidas las plataformas de gestión del ciclo de vida del producto (PLM) y los sistemas de ejecución de fabricación (MES). Al compartir datos críticos entre diferentes sistemas comerciales, las organizaciones pueden mejorar la comunicación y la colaboración, respaldar decisiones clave e iniciar disparadores para activar procedimientos de contingencia.

Cortesía de Siemens.

La adopción del subproceso digital permite a una organización conectar fuentes dispares de información, datos que, tradicionalmente, han estado aislados y son difíciles de acceder. Cuando estos datos fluyen libremente, pueden respaldar los esfuerzos de automatización y mejora en cada paso del ciclo de vida del desarrollo del producto.

Comenzar y expandirse a su propio ritmo

Cuando se trata de adoptar el gemelo digital o el hilo digital, no existe un enfoque único para todos. De hecho, el éxito de las iniciativas de varios fabricantes muestra que los esfuerzos de transformación digital, respaldados por el gemelo digital o hilo digital, realmente pueden comenzar en cualquier lugar. Solo tiene que identificar un flujo de trabajo o proceso que se beneficiará de un cambio digital.

Al considerar cómo aprovechar dichas tecnologías en sus propios esfuerzos de mejora, la clave es perseguir objetivos alcanzables con esfuerzos a la escala adecuada. La transformación digital no es un proceso de la noche a la mañana. Una vez que identifique un lugar para comenzar, vale la pena comenzar poco a poco y construir sobre esas victorias. Con cada mejora exitosa, aprenderá cómo expandir mejor sus esfuerzos de transformación digital a otras áreas, aprovechando ese trabajo anterior para que pueda mejorar el gemelo digital o el hilo digital en otros pasos o fases del ciclo de vida del desarrollo del producto. La transformación digital, verdaderamente, es un esfuerzo acumulativo.

Pensando en grande

Las organizaciones de fabricación que buscan producir productos más complejos en plazos más cortos están aprovechando las iniciativas de transformación digital. Si bien no existe un único enfoque correcto para respaldar esas mejoras, un gemelo digital y subprocesos digitales pueden ayudar.

Las empresas que piensan de manera más amplia sobre cómo definir y crear este tipo de activos digitales cosecharán cada vez más los beneficios, disminuirán los posibles errores y problemas y mejorarán el diseño y las operaciones mientras trabajan para construir los productos y las plantas del mañana.


Fuente: www.siemens.com

Por: Chad Jackson 

Anteproyecto para la Regulación de la Tecnología de Reconocimiento Facial

El Instituto de Tecnología Humana de la Universidad de Tecnología de Sydney (UTS) describe una ley modelo en un informe reciente para la tecnología de reconocimiento facial para proteger contra el uso dañino y ayudar a fomentar la innovación.

El reconocimiento facial y otras tecnologías biométricas remotas están explotando, lo que genera preocupaciones sobre la privacidad, la vigilancia masiva y los prejuicios dentro y fuera de la tecnología.

Este nuevo informe reconoce que nuestros rostros son únicos porque los humanos dependen en gran medida de los rostros de los demás para identificarse e interactuar.

El informe propone una ley modelo basada en el riesgo para el reconocimiento facial. El punto de partida debe ser garantizar que se desarrolle el reconocimiento facial, defendiendo los derechos humanos fundamentales de las personas.

La ley modelo establece tres niveles de riesgo para los derechos humanos de las personas afectadas por una determinada aplicación de tecnología de reconocimiento facial y los riesgos para la comunidad en general.

El informe, Tecnología de reconocimiento facial: hacia una ley modelo, ha sido coautor del profesor Nicholas Davis, el profesor Edward Santow y Lauren Perry del Human Technology Institute, UTS.


Fuente: www.eedesignit.com

Por: Carolyn Mathas

10 Considerations for Designing a Machine Vision System
Image collage
Refer to this checklist of prerequisites before taking on the task.

Machine vision systems serve a vast range of industries and markets. They are used in factories, laboratories, studios, hospitals and inspection stations all over the world—and even on other planets. But how do you design one?

When designing a machine vision system there are many factors that can affect the overall performance. Many of these elements are integral to the camera choice, but there are additional external factors that can have a significant impact on the final image. This article will explore 10 of these considerations and what to look out for when painting the full picture that makes up a vision system.

1. Environment

Images are captured in every corner of the world. In a corporate or residential building, it is common to see security systems, and while driving there can be toll booths with embedded systems and small board-level modules connected to aerial imaging drones.

The range of environments that require reliable imaging solutions is broad, and while these systems are often generalized as machine vision systems, it’s clear that imaging solutions extend well beyond factory floor applications.

The conditions a vision system operates within determine many of the specifications necessary to deliver the required image, including weather conditions such as direct sunlight, rain, snow, heat and other external factors that are outside our scope of control. However, a vision system can be designed with these in consideration. Factors such as additional light can be included in a system, or adequate housing to ensure the camera and its sensor are protected from harsh weather. In short, systems can be adapted to ensure that a camera always has a clear image.

2. Sensor

When deciding on a camera for a vision system, most of its performance resides with the image sensor. Understanding what a camera is capable of fundamentally comes down to the type of sensor being used. On the other hand, two different cameras with the same sensor are not necessarily going to output the same type of image. In fact, they most likely will have some noticeable differences. Therefore, looking at the rest of these considerations is quite important.

The format of the sensor will decide a lot about the matching optics and how the images will look. Formats abound, but some common ones include APS-C, 1.1-in., 1-in. and 2/3-in. When using a larger sensor size, a vision system can often benefit from more pixels, resulting in a higher resolution image. However, there are several other specifications that are equally important. Details such as full well capacity, quantum efficiency and shutter type all play a part in how the sensor can deal with various targets in unique situations.

Figure 1 Teledyne Lumenera Lt M4020 B
A Teledyne Lumenera Board-Level Camera with a 1.1-in. sensor.

3. Lens

After deciding on the internal aspects of a camera, a vision system needs some help focusing on a target that can only be accomplished with a lens. In machine vision systems the camera size can vary based on the application. With larger systems, a zoom lens may be required depending on the targeted image. With machine vision, many cameras are locked on a specific target area and take advantage of prime lenses with a fixed focal length.

Each lens has a specific mounting system based on the manufacturer and the sensor it will be attached to. Common lens mounts for machine vision include C-mount, CS-mount and M42-mount. Therefore, before choosing a lens, the first step is to review required sensor specifications.

The main specification for a lens is the focal length. As focal length decreases, the field of view (FoV) inversely increases. This means that as the area the lens can capture increases, the magnification of each element decreases. Other specifications are also valuable to consider, such as working distance and aperture.

Figure 2 Fo V Focal Length
A camera lens showing the difference in field of view based on the focal length.

4. Lighting

Arguably the most important piece of a vision system is the lighting. This is because no matter how sensitive a camera sensor is in low light, there is no substitute for the clarity obtained from a well-illuminated target. Lighting can also take many forms that can help reveal new information about a target.

Area lights are a more general-purpose solution for even distribution, so long as the target is a good distance from the source to prevent hot spots from occurring. Ring lights are useful when dealing with highly reflective surfaces since they are able to reduce reflections. Other lights include dome lights for machined metals and structured light for 3D object mapping; even introducing colored light can add details and increase contrast.

5. Filters

If there is excess unwanted light passing through the lens, it can reduce important detail. There are many kinds of filters that can be used to reduce and remove certain light. The two main kinds of color filters are dichroic and absorptive. The main difference between these is that dichroic filters are designed to reflect undesired wavelengths while absorptive filters absorb extra wavelengths to only transmit the ones required.

 Filtering out color is not the only use for filters. Neutral Density (ND) filters reduce the overall light levels, whereas polarizers remove polarized light, which reduces reflected light. Antireflective (AR) coatings help reduce reflection within the vision system. This is particularly useful for applications such as intelligent traffic systems (ITS) where a reduction in glare can increase the accuracy of optical character recognition (OCR) software.

6. Frame Rate

The speed of a camera can be measured in frames per second (fps). A camera with a higher frame rate can capture more images. This also affects each image that is captured due to the exposure time of each image being reduced as the frame rate increases. This results in less blur as the camera captures fast-moving targets such as objects on a conveyor belt. The drawback to short exposures is the lack of time the sensor is able to collect light during each shot. In these cases, a larger pixel size for the sensor often helps increase the overall brightness of each image.

7. Noise and Gain

When a high frame rate is a must and short exposure can not be avoided, the camera gain can potentially make up for the reduced brightness. The reason why gain cannot be the easy solution for all lighting challenges is because of the noise that it introduces. As the gain is increased, so is the noise which reduces the clarity of an image. The increase in gain allows for the camera to increase the sensor sensitivity. This means the vision system can take in a brighter image with less light but also reduce clarity from read noise and dark current noise.

8. Bit Depth and Dynamic Range

To accurately measure certain targets, a vision system needs to have high enough bit depth. The higher the bit depth, the higher the degree of variance between pixels. On the other hand, the dynamic range represents the ability of a camera to make out details from the brightest sections of the image to the darkest.

In outdoor applications more than 8-bit is rarely needed unless there is a need for high-precision measurement like photogrammetry. However, outdoor imaging can benefit greatly from a high dynamic range by capturing data in bright sunlight such as the sky, which is often overexposed in many images, and capturing detail in the shadows of a target. One possible solution could be to increase the gain or exposure time, but this would only result in getting detail in the shadows while reducing the data in already bright sections. A high dynamic range can ensure that there is clarity in each part of the image.

9. Software

Even with high-end hardware, the camera can only do what the software demands. The fundamental forms of software components are image acquisition and control, along with image processing software. The primary source of image data comes from image acquisition and control software which takes raw data from the camera and interprets it for the end-user. One of the common ways this is done is when a color camera takes an image, the pixel data is filtered through a physical Bayer filter, and then the software takes that data to construct a color image.

The next stage in the software tree has to do with what is done with the image data. This can involve a variety of tasks for machine vision such as inspection, analysis and editing for applications such as quality control when a target passes by the camera and needs to be tested.

10.  Interface

As camera technology continues to push forward and result in a vast amount of image data, it is important to develop methods for delivering that data. Camera interfaces have branched out in several ways to provide a range of options for any imaging application. The four most common solutions are USB3, GigE, CoaXpress (CXP) and Camera Link High Speed (CLHS). The main attributes to consider when looking into a vision system interface are the required bandwidth, synchronization, ease of deployment and cable length.

Figure 3 Genie Nano
A Teledyne DALSA Genie Nano with a GigE interface.

Putting it All Together

There are certainly many considerations involved when building a machine vision system, which is why many companies turn to systems integrators to help them with this task. System integrators, in turn, rely on high-performance OEM components that deliver the results. The key is to define what you need your vision system to do, and then identify the elements of the system that can produce the desired results.

Filip Szymanski, a technical content specialist for Teledyne Vision Solutions, is one of Teledyne’s imaging experts whose technology perspective comes from his degree in photonics and laser technology. He has years of experience in the machine vision industry working with cameras, sensors and embedded systems. 


Fuente: www.machinedesign.com

Por: Filip SzymanskiTeledyne

Solving the Metaverse Technology Puzzle

Many pieces must come together—including some that don’t yet exist—for the metaverse to reach its potential.

Metaverse Dreamstime M 245088241 Promo
Many pieces must come together—including some that don’t yet exist—for the metaverse to reach its potential.

The metaverse is expected to transform our very concept of virtual reality. Before it can do that, though, it has some very real-world problems to solve.


Fuente: www.electronicdesign.com

Por: David Chen

La pareja perfecta, combinar inteligencia artificial y visión artificial
All Images Courtesy of Teledyne Industrial Vision Solutions.

La visión por computadora y la inteligencia artificial (IA) tienen cada una su propósito en los sistemas de visión modernos. Al desarrollar una plataforma de imágenes, pueden surgir ciertos desafíos al intentar implementar IA en un sistema de visión por computadora existente. Al principio, puede ser difícil decidir qué tareas son las más adecuadas para la IA. Por lo tanto, es beneficioso buscar la experiencia de los expertos de la industria que ya han dado muchos pasos para proporcionar una combinación de soluciones de inteligencia artificial y visión por computadora.

Valor de la IA

La experiencia en software de imagen tradicional ha estado disponible durante mucho tiempo. Mediante el uso de la visión por computadora, los ingenieros hemos podido abordar los desafíos en muchas aplicaciones industriales, incluida la automatización de la visión artificial, los sistemas de transporte inteligente (ITS) y las imágenes aéreas. Sin embargo, cuando las imágenes capturadas son complejas y variadas, como nuevas formas, orientaciones y colores, se sabe que la visión por computadora lucha donde la IA puede florecer.

Una aplicación ITS común es la detección de vehículos. Esto puede ser un desafío cuando se utiliza una solución de visión por computadora tradicional debido a las variables que existen en las imágenes al aire libre. En el método tradicional, un desarrollador puede programar especificaciones para que el software busque un cambio en la imagen para detectar un vehículo. Sin embargo, si el software activa una cámara cuando cambia la imagen, para indicar que un vehículo pasa junto a la cámara, varios otros cambios en la imagen podrían hacer lo mismo. Por ejemplo, si el clima cambia, el software puede interpretarlo como un cambio que requiere que la cámara capture una imagen. Además, si algo entra en el campo de visión, como un pájaro, esto también puede disparar la cámara.

Image Courtesy of Teledyne Industrial Vision Solutions.

En una fábrica donde el mismo tipo de objeto pasa continuamente por la cámara, el software de visión por computadora puede capturar con precisión imágenes de productos, componentes o materiales para su inspección. Por el contrario, en un escenario al aire libre, varios fenómenos pueden introducir inconsistencias en la escena y causar complicaciones al programar una solución. AI puede proporcionar valor en tal situación.

Entrenar software de IA, que es un algoritmo que identifica un tema específico, es bastante diferente de programar software de visión por computadora. El proceso de entrenamiento de un software de IA es menos rígido. Es similar a presentar un tema a un estudiante y pedirle que revise el material muchas veces hasta que lo entienda. Sin embargo, la IA debe enfocarse con un tema en particular en mente.

En lugar de entrenar el software de IA para que pueda reconocer todo lo que ve con la cámara e identificar vehículos, el entrenamiento se enfoca solo en vehículos. Al reconocer el aspecto de un automóvil, camión o motocicleta, un programa de IA sabrá buscar posibles objetivos dentro de una imagen. Con esta línea de base, el software de IA puede ignorar todos los demás problemas que puedan surgir en el entorno real de imágenes de tráfico.

Valor de la visión artificial

Si bien la IA puede proporcionar una nueva capacidad a un sistema de visión, no es la única opción. El software tradicional de visión por computadora puede ofrecer soluciones eficientes a varios desafíos de imagen. Donde la IA puede ser beneficiosa para el análisis de imágenes complejas, también tiene un inconveniente, la cantidad de tensión que ejerce sobre los recursos informáticos. Por otro lado, el software de visión por computadora ofrece programas simples que son fáciles de ejecutar en algunos de los sistemas integrados más pequeños.

Volviendo a las aplicaciones de tráfico, una forma en que pueden beneficiarse enormemente del software de visión por computadora es con el reconocimiento óptico de caracteres (OCR). En lugar de usar IA que podría requerir más recursos informáticos, un software OCR de visión por computadora simplemente verifica la imagen en busca de formas básicas para que coincida con una de una lista preestablecida de caracteres para placas de matrícula. Los caracteres de cada matrícula se pasan a través de un sistema OCR y se imprimen para la recopilación de datos de cada vehículo que captura el sistema de cámara. Esto puede ser ventajoso para registrar de manera efectiva cada matrícula escaneando cada carácter y guardando esos datos para la aplicación de peaje.

Image Courtesy of Teledyne Industrial Vision Solutions.

Cómo usarlas juntas

Un sistema de visión que utiliza IA más la visión artificial tradicional puede lograr un análisis de imágenes mucho más complicado.

Para ITS, tanto el OCR como la detección de vehículos son cruciales para la aplicación de peajes. Pero para garantizar que el software de visión por computadora pueda pasar de manera confiable a través de una muestra de imagen consistente, el sistema de imagen también necesitaría aislar cada vehículo en una imagen. En cualquier imagen, la cámara puede capturar varios vehículos y cada matrícula debe aislarse y detectarse por separado antes de que el software de visión por computadora las inspeccione.

Image Courtesy of Teledyne Industrial Vision Solutions.

Dado que cada vehículo puede tener una variedad de posiciones de matrícula y también pueden adoptar una variedad de colores, puede ser ventajoso tener una IA que se use para estos casos extremos. Una placa de una región en particular puede venir en varios colores porque, a medida que se emiten nuevas placas, pueden tener nuevos estilos que reemplacen los formatos antiguos. En la imagen, se muestran diferentes matrículas de varias regiones e incluso algunas de la misma región (Ontario) con diferentes diseños que podrían confundir a un sistema de visión que no esté bien capacitado para adaptarse a estas opciones.

Image Courtesy of Teledyne Industrial Vision Solutions.

Una vez que se detecta una placa, el resto de la imagen se puede recortar para que solo quede una placa rectangular de la que se puede usar el OCR para extraer los caracteres. Las tres placas de la Figura 6 muestran varias formas de suciedad o lodo que pueden ocultar una placa. Incluso las cubiertas de las matrículas pueden reducir el reflejo de la luz de los personajes y pueden representar un desafío adicional.

Image Courtesy of Teledyne Industrial Vision Solutions.

El ejemplo del mundo real

La implementación de IA en un sistema de visión existente puede ser un desafío. Existe un sistema de imágenes ITS para OCR que inicialmente se diseñó para ser un sistema de visión por computadora con el objetivo de lograr una alta precisión y luego se amplió para incorporar los beneficios de la IA.

La realidad de este sistema de detección de vehículos era que había demasiadas variables solo para la visión artificial. Se introdujo la IA para capturar las imágenes y la visión por computadora terminó proporcionando un análisis eficiente para OCR. El sistema resultante involucró mucho trabajo en el desarrollo y prueba de diferentes opciones.

Muchas personas pueden intentar configurar los sistemas de la manera tradicional y simplemente usar la visión por computadora. Sin embargo, la IA permite que los sistemas detecten fácilmente objetivos en imágenes complejas, mientras que la visión por computadora puede funcionar rápidamente a través del análisis de imágenes repetibles. Los expertos en imágenes han demostrado que tanto la IA como la visión por computadora son herramientas importantes en los sistemas de imágenes modernos y trabajan con integradores de sistemas para proporcionar elementos de sistemas de visión que combinan lo mejor de ambos mundos.

Fuente: www.qualitymag.com


IA que imita el ojo humano
Visión artificial

Investigadores de la Universidad de Florida Central desarrollaron un dispositivo de inteligencia artificial que imita la retina del ojo, lo que podría conducir a una IA avanzada que reconozca instantáneamente lo que ve.

El desarrollo podría conducir a una IA avanzada que pueda reconocer instantáneamente lo que ve, como descripciones automáticas de imágenes tomadas por una cámara o un teléfono. La tecnología también tiene aplicaciones en vehículos autónomos y robótica.

El dispositivo, detallado en un nuevo estudio en la revista ACS Nano, supera al ojo en la cantidad de longitudes de onda que puede ver, desde la luz ultravioleta hasta la luz visible y el espectro infrarrojo.

Puede integrar tres operaciones diferentes en una sola. La tecnología actual de imágenes inteligentes en vehículos autónomos requiere detección, memorización y procesamiento de datos por separado. La combinación de los tres pasos hace que el dispositivo sea muchas veces más rápido que la tecnología actual. La tecnología también es diminuta, con cientos de dispositivos que caben en un chip de una pulgada de ancho.

La clave de la tecnología es la ingeniería de superficies a nano escala hechas de disulfuro de molibdeno y ditelururo de platino que permiten la detección y la memoria de múltiples longitudes de onda. Los investigadores probaron la precisión del dispositivo haciendo que detectara y reconociera una imagen de longitud de onda mixta: un número ultravioleta «3» y una parte infrarroja que es la imagen especular del dígito colocado junto para formar un «8». Demostraron que la tecnología podía discernir los patrones e identificarlos como un «3» en ultravioleta y un «8» en infrarrojo. Lograron una precisión del 70 al 80%.

Fuente: www.eedesignit.com

By Carolyn Mathas


Equipo portátil para el estudio del rendimiento en las instalaciones energías renovables

En CMiBCN estamos trabajando en un proyecto para el desarrollo de un equipo portátil para el estudio del rendimiento de las diferentes instalaciones en energías renovables.

Entre los principales objetivos del equipo de captura están, obtener datos de campo en las ubicaciones reales para correlacionar los datos obtenidos en laboratorio y seleccionar mejor los dispositivos que se van a instalar, otro objetivo es caracterizar los nuevos panales en laboratorio y por último, y no menos importante, es poder capturar imágenes del entorno para estudiar el impacto en la biodiversidad.

Energías renovables.

El equipo de captura estará equipado para obtener datos de las principales fuentes de energías renovables con las que podemos trabajar y la obtención de información del entorno a través de capturas de imágenes y sonidos del entorno.

Rendimiento energía solar

En este bloque estarán integrados todos los elementos para el test de los paneles fotovoltaicos y la captura de datos in situ en las ubicaciones determinadas. El objetivo es poder contrastar hasta dos paneles al mismo tiempo, esto es necesario para poder correlacionar parámetros entre sí. En general uno de los paneles habrá sido parametrizado anteriormente y de esta forma poder observar las diferencias.

Planta energía fotovoltaica
Planta energía fotovoltaica

Rendimiento energía eólica

La instalación de un parque eólico exige considerables inversiones financieras para la adquisición de los aerogeneradores, preparación del terreno, montaje y construcción de las conexiones con la red eléctrica. Las inversiones en un parque eólico pueden alcanzar centenares de millones de euros. Por otro lado, la producción de energía eléctrica de un parque eólico depende no solo de las potencias de los aerogeneradores instalados sino también –y principalmente– de la energía que puede proporcionar el viento en el lugar de su instalación.

Planta eólica
Planta eólica

La energía del viento es proporcional al cubo de su velocidad. Como consecuencia de este factor, un error del 10% en las mediciones de velocidad del viento se traduce en un error del 33% en el cálculo de la energía eléctrica que puede producir un aerogenerador en un lugar determinado. Así, un estudio escrupuloso de potencial eólico en un determinado lugar es la clave para un exitoso proyecto de nuevo parque eólico.

Rendimiento energía hidráulica

Entre los datos que caracterizan el rendimiento de las instalaciones para la obtención de energía de origen hidráulica, es poder medir el flujo del agua en el o los puntos del cauce de los ríos donde pretendemos ubicar las instalaciones.

Para este objetivo es necesario disponer de sensores para medir el caudal y el nivel del río durante un ciclo hidrológico.

Estudio de la biodiversidad

Es muy importante disponer de información de la biodiversidad del entorno donde se ubicará futuras instalaciones de energía renovables.

Biodiversidad plantas energéticas

Para este fin es necesario disponer de un sistema de capturas de imágenes y sonido del entorno. La unidad de captura dispondrá de un sistema de cámaras y micrófonos para la captura y su procesado en tiempo real o en diferido.

Los datos se analizarán a través de programas de Inteligencia Artificial que detectan y clasifican las diferentes especies existentes en su hábitat y su interacción con el entorno.


Nuestro nuevo Kit para sistemas de visión IoT

Nicla Vision es una cámara independiente lista para usar para analizar y procesar imágenes en el perímetro. Gracias a sus capacidades de detección de grado industrial, es adecuado para el seguimiento de activos, el reconocimiento de objetos y el mantenimiento predictivo. Implemente rápidamente nodos de sensores para enviar los datos recopilados a Arduino Cloud (o servicios de terceros) a través de la conectividad WiFi/Bluetooth Low Energy integrada.

Kit desarrollo Arduino Nicla Vision de STMicroelectronics.
Arduino Nicla Vision. STMicroelectronics.







    Percepción Neuromórfica y la computación: El futuro de los sensores y la inteligencia artificial

    Decimos que las principales tecnologías de visión por computador de hoy en día permiten que las máquinas «vean», al igual que los humanos. Nos referimos a los sensores de imagen actuales como los «ojos» de estas máquinas. Y llamamos a nuestros algoritmos más poderosos redes «neuronales» profundas. En realidad, los principios que subyacen a la visión por computadora convencional actual son completamente diferentes de los que subyacen a la visión biológica. Los sensores de imagen convencionales funcionan de manera muy diferente a los ojos que se encuentran en la naturaleza, y prácticamente no hay nada «neuronal» en las redes neuronales profundas.

    Visión artificial
    Percepción Neuromórfica.

    ¿Podemos obtener importantes ventajas implementando la visión por computadora utilizando los principios de la visión biológica? Los sensores y procesadores de imagen convencionales adquieren y procesan información visual como una serie de instantáneas grabadas a una velocidad de fotogramas fija, lo que da como resultado una resolución temporal limitada, un rango dinámico bajo y un alto grado de redundancia en datos y computación.

    La naturaleza sugiere un enfoque diferente: los sistemas de visión biológicos son impulsados ​​y controlados por eventos dentro de la escena a la vista, y no, como las técnicas convencionales, por señales de control y temporización creadas artificialmente que no tienen relación con la fuente de la información visual.

    El término «neuromórfico» se refiere a sistemas que imitan procesos biológicos. Los fundamentos de los enfoques de procesamiento y detección de imágenes basados ​​en eventos y bioinspirados, y explorará sus fortalezas y debilidades.

    Demostrará que los sistemas de visión bioinspirados tienen el potencial de superar los sistemas convencionales basados ​​en marcos y permitir nuevas capacidades en términos de compresión de datos, rango dinámico, resolución temporal y eficiencia energética en aplicaciones como visión 3D, seguimiento de objetos, motor bucles de control y retroalimentación visual.