How sensor fusion is driving vehicle autonomy forward
page banner image

As these systems extend to critical and time-sensitive applications – such as emergency braking, automatic parking, front-collision warning and avoidance, and blind spot detection – design engineers will need to fuse these different information sources into a single picture to deliver reliable real-time decisions.

“For automatic parking, you need to combine data from cameras, radar and sometimes ultrasound to give the vehicle an accurate sense of what’s going on around you,” said Curt Moore, general manager for Jacinto™ processors at our company. “None of these sensors would be accurate enough on their own, but by combining them, you can get a much more accurate picture of the space around you. This allows you to park in much tighter spaces without the risk of causing damage.”

The proliferation of automotive sensors

Advanced safety systems are no longer reserved only for high-end automobiles. Nearly 93% of vehicles produced in the U.S. come with at least one ADAS feature – and automatic emergency braking is set to become standard across 99% of new cars in the United States by September.1

The shift is a result of the decreasing cost and size of sensors, such as TI mmWave radar sensors which integrate an entire radar system into a chip the size of a coin.

“Ten years ago, radar was predominantly used in military applications because of size, cost and complexity,” Miro said. “But today, radar is on the verge of becoming a standard component in the car.”

While the proliferation of affordable sensors opens up new applications, it also creates new challenges for ADAS engineers who need to design systems that bring together all the data streams and process them efficiently, while meeting tight affordability and power constraints.

A communication challenge

In a single-sensor ADAS system, pre-processing data for object detection takes place close to the sensor in order to use that information immediately. But sensor fusion requires that raw, high-resolution data be instantly transmitted to a central unit for processing to form a single, accurate model of the environment that will help the vehicle avoid a collision.

“With all the data coming in from these sensor nodes, the challenge is making sure all of it is synchronized so the vehicle can understand what’s happening around you and make critical decisions,” said Heather Babcock, general manager for FPD-Link™ products at our company. “In order to transmit synchronized data in real time, it’s important to have high-bandwidth, uncompressed transmission capability because compressing data introduces latencies.”

Our FPD-Link communications protocol, which was initially created for transmitting digital video streams from graphics processors to digital displays, is designed for transmitting large amounts of uncompressed data over several meters with simple, easily routable cables.

As ADAS technology extends to critical, time-sensitive applications – such as emergency braking, front-collision warning and avoidance, and blind-spot detection – combining data from multiple sensors enables reliable, real-time decisions for safer autonomous driving.

From reading road signs to keeping you inside lane markers, artificial-intelligence-assisted cameras are already making our vehicles smarter and safer. But what happens when the fog rolls in and your camera’s vision is as compromised as yours?

“A camera might be great for object recognition, but it’s not so good in bad weather or at night,” said Miro Adzan, general manager of advanced driver assistance systems (ADAS) at our company. “However, radar will continue to work in rain, snow or mist. Driver assistance systems need to incorporate a range of different sensors so the vehicle can take full advantage of the benefits of these different technologies.”

Using the strengths of different types of sensors is not just a matter of switching between them for different conditions or applications. Even in clear weather, a camera will be stronger for object details, but radar will measure an object’s distance more accurately.

As these systems extend to critical and time-sensitive applications – such as emergency braking, automatic parking, front-collision warning and avoidance, and blind spot detection – design engineers will need to fuse these different information sources into a single picture to deliver reliable real-time decisions.

“For automatic parking, you need to combine data from cameras, radar and sometimes ultrasound to give the vehicle an accurate sense of what’s going on around you,” said Curt Moore, general manager for Jacinto™ processors at our company. “None of these sensors would be accurate enough on their own, but by combining them, you can get a much more accurate picture of the space around you. This allows you to park in much tighter spaces without the risk of causing damage.”

The proliferation of automotive sensors

Advanced safety systems are no longer reserved only for high-end automobiles. Nearly 93% of vehicles produced in the U.S. come with at least one ADAS feature – and automatic emergency braking is set to become standard across 99% of new cars in the United States by September.1

The shift is a result of the decreasing cost and size of sensors, such as TI mmWave radar sensors which integrate an entire radar system into a chip the size of a coin.

“Ten years ago, radar was predominantly used in military applications because of size, cost and complexity,” Miro said. “But today, radar is on the verge of becoming a standard component in the car.”

While the proliferation of affordable sensors opens up new applications, it also creates new challenges for ADAS engineers who need to design systems that bring together all the data streams and process them efficiently, while meeting tight affordability and power constraints.

A communication challenge

In a single-sensor ADAS system, pre-processing data for object detection takes place close to the sensor in order to use that information immediately. But sensor fusion requires that raw, high-resolution data be instantly transmitted to a central unit for processing to form a single, accurate model of the environment that will help the vehicle avoid a collision.

Our FPD-Link communications protocol, which was initially created for transmitting digital video streams from graphics processors to digital displays, is designed for transmitting large amounts of uncompressed data over several meters with simple, easily routable cables.

“With all the data coming in from these sensor nodes, the challenge is making sure all of it is synchronized so the vehicle can understand what’s happening around you and make critical decisions,” said Heather Babcock, general manager for FPD-Link™ products at our company. “In order to transmit synchronized data in real time, it’s important to have high-bandwidth, uncompressed transmission capability because compressing data introduces latencies.”

Heather Badcock general manager for FPD-Link products.

Enabling more efficient decision-making

Once this data is at the central processor, integrating it into a unified model of the car’s surroundings typically requires computationally intensive signal processing and deep-learning algorithms – with a consequent increase in required power input and heat output.

The physical constraints of an automobile place tight limits on the size and weight of batteries and cooling infrastructure, so ADAS engineers need processors specifically designed to perform these tasks as efficiently as possible.

Our Jacinto processors combine dedicated digital signal processing (DSP) and matrix multiplication cores that operate with the lowest available power in the industry, even at temperatures of up to 125 degrees Celsius.

“There are tremendous advantages in integrating the DSP and the processor into one system on a chip,” Curt said. “Otherwise, each will need its own memory and power supply, driving up the system cost. The other advantage is the reduction in latency gained by integrating these operations into one chip.”

In addition to power-efficient processors, our automotive-qualified power management integrated circuits with functional safety features for sensor fusion, front cameras and domain controllers improve overall power efficiency and functionality within the vehicle.

Beyond the individual components, our entire ecosystem of ADAS products is created for seamless compatibility, allowing car manufacturers to select from a holistic portfolio that can be scaled to the demands and price points of their vehicles.

«We have all the pieces of the ADAS puzzle designed in a way that keeps the various challenges of the vehicle in mind,» Miro said. «That makes the system design easier for our customers.»


https://www.aaa.com/AAA/common/AAR/files/ADAS-Technology-Names-Research-Report.pdf

El papel del subproceso digital y el gemelo digital en la transformación digital
Cortesía de Siemens.

Las organizaciones de fabricación de todo el mundo están invirtiendo significativamente en la transformación digital para mejorar el desarrollo de productos y plantas de fabricación. Las empresas que adoptan una visión holística del gemelo digital encontrarán un mayor éxito a medida que persiguen estas iniciativas en cada paso del ciclo de vida del producto.

Una definición mejorada de gemelo digital y el subproceso digital

Las organizaciones de fabricación saben que se estabilizan al día con la competencia requieren una evaluación y mejora constantes del proceso de desarrollo de productos. Como se informó en la Agenda estratégica del ejecutivo de ingeniería de Lifecycle Insights de 2020, el 25 % de los encuestados invirtió en esfuerzos de mejora el año pasado. Y un 38% adicional de los encuestados afirmó que planeaba invertir en mejoras el próximo año. Las mejoras son necesarias para mantener una ventaja competitiva frente a requisitos cada vez más complejos y plazos reducidos.

Si bien los conceptos de gemelo digital e hilo digital son relativamente nuevos en la industria, han ganado terreno rápidamente. Las iniciativas de mejora de muchas empresas se centran en el gemelo digital, un modelo virtual completo que define un producto o una planta. Otras organizaciones están priorizando el hilo digital, o la secuencia de actividades virtuales en los procesos comerciales que pueden mejorar y expandir el gemelo digital. Con muchas empresas investigando o buscando iniciativas de transformación digital (DX), muchas se preguntan qué papel juegan los gemelos digitales y los subprocesos digitales en esos esfuerzos.

En esta publicación, discutiremos los roles tanto del gemelo digital como del subproceso digital en mayores iniciativas de transformación digital.

El papel del gemelo digital en la transformación digital

Hace unos años, si le hubiera pedido a un miembro de la comunidad de fabricación que definiera el término «gemelo digital», podría haber obtenido una variedad de respuestas diferentes. Desde entonces, la definición de gemelo digital se ha solidificado en toda la industria.

El gemelo digital es una representación virtual de un producto o planta que existe antes de que se construya físicamente. Las organizaciones colaboran en torno a esta definición inequívoca del producto o planta. Los miembros de todos los departamentos funcionales pueden trabajar desde el mismo plano digital. Esta «única fuente de verdad» virtual facilita a los fabricantes el desarrollo de un diseño optimizado y la predicción del rendimiento del diseño, mucho antes de unir las piezas.

Tradicionalmente, el gemelo digital de un producto conectado inteligente probablemente incluiría el hardware mecánico, la electrónica, los sistemas de distribución eléctrica y el software integrado. Del mismo modo, un gemelo digital integral de una planta cubriría el diseño y la programación de herramientas para equipos de control numérico por computadora (CNC) y robótica, así como la planificación de celdas, líneas e instalaciones, y más. Estas definiciones forman una base sólida para la ingeniería y otros departamentos funcionales.

La profundización del gemelo digital mediante la incorporación de una mayor fidelidad y definiciones más detalladas desde el principio coloca a las organizaciones en una posición aún mejor para respaldar las mejoras.

Por ejemplo, un gemelo digital mejorado podría incluir una simulación muy detallada y precisa de cómo funcionaría un producto inteligente y conectado. Podría enviar datos de sensores a una plataforma de Internet de las cosas (IoT) para su análisis y una toma de decisiones más informada. En el caso del gemelo digital de una planta, una definición más mejorada podría simular a un trabajador ejecutando un proceso con asistencia robótica y evaluar la tensión resultante en el trabajador.

Cortesía de Siemens.

Los gemelos digitales más detallados pueden ayudar a las organizaciones de fabricación a obtener beneficios más tangibles de sus inversiones en transformación digital. Esos beneficios incluyen:

una colaboración más estrecha entre los departamentos funcionales, capacidades mejoradas de solución de problemas, una reducción de errores y retrasos innecesarios, y habilidades de toma de decisiones más informadas a lo largo de todo el ciclo de vida del desarrollo.

El papel del hilo digital en la transformación digital

El concepto de hilo digital es más nuevo que el de gemelo digital y, debido a su novedad, su definición todavía está evolucionando un poco. La definición que se acerca al consenso es que el hilo digital es la forma digital de los procesos de negocios individuales (actividades, tareas y decisiones) que mejoran y expanden el gemelo digital. Estos procesos también respaldan los esfuerzos de automatización, trazabilidad y estandarización.

Algunas organizaciones están convirtiendo procesos manuales, en papel o basados ​​en correo electrónico en procesos digitales automatizados que luego pueden ocupar su lugar en el hilo digital. Esto hace que el hilo digital sea más robusto. Los procesos que podrían convertirse incluyen actividades digitales de apoyo en algún tipo de sistema de registro, o tareas de automatización o enrutamiento basadas en restricciones y lógica definida. En estos ejemplos, un beneficio tangible es que las partes interesadas del proyecto pueden ser notificadas automáticamente sobre decisiones clave o cualquier actividad que pueda estar fuera de programa.

Una segunda forma en que los fabricantes aprovechan el subproceso digital para mejorar es mediante la automatización de procesos y la exposición de más información en otros sistemas comerciales, incluidos los que utilizan los socios proveedores. Dichos esfuerzos pueden abarcar múltiples tipos de sistemas, incluidas las plataformas de gestión del ciclo de vida del producto (PLM) y los sistemas de ejecución de fabricación (MES). Al compartir datos críticos entre diferentes sistemas comerciales, las organizaciones pueden mejorar la comunicación y la colaboración, respaldar decisiones clave e iniciar disparadores para activar procedimientos de contingencia.

Cortesía de Siemens.

La adopción del subproceso digital permite a una organización conectar fuentes dispares de información, datos que, tradicionalmente, han estado aislados y son difíciles de acceder. Cuando estos datos fluyen libremente, pueden respaldar los esfuerzos de automatización y mejora en cada paso del ciclo de vida del desarrollo del producto.

Comenzar y expandirse a su propio ritmo

Cuando se trata de adoptar el gemelo digital o el hilo digital, no existe un enfoque único para todos. De hecho, el éxito de las iniciativas de varios fabricantes muestra que los esfuerzos de transformación digital, respaldados por el gemelo digital o hilo digital, realmente pueden comenzar en cualquier lugar. Solo tiene que identificar un flujo de trabajo o proceso que se beneficiará de un cambio digital.

Al considerar cómo aprovechar dichas tecnologías en sus propios esfuerzos de mejora, la clave es perseguir objetivos alcanzables con esfuerzos a la escala adecuada. La transformación digital no es un proceso de la noche a la mañana. Una vez que identifique un lugar para comenzar, vale la pena comenzar poco a poco y construir sobre esas victorias. Con cada mejora exitosa, aprenderá cómo expandir mejor sus esfuerzos de transformación digital a otras áreas, aprovechando ese trabajo anterior para que pueda mejorar el gemelo digital o el hilo digital en otros pasos o fases del ciclo de vida del desarrollo del producto. La transformación digital, verdaderamente, es un esfuerzo acumulativo.

Pensando en grande

Las organizaciones de fabricación que buscan producir productos más complejos en plazos más cortos están aprovechando las iniciativas de transformación digital. Si bien no existe un único enfoque correcto para respaldar esas mejoras, un gemelo digital y subprocesos digitales pueden ayudar.

Las empresas que piensan de manera más amplia sobre cómo definir y crear este tipo de activos digitales cosecharán cada vez más los beneficios, disminuirán los posibles errores y problemas y mejorarán el diseño y las operaciones mientras trabajan para construir los productos y las plantas del mañana.


Fuente: www.siemens.com

Por: Chad Jackson 

Anteproyecto para la Regulación de la Tecnología de Reconocimiento Facial

El Instituto de Tecnología Humana de la Universidad de Tecnología de Sydney (UTS) describe una ley modelo en un informe reciente para la tecnología de reconocimiento facial para proteger contra el uso dañino y ayudar a fomentar la innovación.

El reconocimiento facial y otras tecnologías biométricas remotas están explotando, lo que genera preocupaciones sobre la privacidad, la vigilancia masiva y los prejuicios dentro y fuera de la tecnología.

Este nuevo informe reconoce que nuestros rostros son únicos porque los humanos dependen en gran medida de los rostros de los demás para identificarse e interactuar.

El informe propone una ley modelo basada en el riesgo para el reconocimiento facial. El punto de partida debe ser garantizar que se desarrolle el reconocimiento facial, defendiendo los derechos humanos fundamentales de las personas.

La ley modelo establece tres niveles de riesgo para los derechos humanos de las personas afectadas por una determinada aplicación de tecnología de reconocimiento facial y los riesgos para la comunidad en general.

El informe, Tecnología de reconocimiento facial: hacia una ley modelo, ha sido coautor del profesor Nicholas Davis, el profesor Edward Santow y Lauren Perry del Human Technology Institute, UTS.


Fuente: www.eedesignit.com

Por: Carolyn Mathas

Tiny ML
Fuente: Medium

TinyML es una de las áreas de aprendizaje profundo de más rápido crecimiento. En pocas palabras, es un campo de estudio emergente que explora los tipos de modelos que puede ejecutar en dispositivos pequeños de bajo consumo como los microcontroladores.

TinyML se encuentra en la intersección de aplicaciones, algoritmos, hardware y software de ML incorporado. El objetivo es habilitar la inferencia de baja latencia en dispositivos de borde en dispositivos que normalmente consumen solo unos pocos milivatios de energía de la batería. En comparación, una CPU de escritorio consumiría alrededor de 100 vatios (¡miles de veces más!). Este consumo de energía extremadamente reducido permite que los dispositivos TinyML funcionen desenchufados con baterías y duren semanas, meses y posiblemente incluso años, todo mientras se ejecutan aplicaciones ML siempre activas en el borde/punto final.

Aunque la mayoría de nosotros somos nuevos en TinyML, puede que le sorprenda saber que TinyML ha servido en sistemas de producción de ML durante años. Es posible que ya haya experimentado los beneficios de TinyML cuando dice «OK Google» para activar un dispositivo Android. Eso está impulsado por un detector de palabras clave siempre activo y de bajo consumo.

¿Por qué TinyML?

Si consideramos que, según una previsión de ABI Research, para 2030 es probable que alrededor de 2.500 millones de dispositivos lleguen al mercado a través de técnicas TinyML, teniendo como principal beneficio la creación de dispositivos IoT inteligentes y, más que eso, popularizar a través de una posible reducción de costes.

La mayoría de los dispositivos IoT realizan una tarea específica. Reciben información a través de un sensor, realizan cálculos y envían datos o realizan una acción.
El enfoque habitual de IoT es recopilar datos y enviarlos a un servidor de registro centralizado, y luego puede utilizar el aprendizaje automático para concluir.
Pero, ¿por qué no hacemos que estos dispositivos sean inteligentes a nivel de sistema integrado? Podemos crear soluciones como señales de tráfico inteligentes basadas en la densidad del tráfico, enviar una alerta cuando su refrigerador se queda sin existencias o incluso predecir la lluvia en función de los datos meteorológicos.

El desafío con los sistemas integrados es que son diminutos. Y la mayoría de ellos funcionan con batería. Los modelos ML consumen mucha potencia de procesamiento, las herramientas de aprendizaje automático como Tensorflow no son adecuadas para crear modelos en dispositivos IoT.

Construcción de modelos en TinyML

En TinyML, se utiliza la misma arquitectura y enfoque de ML, pero en dispositivos más pequeños capaces de realizar diferentes funciones, desde responder comandos de audio hasta ejecutar acciones a través de interacciones químicas.

El más famoso es Tensorflow Lite. Con Tensorflow Lite, puede agrupar sus modelos de Tensorflow para ejecutarlos en sistemas integrados. Tensorflow Lite ofrece binarios pequeños capaces de ejecutarse en sistemas integrados de bajo consumo.

Tensorflow Lite: Tiny ML

Un ejemplo es el uso de TinyML en sensores ambientales. Imagine que el dispositivo está capacitado para identificar la temperatura y la calidad del gas en un bosque. Este dispositivo puede ser esencial para la evaluación de riesgos y la identificación de los principios de incendio.

La conexión a la red es una operación que consume energía. Con Tensorflow Lite, puede implementar modelos de aprendizaje automático sin necesidad de conectarse a Internet. Esto también resuelve los problemas de seguridad, ya que los sistemas integrados son relativamente más fáciles de explotar.

Ventajas de TinyML

  • Seguridad de los datos: Como no hay necesidad de transferir información a entornos externos, la privacidad de los datos está más garantizada. ‍
  • Ahorro de energía: la transferencia de información requiere una amplia infraestructura de servidores. Cuando no hay transmisión de datos, se ahorra energía y recursos, por lo tanto en costos.
    Sin dependencia de conexión: Si el dispositivo depende de Internet para funcionar, y se cae, será imposible enviar los datos al servidor. Intenta usar un asistente de voz y no responde porque está desconectado de Internet.
  • Latencia: la transferencia de datos lleva tiempo y, a menudo, genera demoras. Cuando no involucra este proceso, el resultado es instantáneo.
10 Considerations for Designing a Machine Vision System
Image collage
Refer to this checklist of prerequisites before taking on the task.

Machine vision systems serve a vast range of industries and markets. They are used in factories, laboratories, studios, hospitals and inspection stations all over the world—and even on other planets. But how do you design one?

When designing a machine vision system there are many factors that can affect the overall performance. Many of these elements are integral to the camera choice, but there are additional external factors that can have a significant impact on the final image. This article will explore 10 of these considerations and what to look out for when painting the full picture that makes up a vision system.

1. Environment

Images are captured in every corner of the world. In a corporate or residential building, it is common to see security systems, and while driving there can be toll booths with embedded systems and small board-level modules connected to aerial imaging drones.

The range of environments that require reliable imaging solutions is broad, and while these systems are often generalized as machine vision systems, it’s clear that imaging solutions extend well beyond factory floor applications.

The conditions a vision system operates within determine many of the specifications necessary to deliver the required image, including weather conditions such as direct sunlight, rain, snow, heat and other external factors that are outside our scope of control. However, a vision system can be designed with these in consideration. Factors such as additional light can be included in a system, or adequate housing to ensure the camera and its sensor are protected from harsh weather. In short, systems can be adapted to ensure that a camera always has a clear image.

2. Sensor

When deciding on a camera for a vision system, most of its performance resides with the image sensor. Understanding what a camera is capable of fundamentally comes down to the type of sensor being used. On the other hand, two different cameras with the same sensor are not necessarily going to output the same type of image. In fact, they most likely will have some noticeable differences. Therefore, looking at the rest of these considerations is quite important.

The format of the sensor will decide a lot about the matching optics and how the images will look. Formats abound, but some common ones include APS-C, 1.1-in., 1-in. and 2/3-in. When using a larger sensor size, a vision system can often benefit from more pixels, resulting in a higher resolution image. However, there are several other specifications that are equally important. Details such as full well capacity, quantum efficiency and shutter type all play a part in how the sensor can deal with various targets in unique situations.

Figure 1 Teledyne Lumenera Lt M4020 B
A Teledyne Lumenera Board-Level Camera with a 1.1-in. sensor.

3. Lens

After deciding on the internal aspects of a camera, a vision system needs some help focusing on a target that can only be accomplished with a lens. In machine vision systems the camera size can vary based on the application. With larger systems, a zoom lens may be required depending on the targeted image. With machine vision, many cameras are locked on a specific target area and take advantage of prime lenses with a fixed focal length.

Each lens has a specific mounting system based on the manufacturer and the sensor it will be attached to. Common lens mounts for machine vision include C-mount, CS-mount and M42-mount. Therefore, before choosing a lens, the first step is to review required sensor specifications.

The main specification for a lens is the focal length. As focal length decreases, the field of view (FoV) inversely increases. This means that as the area the lens can capture increases, the magnification of each element decreases. Other specifications are also valuable to consider, such as working distance and aperture.

Figure 2 Fo V Focal Length
A camera lens showing the difference in field of view based on the focal length.

4. Lighting

Arguably the most important piece of a vision system is the lighting. This is because no matter how sensitive a camera sensor is in low light, there is no substitute for the clarity obtained from a well-illuminated target. Lighting can also take many forms that can help reveal new information about a target.

Area lights are a more general-purpose solution for even distribution, so long as the target is a good distance from the source to prevent hot spots from occurring. Ring lights are useful when dealing with highly reflective surfaces since they are able to reduce reflections. Other lights include dome lights for machined metals and structured light for 3D object mapping; even introducing colored light can add details and increase contrast.

5. Filters

If there is excess unwanted light passing through the lens, it can reduce important detail. There are many kinds of filters that can be used to reduce and remove certain light. The two main kinds of color filters are dichroic and absorptive. The main difference between these is that dichroic filters are designed to reflect undesired wavelengths while absorptive filters absorb extra wavelengths to only transmit the ones required.

 Filtering out color is not the only use for filters. Neutral Density (ND) filters reduce the overall light levels, whereas polarizers remove polarized light, which reduces reflected light. Antireflective (AR) coatings help reduce reflection within the vision system. This is particularly useful for applications such as intelligent traffic systems (ITS) where a reduction in glare can increase the accuracy of optical character recognition (OCR) software.

6. Frame Rate

The speed of a camera can be measured in frames per second (fps). A camera with a higher frame rate can capture more images. This also affects each image that is captured due to the exposure time of each image being reduced as the frame rate increases. This results in less blur as the camera captures fast-moving targets such as objects on a conveyor belt. The drawback to short exposures is the lack of time the sensor is able to collect light during each shot. In these cases, a larger pixel size for the sensor often helps increase the overall brightness of each image.

7. Noise and Gain

When a high frame rate is a must and short exposure can not be avoided, the camera gain can potentially make up for the reduced brightness. The reason why gain cannot be the easy solution for all lighting challenges is because of the noise that it introduces. As the gain is increased, so is the noise which reduces the clarity of an image. The increase in gain allows for the camera to increase the sensor sensitivity. This means the vision system can take in a brighter image with less light but also reduce clarity from read noise and dark current noise.

8. Bit Depth and Dynamic Range

To accurately measure certain targets, a vision system needs to have high enough bit depth. The higher the bit depth, the higher the degree of variance between pixels. On the other hand, the dynamic range represents the ability of a camera to make out details from the brightest sections of the image to the darkest.

In outdoor applications more than 8-bit is rarely needed unless there is a need for high-precision measurement like photogrammetry. However, outdoor imaging can benefit greatly from a high dynamic range by capturing data in bright sunlight such as the sky, which is often overexposed in many images, and capturing detail in the shadows of a target. One possible solution could be to increase the gain or exposure time, but this would only result in getting detail in the shadows while reducing the data in already bright sections. A high dynamic range can ensure that there is clarity in each part of the image.

9. Software

Even with high-end hardware, the camera can only do what the software demands. The fundamental forms of software components are image acquisition and control, along with image processing software. The primary source of image data comes from image acquisition and control software which takes raw data from the camera and interprets it for the end-user. One of the common ways this is done is when a color camera takes an image, the pixel data is filtered through a physical Bayer filter, and then the software takes that data to construct a color image.

The next stage in the software tree has to do with what is done with the image data. This can involve a variety of tasks for machine vision such as inspection, analysis and editing for applications such as quality control when a target passes by the camera and needs to be tested.

10.  Interface

As camera technology continues to push forward and result in a vast amount of image data, it is important to develop methods for delivering that data. Camera interfaces have branched out in several ways to provide a range of options for any imaging application. The four most common solutions are USB3, GigE, CoaXpress (CXP) and Camera Link High Speed (CLHS). The main attributes to consider when looking into a vision system interface are the required bandwidth, synchronization, ease of deployment and cable length.

Figure 3 Genie Nano
A Teledyne DALSA Genie Nano with a GigE interface.

Putting it All Together

There are certainly many considerations involved when building a machine vision system, which is why many companies turn to systems integrators to help them with this task. System integrators, in turn, rely on high-performance OEM components that deliver the results. The key is to define what you need your vision system to do, and then identify the elements of the system that can produce the desired results.

Filip Szymanski, a technical content specialist for Teledyne Vision Solutions, is one of Teledyne’s imaging experts whose technology perspective comes from his degree in photonics and laser technology. He has years of experience in the machine vision industry working with cameras, sensors and embedded systems. 


Fuente: www.machinedesign.com

Por: Filip SzymanskiTeledyne

MIT Engineers Create Battery-Free, Wireless Underwater Camera

A significant challenge for undersea exploration is powering underwater cameras. Researchers can tether it to their vessel or send a ship and diver to recharge its batteries. MIT researchers are overcoming the challenge, developing a battery-free, wireless, underwater camera that is approximately 100,000x more energy-efficient than other undersea cameras. It yields color photos, even in dark aquatic environments, and transmits image data wirelessly through the water.

Powered by sound, the camera converts mechanical energy from sound waves traveling through water into electrical energy that powers its imaging and communications equipment. The camera also uses sound waves to transmit data to a receiver that reconstructs the image. They published their paper in Nature Communications.

The camera acquires energy using transducers made from piezoelectric materials placed around its exterior. When a sound wave traveling through the water hits the transducers, they vibrate and convert that mechanical energy into electrical energy. The camera stores harvested energy until it builds up enough to power the electronics that take the photos and communicate the data.

They used off-the-shelf, ultra-low-power imaging sensors and developed a low-power flash. When the camera captures an image, it shines a red LED and then uses image sensors to take the photo. It repeats the same process with green and blue LEDs. The researchers tested the camera in several underwater environments.

The device could help scientists explore unknown regions of the ocean, track pollution, or monitor the effects of climate change.


Fuente: www.eedesignit.com

Por: Carolyn Mathas

Solving the Metaverse Technology Puzzle

Many pieces must come together—including some that don’t yet exist—for the metaverse to reach its potential.

Metaverse Dreamstime M 245088241 Promo
Many pieces must come together—including some that don’t yet exist—for the metaverse to reach its potential.

The metaverse is expected to transform our very concept of virtual reality. Before it can do that, though, it has some very real-world problems to solve.


Fuente: www.electronicdesign.com

Por: David Chen

La pareja perfecta, combinar inteligencia artificial y visión artificial
All Images Courtesy of Teledyne Industrial Vision Solutions.

La visión por computadora y la inteligencia artificial (IA) tienen cada una su propósito en los sistemas de visión modernos. Al desarrollar una plataforma de imágenes, pueden surgir ciertos desafíos al intentar implementar IA en un sistema de visión por computadora existente. Al principio, puede ser difícil decidir qué tareas son las más adecuadas para la IA. Por lo tanto, es beneficioso buscar la experiencia de los expertos de la industria que ya han dado muchos pasos para proporcionar una combinación de soluciones de inteligencia artificial y visión por computadora.

Valor de la IA

La experiencia en software de imagen tradicional ha estado disponible durante mucho tiempo. Mediante el uso de la visión por computadora, los ingenieros hemos podido abordar los desafíos en muchas aplicaciones industriales, incluida la automatización de la visión artificial, los sistemas de transporte inteligente (ITS) y las imágenes aéreas. Sin embargo, cuando las imágenes capturadas son complejas y variadas, como nuevas formas, orientaciones y colores, se sabe que la visión por computadora lucha donde la IA puede florecer.

Una aplicación ITS común es la detección de vehículos. Esto puede ser un desafío cuando se utiliza una solución de visión por computadora tradicional debido a las variables que existen en las imágenes al aire libre. En el método tradicional, un desarrollador puede programar especificaciones para que el software busque un cambio en la imagen para detectar un vehículo. Sin embargo, si el software activa una cámara cuando cambia la imagen, para indicar que un vehículo pasa junto a la cámara, varios otros cambios en la imagen podrían hacer lo mismo. Por ejemplo, si el clima cambia, el software puede interpretarlo como un cambio que requiere que la cámara capture una imagen. Además, si algo entra en el campo de visión, como un pájaro, esto también puede disparar la cámara.

Image Courtesy of Teledyne Industrial Vision Solutions.

En una fábrica donde el mismo tipo de objeto pasa continuamente por la cámara, el software de visión por computadora puede capturar con precisión imágenes de productos, componentes o materiales para su inspección. Por el contrario, en un escenario al aire libre, varios fenómenos pueden introducir inconsistencias en la escena y causar complicaciones al programar una solución. AI puede proporcionar valor en tal situación.

Entrenar software de IA, que es un algoritmo que identifica un tema específico, es bastante diferente de programar software de visión por computadora. El proceso de entrenamiento de un software de IA es menos rígido. Es similar a presentar un tema a un estudiante y pedirle que revise el material muchas veces hasta que lo entienda. Sin embargo, la IA debe enfocarse con un tema en particular en mente.

En lugar de entrenar el software de IA para que pueda reconocer todo lo que ve con la cámara e identificar vehículos, el entrenamiento se enfoca solo en vehículos. Al reconocer el aspecto de un automóvil, camión o motocicleta, un programa de IA sabrá buscar posibles objetivos dentro de una imagen. Con esta línea de base, el software de IA puede ignorar todos los demás problemas que puedan surgir en el entorno real de imágenes de tráfico.

Valor de la visión artificial

Si bien la IA puede proporcionar una nueva capacidad a un sistema de visión, no es la única opción. El software tradicional de visión por computadora puede ofrecer soluciones eficientes a varios desafíos de imagen. Donde la IA puede ser beneficiosa para el análisis de imágenes complejas, también tiene un inconveniente, la cantidad de tensión que ejerce sobre los recursos informáticos. Por otro lado, el software de visión por computadora ofrece programas simples que son fáciles de ejecutar en algunos de los sistemas integrados más pequeños.

Volviendo a las aplicaciones de tráfico, una forma en que pueden beneficiarse enormemente del software de visión por computadora es con el reconocimiento óptico de caracteres (OCR). En lugar de usar IA que podría requerir más recursos informáticos, un software OCR de visión por computadora simplemente verifica la imagen en busca de formas básicas para que coincida con una de una lista preestablecida de caracteres para placas de matrícula. Los caracteres de cada matrícula se pasan a través de un sistema OCR y se imprimen para la recopilación de datos de cada vehículo que captura el sistema de cámara. Esto puede ser ventajoso para registrar de manera efectiva cada matrícula escaneando cada carácter y guardando esos datos para la aplicación de peaje.

Image Courtesy of Teledyne Industrial Vision Solutions.

Cómo usarlas juntas

Un sistema de visión que utiliza IA más la visión artificial tradicional puede lograr un análisis de imágenes mucho más complicado.

Para ITS, tanto el OCR como la detección de vehículos son cruciales para la aplicación de peajes. Pero para garantizar que el software de visión por computadora pueda pasar de manera confiable a través de una muestra de imagen consistente, el sistema de imagen también necesitaría aislar cada vehículo en una imagen. En cualquier imagen, la cámara puede capturar varios vehículos y cada matrícula debe aislarse y detectarse por separado antes de que el software de visión por computadora las inspeccione.

Image Courtesy of Teledyne Industrial Vision Solutions.

Dado que cada vehículo puede tener una variedad de posiciones de matrícula y también pueden adoptar una variedad de colores, puede ser ventajoso tener una IA que se use para estos casos extremos. Una placa de una región en particular puede venir en varios colores porque, a medida que se emiten nuevas placas, pueden tener nuevos estilos que reemplacen los formatos antiguos. En la imagen, se muestran diferentes matrículas de varias regiones e incluso algunas de la misma región (Ontario) con diferentes diseños que podrían confundir a un sistema de visión que no esté bien capacitado para adaptarse a estas opciones.

Image Courtesy of Teledyne Industrial Vision Solutions.

Una vez que se detecta una placa, el resto de la imagen se puede recortar para que solo quede una placa rectangular de la que se puede usar el OCR para extraer los caracteres. Las tres placas de la Figura 6 muestran varias formas de suciedad o lodo que pueden ocultar una placa. Incluso las cubiertas de las matrículas pueden reducir el reflejo de la luz de los personajes y pueden representar un desafío adicional.

Image Courtesy of Teledyne Industrial Vision Solutions.

El ejemplo del mundo real

La implementación de IA en un sistema de visión existente puede ser un desafío. Existe un sistema de imágenes ITS para OCR que inicialmente se diseñó para ser un sistema de visión por computadora con el objetivo de lograr una alta precisión y luego se amplió para incorporar los beneficios de la IA.

La realidad de este sistema de detección de vehículos era que había demasiadas variables solo para la visión artificial. Se introdujo la IA para capturar las imágenes y la visión por computadora terminó proporcionando un análisis eficiente para OCR. El sistema resultante involucró mucho trabajo en el desarrollo y prueba de diferentes opciones.

Muchas personas pueden intentar configurar los sistemas de la manera tradicional y simplemente usar la visión por computadora. Sin embargo, la IA permite que los sistemas detecten fácilmente objetivos en imágenes complejas, mientras que la visión por computadora puede funcionar rápidamente a través del análisis de imágenes repetibles. Los expertos en imágenes han demostrado que tanto la IA como la visión por computadora son herramientas importantes en los sistemas de imágenes modernos y trabajan con integradores de sistemas para proporcionar elementos de sistemas de visión que combinan lo mejor de ambos mundos.

Fuente: www.qualitymag.com


¿Qué es la tecnología de estimación de edad? y ¿Cómo funciona?

En resumen, la tecnología de estimación de edad es la capacidad de estimar la edad de una persona utilizando tecnología. Cuando se utiliza la tecnología de reconocimiento facial tradicional para identificar a un individuo, la estimación de edad solo está interesada en confirmar su edad.

Aunque las dos tecnologías parecen similares, existen diferencias importantes entre ellas.

La utilización de la tecnología de estimación de edad para verificar la edad de los adolescentes, entre 13 y 17 años, que usan su plataforma, surge la pregunta: ¿Qué es esta tecnología? Y, ¿Cómo funciona?

La tecnología de reconocimiento facial funciona separando el rostro de una persona de sus imágenes de fondo. Luego, la imagen facial separada se verifica en busca de detalles como la postura facial, la escala de grises y la iluminación. Luego se miden características como los ojos, la nariz y la boca. Estas extracciones representan un rostro digital, y ese rostro se compara con una base de datos. Cuando una organización necesita verificar la edad de una persona, tradicionalmente necesitaría información personal o detalles de la tarjeta de crédito de esa persona, y esa información a veces se puede verificar con terceros, como agencias de referencia de crédito. Más importante aún, la tecnología está diseñada para identificar a un individuo. Sin embargo, la tecnología está rodeada de controversia porque no siempre es precisa. También puede recopilar datos en línea sin permiso: la Oficina del Comisionado de Información (ICO, por sus siglas en inglés) multó a Clearview AI en 2021 por no cumplir con las leyes de datos del Reino Unido cuando descubrió que la empresa usaba imágenes en línea de personas sin permiso.

La tecnología de estimación de edad utiliza los mismos principios que la tecnología de reconocimiento facial en términos de identificar detalles faciales, pero no solicita información personal o identificable, por lo que el usuario permanece en el anonimato.

Instagram anunció planes para usar un programa llamado Yoti para realizar su análisis de verificación de edad. El sistema de Yoti se ha construido de acuerdo con la ‘protección de datos por diseño y por defecto’ del RGPD, anteriormente conocida como ‘privacidad por diseño’, lo que significa que no se puede identificar a una persona y solo se necesitan los datos mínimos para llevar a cabo el proceso porque solo necesita la imagen facial de la persona. Una vez que se verifica la edad de una persona, su imagen se eliminará inmediatamente de su base de datos.

La tecnología de estimación de Yoti se realiza mediante una «red neutral» que, según Yoti, puede identificar la edad de una persona con una precisión de 1,36 años para los niños de 6 a 12 años, y de 1,52 años para los niños de 13 a 19 años. Su tecnología utiliza una forma de inteligencia artificial (IA) que utiliza un algoritmo de estimación de edad para verificar millones de imágenes para estimar la edad de un individuo.

¿Qué es Yoti?

Yoti es una aplicación de identidad digital que utiliza tecnología de estimación de edad y brinda tecnología amigable con la privacidad a las organizaciones que necesitan verificar la edad de sus clientes.

Los sistemas de estimación de edad y reconocimiento facial se clasifican como «biometría« porque implican la medición de las características fisiológicas de un ser humano.

La biometría funciona por:

  • Detección: ¿hay una cara en la imagen?
  • Caracterización: ¿Qué suposiciones se pueden hacer sobre esta cara?
  • Identificador persistente único: ¿Qué está haciendo esta persona, en un contexto limitado, no vinculado a otra PII? (información de identificación personal)
  • Verificación 1:1 – ¿Es esta persona quien dice ser?
  • Identificación 1:Muchos: ¿puede el software determinar quién es esta persona desconocida?

Una vez que se ha identificado la edad de una persona, las plataformas de redes sociales pueden adaptar la experiencia en línea de los usuarios al contenido apropiado para su edad e implementar controles de seguridad, como desactivar las notificaciones excesivas, configurar la geolocalización (pero el niño tiene la opción de desactivarla), minimizar los datos colección, usando un lenguaje amigable para los niños y asegurándose de que sean tratados apropiadamente para su edad.

Pero esto es solo una parte del problema y plantea la pregunta: ¿por qué los niños sienten que necesitan pretender ser mayores en línea en primer lugar? A medida que más personas se unen al Metaverso, existen preocupaciones sobre la privacidad y la recopilación de datos, como la extracción de información personal, la falta de autoridad en el espacio y su alcance y posibilidades desconocidos. Además, es preocupante la posibilidad de que los delincuentes, escondidos detrás de un avatar, se aprovechen de las personas vulnerables. Los usuarios de VR han descrito el espacio como un «salvaje oeste inseguro» y se estima que los niños pasarán 10 años allí, por lo que es importante que se implementen medidas de seguridad.

Entonces, ¿podría la tecnología de verificación de edad, al adaptar las experiencias al contenido apropiado para la edad, ayudar a vigilar el espacio para que los niños estén protegidos?

Fuente: Electronic Specifier. Sheryl Miles.