Diseño del sistema de tiempo de vuelo-Parte 1: Visión general del sistema

Resumen

Este es el primer artículo de nuestra serie sobre el tiempo de vuelo (ToF) que proporcionará una visión general de la tecnología de los sistemas de cámaras CMOS ToF de onda continua (CW) y sus ventajas sobre las soluciones tradicionales de obtención de imágenes 3D para aplicaciones de visión artificial. En artículos posteriores se profundizará en algunos de los componentes del sistema presentados en este artículo, como el subsistema de iluminación, la óptica, la gestión de la energía y el procesamiento de la profundidad.

Introducción

En la actualidad, muchas aplicaciones de visión artificial requieren imágenes de profundidad en 3D de alta resolución para sustituir o aumentar las imágenes estándar en 2D. Estas soluciones se basan en la cámara 3D para proporcionar una información de profundidad fiable que garantice la seguridad, especialmente cuando las máquinas operan muy cerca de las personas. Las cámaras también deben proporcionar información fiable sobre la profundidad cuando operan en entornos difíciles, como grandes espacios con superficies muy reflectantes y otros objetos en movimiento. Hasta la fecha, muchos productos han utilizado soluciones de telémetro de baja resolución para proporcionar información de profundidad y aumentar las imágenes 2D. Sin embargo, este enfoque tiene muchas limitaciones. Para las aplicaciones que se benefician de una información de profundidad 3D de mayor resolución, las cámaras CMOS CW ToF ofrecen las soluciones más capaces del mercado. Algunas de las características del sistema que permite la tecnología de sensores ToF CW de alta resolución se describen con más detalle en la Tabla 1. Estas características del sistema también se traducen en casos de uso de los consumidores, como el bokeh de vídeo, la autenticación facial y las aplicaciones de medición, así como en casos de uso de la automoción, como la supervisión del estado de alerta del conductor y la configuración automatizada en la cabina.

Tabla 1. Características del sistema de tiempo de vuelo de onda continua

Funcionalidad del sistema	Factores facilitadores
Precisión y exactitud de la profundidad	Frecuencia de modulación Esquemas de modulación y procesamiento en profundidad
Rango dinámico	Ruido de reproducción Velocidad de fotogramas en bruto
Facilidad de uso	Procedimiento de calibración Compensación de temperatura Control de la seguridad ocular
Funcionamiento en exteriores	Sensibilidad a 940 nm Potencia y eficiencia de la iluminación
fusión 2D/3D	Tamaño del píxel Imágenes IR de profundidad y 2D
Funcionamiento multisistema	Anulación de la luz parásita en el píxel Sincronización de la cámara

Visión general de la cámara de tiempo de vuelo de onda continua CMOS

Una cámara de profundidad es una cámara en la que cada píxel indica la distancia entre la cámara y la escena. Una técnica para medir la profundidad consiste en calcular el tiempo que tarda la luz en viajar desde una fuente de luz en la cámara hasta una superficie reflectante y de vuelta a la cámara. Este tiempo de viaje se denomina comúnmente tiempo de vuelo (ToF).

Una cámara ToF consta de varios componentes (véase la figura 1), entre ellos

• una fuente de luz, como un láser de emisión superficial de cavidad vertical (VCSEL) o un diodo láser de emisión lateral, que emite luz en el rango del infrarrojo cercano. Las longitudes de onda más utilizadas son 850 nm y 940 nm. La fuente de luz suele ser una fuente difusa (floodlighting) que emite un haz de luz con una determinada divergencia (también conocido como campo de iluminación o FOI) para iluminar la escena delante de la cámara.
• un controlador láser que modula la intensidad de la luz emitida por la fuente luminosa.
• un sensor con una matriz de píxeles que recoge la luz que regresa de la escena y emite valores para cada píxel.
• una lente que enfoca la luz de retorno hacia el conjunto de sensores.
• un filtro de paso de banda colocado junto a la lente que filtra la luz fuera de un estrecho ancho de banda alrededor de la longitud de onda de la fuente de luz.
• un algoritmo de procesamiento que convierte las imágenes de salida en bruto del sensor en imágenes de profundidad o nubes de puntos.

Se pueden utilizar varios enfoques para modular la luz en una cámara ToF. Un enfoque sencillo es utilizar la modulación de onda continua, por ejemplo, la modulación de onda cuadrada con un ciclo de trabajo del 50%. En la práctica, la forma de onda del láser rara vez es una onda cuadrada perfecta y puede parecerse más a una onda sinusoidal. Una forma de onda láser cuadrada proporciona una mejor relación señal-ruido para una potencia óptica determinada, pero también introduce errores de no linealidad en profundidad debido a la presencia de armónicos de alta frecuencia.

Una cámara CW ToF mide la diferencia de tiempo t_d entre la señal transmitida y la señal de retorno, estimando el desfase ϕ = 2πft_d entre los fundamentos de estas dos señales. La profundidad puede estimarse a partir del desplazamiento de fase (ϕ) y la velocidad de la luz (c) mediante :

donde f_mod es la frecuencia de modulación.

Un circuito de generación de reloj en el sensor controla los relojes complementarios de los píxeles, que controlan respectivamente la acumulación de foto-cargas en los dos elementos de almacenamiento de carga (Tap A y Tap B), así como la señal de modulación del láser al controlador del láser. La fase de la luz modulada que regresa puede medirse con respecto a la fase de los relojes de los píxeles (véase la parte derecha de la figura 1). La carga diferencial entre la toma A y la toma B del píxel es proporcional a la intensidad de la luz modulada de retorno y a la fase de la luz modulada de retorno respecto al reloj del píxel.

Utilizando los principios de la detección homodina, se realiza una medición con varias fases relativas entre el reloj del píxel y la señal de modulación del láser. Estas mediciones se combinan para determinar la fase de la fundamental en la señal luminosa modulada de retorno. Conocer esta fase permite calcular el tiempo que tarda la luz en viajar desde la fuente de luz hasta el objeto observado y de vuelta al píxel del sensor.

Ventajas de las frecuencias de modulación altas

En la práctica, hay no idealidades, como el ruido de los fotones, el ruido del circuito de lectura y las interferencias por trayectorias múltiples, que pueden causar errores en la medición de la fase. Tener una frecuencia de modulación alta reduce el impacto de estos errores en la estimación de la profundidad.

Esto se entiende fácilmente tomando un ejemplo sencillo en el que hay una fase error ϵ_ϕ-es decir, la fase medida por el sensor es . El error de profundidad es entonces

Por tanto, el error de profundidad es inversamente proporcional a la frecuencia de modulación, f_mod. Esto se ilustra gráficamente en la Figura 2.

Esta sencilla fórmula explica en gran medida por qué las cámaras ToF con una frecuencia de modulación alta tienen menos ruido de profundidad y menores errores de profundidad que las cámaras ToF con una frecuencia de modulación más baja.

Una de las desventajas de utilizar una frecuencia de modulación alta es que la fase se envuelve más rápido, lo que significa que la distancia que puede medirse de forma inequívoca es más corta. La forma habitual de sortear esta limitación es utilizar varias frecuencias de modulación que se envuelven a diferentes velocidades. La frecuencia de modulación más baja proporciona un gran alcance inequívoco, pero mayores errores de profundidad (ruido, interferencias por trayectos múltiples, etc.), mientras que las frecuencias de modulación más altas se utilizan en conjunto para reducir los errores de profundidad. En la figura 3 se muestra un ejemplo de este esquema con tres frecuencias de modulación diferentes. La estimación final de la profundidad se calcula ponderando las estimaciones de fase sin envolver de las distintas frecuencias de modulación, asignando las mayores ponderaciones a las frecuencias de modulación más altas.

Si los pesos de cada frecuencia se eligen de forma óptima, el ruido de profundidad es inversamente proporcional a la raíz cuadrada media (rms) de las frecuencias de modulación elegidas en el sistema. Para un presupuesto de ruido de profundidad constante, el aumento de las frecuencias de modulación reduce el tiempo de integración o la potencia de iluminación.

Otros aspectos del sistema que son críticos para el rendimiento

Hay muchas características del sistema que hay que tener en cuenta a la hora de desarrollar una cámara ToF de alto rendimiento, algunas de las cuales se comentan brevemente aquí.

Sensor de imagen

El sensor de imagen es un componente clave de una cámara ToF. Los efectos de la mayoría de las no idealidades de la estimación de la profundidad (por ejemplo, el sesgo, el ruido de la profundidad y los artefactos de multitrayecto) se reducen a medida que aumenta la frecuencia media de modulación del sistema. Por tanto, es importante que el sensor tenga un alto contraste de demodulación (capacidad de separar los fotoelectrones entre las tomas A y B) a una frecuencia de modulación elevada (cientos de MHz). El sensor también debe tener una alta eficiencia cuántica (QE) en las longitudes de onda del infrarrojo cercano (por ejemplo, 850 nm y 940 nm), de modo que se necesite menos potencia óptica para generar fotoelectrones en el píxel. Por último, el bajo ruido de lectura contribuye al rango dinámico de la cámara al permitir la detección de señales de bajo retorno (objetos lejanos o de baja reflectividad).

Iluminación

El controlador láser modula la fuente de luz (por ejemplo, VCSEL) a una frecuencia de modulación elevada. Para maximizar la cantidad de señal útil a nivel de píxel para una potencia óptica determinada, la forma de onda óptica debe tener tiempos de subida y bajada rápidos con bordes afilados. La combinación del láser, el controlador del láser y la disposición de la placa de circuito impreso en el subsistema de iluminación son esenciales para conseguirlo. También es necesario realizar una caracterización para encontrar los ajustes ópticos de potencia y ciclo de trabajo óptimos para maximizar la amplitud de la fundamental en la transformada de Fourier de la forma de onda de modulación. Por último, la potencia óptica también debe suministrarse de forma segura con mecanismos de seguridad incorporados en el nivel del conductor del láser y del sistema para garantizar que se cumplen los límites de seguridad ocular de la clase 1 en todo momento.

Óptica

La óptica desempeña un papel fundamental en las cámaras ToF. Las cámaras ToF tienen ciertas características distintivas que dan lugar a requisitos ópticos especiales. En primer lugar, el campo de iluminación de la fuente de luz debe coincidir con el campo de visión del objetivo para lograr una eficacia óptima. También es importante que el propio objetivo tenga una gran apertura (f/# bajo) para una mayor eficacia en la captación de luz. Las grandes aperturas pueden dar lugar a otras compensaciones en torno al viñeteado, la poca profundidad de campo y la complejidad del diseño del objetivo. Un diseño de lente de ángulo de haz principal bajo también puede ayudar a reducir el ancho de banda del filtro de paso de banda, lo que mejora el rechazo de la luz ambiental y, por tanto, el rendimiento en exteriores. El subsistema óptico también debe estar optimizado para la longitud de onda de funcionamiento deseada (por ejemplo, revestimientos antirreflectantes, diseño de filtros de paso de banda, diseño de lentes) para maximizar la eficacia del rendimiento y minimizar la luz parásita. También hay muchos requisitos mecánicos para garantizar que la alineación óptica esté dentro de las tolerancias deseadas para la aplicación final.

Gestión de la energía

La gestión de la energía también es de suma importancia en el diseño de un módulo de cámara ToF 3D de alto rendimiento. La modulación láser y la modulación de píxeles generan ráfagas cortas de corriente de pico elevada, lo que impone ciertas limitaciones a la solución de gestión de la energía. Hay algunas características en el circuito integrado (CI) del sensor que pueden ayudar a reducir el pico de consumo de energía del generador de imágenes. También hay técnicas de gestión de la energía que pueden aplicarse a nivel de sistema para aliviar los requisitos de la fuente de alimentación (por ejemplo, batería o USB). Las principales fuentes de alimentación analógicas de un generador de imágenes ToF suelen requerir un regulador con buena respuesta transitoria y bajo ruido.

Algoritmo de tratamiento de la profundidad

Por último, otra parte importante del diseño a nivel de sistema es el algoritmo de procesamiento de la profundidad. El sensor de imagen ToF produce datos de píxeles en bruto de los que hay que extraer la información de fase. Esto requiere varios pasos que incluyen el filtrado del ruido y la eliminación de la fase. La salida del bloque de desenvolvimiento de fase es una medida de la distancia que recorre la luz desde el láser, hasta la escena y de vuelta al píxel, a menudo denominada alcance o distancia radial.

La distancia radial suele convertirse en información de la nube de puntos, que representa la información de un píxel concreto mediante sus coordenadas en el mundo real (X,Y,Z). A menudo, las aplicaciones finales sólo utilizan el mapa de la imagen Z (mapa de profundidad) en lugar de la nube de puntos completa. Para convertir la distancia radial en una nube de puntos, se necesitan los parámetros intrínsecos y de distorsión de la lente. Estos parámetros se estiman durante la calibración geométrica del módulo de la cámara. El algoritmo de procesamiento de la profundidad también puede producir otra información, como imágenes de brillo activo (amplitud de la señal láser de retorno), imágenes IR 2D pasivas y niveles de confianza, que pueden utilizarse en las aplicaciones finales. El procesamiento de la profundidad puede realizarse en el propio módulo de la cámara o en un procesador anfitrión en otro lugar del sistema.

En la Tabla 2 se presenta un resumen de los distintos componentes a nivel de sistema que se tratan en este documento. Estos temas se tratarán con más detalle en futuros documentos.

Tabla 2. Componentes a nivel de sistema de las cámaras de tiempo de vuelo 3D
cámaras de vuelo

Componente a nivel de sistema	Características principales
Cámara de fotos ToF	Resolución, alto contraste de demodulación, alta eficiencia cuántica, alta frecuencia de modulación, bajo ruido de lectura
Fuente de luz	Alta potencia óptica, alta frecuencia de modulación, características de seguridad ocular
Óptica	Alta eficiencia de captación de luz, mínima luz parásita, ancho de banda estrecho
Gestión de la energía	Bajo nivel de ruido, buena respuesta transitoria, alta eficiencia, proporciona una alta potencia de pico
Procesamiento profundo	Bajo consumo, admite diferentes tipos de información de profundidad de salida

Conclusión

Las cámaras de tiempo de vuelo de onda continua son una potente solución que ofrece una gran precisión de profundidad para aplicaciones que requieren información 3D de alta calidad. Hay muchos factores que hay que tener en cuenta para garantizar el mejor nivel de rendimiento. Factores como la frecuencia de modulación, el contraste de demodulación, la eficiencia cuántica y el ruido de lectura dictan el rendimiento a nivel del sensor de imagen. Otros factores son las consideraciones a nivel de sistema, que incluyen el subsistema de iluminación, el diseño óptico, la gestión de la energía y los algoritmos de procesamiento de la profundidad. Todos estos componentes a nivel de sistema son esenciales para conseguir el sistema de cámara ToF 3D más preciso. Estos temas a nivel de sistema se tratarán con más detalle en los siguientes artículos.

Para más información sobre la oferta de productos ToF de ADI, visita analog.com/tof.