Calibração de Sistemas de Visão Catadióptricos em Robótica de Futebol

O processo proposto de calibração não paramétrica para sistemas catadióptricos genéricos, independentemente do tipo de espelho e da restrição imposta pela existência de um único ponto de vista, o que é bastante limitativo em relação à precisão da montagem do sistema. O método criado usa o ambiente estruturado desses robôs para o processo de calibração, sem precisar de um padrão externo de calibração. Desta maneira, usa a informação, embora incompleta, que as linhas do campo fornecem, usando várias imagens para realizar a calibração, imagens essas adquiridas sobre certas condições específicas.

Foi apresentado uma abordagem de detecção de linhas usando o pressuposto de que, mesmo em sistemas de visão omnidirecionais, as linhas retilíneas são localmente lineares na imagem. Com esta abordagem, a técnica base consiste em selecionar um pixel de linha e marcá-lo como um canto (início da linha) e, em seguida, procurar o pixel mais próximo correspondente a uma linha branca. Apenas os pixels adjacentes que pertencem a uma linha de campo branca são considerados vizinhos. Além disso, salvamos na memória a última direção obtida - posição do último pixel menos posição do anterior, normalizada para ter valor absoluto de um. Usando as últimas k direções salvas, calculamos a média para estimar a direção local da linha. Isso pode ser usado para prever a posição do pixel seguinte da linha. Não encontrando um pixel na posição esperada, outros vizinhos do último pixel são pesquisados e então o mais próximo da direção estimada e correspondente a uma linha branca é selecionado.

Para identificar as linhas extraídas, é proposto uma abordagem que analisa a direção local da linha para detectar cantos. Essa abordagem estima a direção média da linha, e a diferença de direção das extremidades de cada linha. Com isso, é possível diferenciar entre linhas sem cantos e linhas com cantos, permitindo a identificação correta das linhas do campo de futebol.

Para extrair a estrutura do campo de futebol, o algoritmo proposto usa o conhecimento da estrutura do campo para identificar as linhas principais e os cantos. Ele começa pela detecção do círculo central, assumindo que ele é observável de todas as posições possíveis do robô no campo. Em seguida, usando as linhas do círculo central, o algoritmo extrai as linhas da lateral, linha do meio e áreas de pênalti e gol. Para isso, o algoritmo usa uma combinação de métodos de correspondência de linhas e análise de cantos para identificar as linhas corretamente.

O processo de otimização estima uma função que mapeia pixels para pontos do campo, usando uma abordagem de mínimos quadrados lineares. Com isso, é possível calibrar o sistema de visão para obter uma correspondência precisa entre pixels da imagem e pontos do mundo real. O algoritmo proposto usa múltiplas imagens com diferentes posições do robô no campo para melhorar a precisão da calibração e compensar as distorções introduzidas pelo sistema de visão catadióptrico.

A avaliação dos resultados mostrou que o algoritmo proposto é capaz de calibrar com sucesso o sistema de visão catadióptrico, obtendo erros médios abaixo de 2 cm. Além disso, o algoritmo conseguiu calibrar bem a região central da imagem, mesmo com poucas imagens e uma função de baixa ordem. No entanto, para obter melhores resultados em áreas mais distantes da imagem, é sugerido o uso de uma função mais complexa ou a combinação de várias funções.

Main approaches to the calibration of catadioptric systems:

• Parametric: Estimate camera and mirror parameters as well as a mapping function
• Non-parametric: Estimate only a mapping function

Constrained approaches:

• Single View Point (SVP): Single point of view with mirror and camera axes aligned
• Non-SVP: Overcomes alignment constraint, allowing multi-part mirrors and stereo-vision

Representative methods:

• Unified projection model for central projection systems: Provides a model that maps points in 3D world to the image plane, allowing calibration of various SVP systems (e.g., parabolic mirror with orthographic camera, hyperbolic/elliptical/planar mirror with perspective camera)
• Distance map around the robot's center: Calculated using back-propagation ray-tracing, compensating for misalignments
• Planar grids for omnidirectional vision system calibration: Generalizes the typical grid-based calibration method for perspective cameras, using an extra distortion function to model misalignment and lens imperfections

Key considerations for non-parametric approaches:

• Type of function for pixel-to-ground coordinates mapping: Polynomial approximation, splines, etc.
• Calibration process constraints: Robot positions and image line selection

Proposed approach:

• Non-parametric approach, using planar grids to calibrate the system
• Utilizes soccer field lines for calibration, avoiding the need for external setup
• Uses a polynomial function to fit the pixel to ground coordinates mapping
• Optimizes the function parameters using a linear optimization method

Pinhole camera model:

• Simple model that does not include lenses or their effects (e.g., geometric distortions or blurring)

Homogeneous transformations:

• Used to model camera-to-mirror coordinate transformation, composed of a rotation matrix and a translation vector
• Rotation matrix describes extrinsic rotations (yaw, pitch, roll) around fixed reference frame axes

Ray tracing:

• Method to calculate the intersection of a ray with a mirror and the ground, enabling the determination of world points corresponding to image pixels
• Considers mirror shape, misalignments, and camera model

Image processing techniques:

• Color segmentation: Used to detect white field lines
• Line tracking: Follows lines to detect their entire length, assuming local linearity in the image

Os sistemas de visão catadióptrica são úteis em muitas aplicações, como os robôs de futebol, geralmente requerendo uma boa calibração feita anteriormente. Os métodos paramétricos, por sua vez, não tentam estimar os parâmetros da câmera e do espelho, mas apenas uma função de mapeamento entre pontos de imagem e pontos do mundo. Nesse contexto, este trabalho propõe um método de calibração não paramétrica para qualquer tipo de sistema catadióptrico usado no futebol robótico, independentemente do tipo de espelho ou restrição de um único ponto de vista, o que limita bastante a precisão da montagem do sistema.

As abordagens com restrição de um único ponto de vista (SVP) e abordagens não-SVP são discutidas, bem como os métodos automáticos de calibração, as grades e os métodos não paramétricos, que não tentam estimar os parâmetros da câmera e do espelho, mas apenas uma função de mapeamento entre pontos de imagem e pontos do mundo.

O método de calibração proposto usa o ambiente estruturado dos robôs de futebol para o processo de calibração, sem precisar de um padrão externo de calibração. Dessa forma, usa a informação que as linhas do campo fornecem, embora incompleta, usando várias imagens para realizar a calibração, adquiridas sob certas condições específicas.

Para avaliar o desempenho do método de calibração não paramétrica proposto, foram realizados experimentos de simulação e com imagens reais. Os resultados mostram que o método proposto pode obter uma calibração precisa com uma variedade de tipos de sistemas catadióptricos e condições de imagem.

O método de calibração não paramétrica é uma abordagem promissora para calibrar sistemas de visão catadióptrica em robôs de futebol. O método alcançou resultados de calibração precisos em experimentos de simulação e com imagens reais. Como trabalho futuro, os autores pretendem explorar ainda mais o uso de técnicas de aprendizado de máquina para melhorar a precisão e a robustez do método de calibração.

In this section, we propose a method to solve the issues of parametric calibration approaches for catadioptric systems: misalignments between camera and mirror and limited field of view. Using this approach, estimates are mapped between pixels and world points (ground) for use in the localization process.

In contrast to parametric approaches, non-parametric approaches estimate the parameters of a function that best fits the mapping, which is ideal for soccer applications that do not require knowledge of camera, mirror, or their relative positions. We can then find the type of function that best fits the mapping and the calibration process itself, namely its constraints.

Our approach is to first obtain calibration images from the robot's vision system, which we then use to extract field lines (using color segmentation) and identify their structure to retrieve information from the lines' position. Finally, we apply an optimization method that fits a function to the pixel to world coordinates mapping.

The advantages of our approach include its ability to be used with any type of camera and mirror, its independence of the robot's position, and its use of only field lines for calibration, which eliminates the need for external setup and allows for calibration even after mechanical changes to the robot.

We evaluate our approach using simulated images and compare it to existing parametric methods. Our results show that our approach can achieve comparable accuracy to parametric methods, even with strong misalignments and a limited field of view. Also, our approach is more robust to noise than parametric methods and can be used with any type of camera and mirror, making it a more versatile and practical solution for catadioptric system calibration.

The line identification and matching process consists of several steps:

1. Detection of the center circle: This is important for calibrating the central and middle radial regions of the image. The algorithm assumes it can see the center circle from any position in the field.

2. Extraction of other lines: Once the center circle is identified, the algorithm proceeds to extract other lines, such as the halfway line, side lines, goal lines, goal area lines, and penalty area lines.

3. Matching lines to the soccer field: The algorithm uses its knowledge of the soccer field structure to match the detected lines to their corresponding lines on the field, such as the halfway line, side lines, and goal lines.

4. Estimation of calibration points: For each detected line, the algorithm estimates the calibration point corresponding to the corners of the line. This information is used in the calibration process.

In this section we describe the proposed calibration procedure, implemented using Matlab. We use a non-parametric approach, as we only want to calibrate mapping between pixels and world points, while ignoring the intrinsic and extrinsic parameters of the system. This is specially useful in robot soccer, because this calibration process will be applied in the localization system, in which only that information is relevant. As our vision system was not designed for calibration purposes, it introduces some difficulties on the calibration process. One of them is the limited range of robot positions in the field, as not every possible robot position can be achieved, particularly the ones near the exterior boundary of the field. This problem becomes specially noticeable with calibration methods that use a predefined set of field points to optimize the extrinsic parameters, thus not being able to cope with the problem of having a non - uniformly distributed set of calibration points. In our case, as we are only interested in the mapping between pixels and ground points, we do not have this problem, since a non-parametric algorithm just tries to fit a function to the mapping from pixels to ground points, independent of the point distribution. We also present a method to detect and extract the lines present in images taken by a commonly used catadioptric vision system in robot soccer. This is due to the fact that the calibrated image will be used in the line detection process, and so it is important to optimize the robustness and quality of the line extraction. Then, considering that in the soccer field white lines are rectilinear, we can assume that locally, and even in catadioptric images, those lines are still locally rectilinear. Finally, the calibration method is presented, which is a least squares optimization that finds the parameters of a polynomial function that best fits the mapping from image pixels to world coordinates.

To achieve the proposed calibration goal, it was necessary to develop the technique described in this section. Our approach uses the information provided by the soccer field white lines, in order to obtain a mapping between pixels and world coordinates, and so we only need to assume the camera and mirror are correctly aligned, and that the soccer field has a rectangular shape. We also need a reference image in which the pixel position for a set of points is known, and a test image in which we want to calculate the pixel to world point mapping. First, we will execute the line detection procedure for both images, thus obtaining the information about the soccer field white lines. In the reference image, we already know the pixel position of some field points, so we can calculate the ground point corresponding to that pixels. In the test image we make the same estimation, and finally we calculate the error between the predicted ground point and the real position of the ground points used for calibration, using the sum of squared errors. As we do not have the intrinsic parameters, we cannot apply the transformation from image coordinates to camera coordinates. Therefore, we build a homogeneous transformation to model the relative position between the image and world reference systems, calculated using a linear optimizer. We use a polynomial function to approximate the mapping, with a degree chosen in order to make the error acceptable for the defined field size. In order to use the ground information from different images, we also need to calculate the relative extrinsic transformation between the images, as explained in 5.3. With all that information, we perform a linear optimization to find the parameters of the chosen polynomial function. Therefore, in this calibration method there are no local optima, and so there is no need for iterative methods to estimate the parameters. This is an important advantage, specially if the order of the polynomial function is high. In practice the calibration images are not taken in a controlled environment, and so we cannot force the robot to be placed in a determined position. Consequently, another important issue is to use a world coordinate system applied to the reference image, but in some instances an extrinsic transformation could be different enough so as the world reference system needed to be re-created, thus using a different robot position for calibration. Therefore, to overcome this problem, we added to our calibration method the constrained least squares optimization, a variation of linear optimization that includes equality constraints.

This section outlines potential future research directions for the work presented in the thesis, including:

• Extending the method to handle polar coordinates for lines that are significantly curved due to misalignments.
• Developing a more robust method for line detection and identification, particularly for images with low resolution and blurred lines due to defocusing in the peripheral regions.
• Investigating the use of alternative non-parametric calibration methods, such as estimating a function that relates pixel positions to rays in the world coordinate system.

The thesis presents a non-parametric calibration method that is applicable to any catadioptric vision system used in robotic soccer, regardless of the mirror type or the presence of a single viewpoint constraint. The method utilizes the structured environment of robotic soccer fields to perform the calibration process without the need for external calibration patterns. The proposed method extracts information from the field lines and combines multiple images, taken under specific conditions, to achieve calibration. The results demonstrate the effectiveness of the non-parametric approach, showing that it can achieve accurate calibration with a relatively low order of the estimation function. However, further improvements can be made by exploring alternative line detection and identification techniques and investigating more advanced non-parametric calibration methods.