← Blog

Calibração LiDAR câmera: o que o integrador faz

Calibração LiDAR câmera: entenda extrínseca × intrínseca, o passo a passo e o que o manual do Hesai JT128 define para alinhar nuvem de pontos e imagem.

Calibração LiDAR câmera: o que o integrador faz

A calibração extrínseca LiDAR-câmera é o cálculo da posição e da orientação de um sensor em relação ao outro: uma rotação e uma translação que levam um ponto do sistema de coordenadas do LiDAR para o da câmera. Sem esse número, não dá para projetar a nuvem de pontos sobre a imagem nem pintar os pontos com a cor dos pixels. Quem faz esse trabalho é o integrador, com o sensor já montado no robô ou no veículo. A Hesai entrega o LiDAR com a calibração interna pronta; a relação com a sua câmera depende da sua montagem.

Neste guia, o exemplo é o Hesai JT128, um mini LiDAR 3D mecânico de 360° × 95°. Os números do sensor vêm do manual J01-en. A parte conceitual (intrínseca × extrínseca, alvos, validação) segue o que a documentação técnica de calibração LiDAR-câmera costuma descrever, e a Hesai não publica, nas fontes consultadas, uma ferramenta oficial de calibração com a câmera. Termos: FOV é o campo de visão do sensor, nuvem de pontos é o conjunto de medições 3D, e extrínseca é a calibração que relaciona dois sensores entre si.

Mini LiDAR 3D Hesai JT128, da série JT, usado como exemplo neste guia de calibração extrínseca com câmera
Hesai JT128, mini LiDAR 3D mecânico de 360° × 95° da série JT.

Qual é a diferença entre calibração intrínseca e extrínseca?

A calibração intrínseca descreve o interior de cada sensor. Na câmera, são a distância focal, o ponto central da imagem e a distorção da lente, e é o integrador quem estima esses valores. No LiDAR, isso fica com o fabricante: cada canal do JT128 tem um desvio angular próprio, horizontal e vertical, registrado no arquivo de correção de ângulos da unidade (o manual diz que ele costuma ser enviado com o sensor).

A calibração extrínseca descreve a relação entre os dois sensores: o quanto a câmera está deslocada e girada em relação ao LiDAR. É um corpo rígido, com 3 ângulos de rotação e 3 deslocamentos, e vale enquanto os dois sensores não se mexerem um em relação ao outro. É esse o trabalho que sobra para o integrador.

ItemCalibração intrínsecaCalibração extrínseca
O que descreveO interior de cada sensorA posição e a orientação de um sensor em relação ao outro
LiDAR Hesai JT128Desvios angulares por canal, no arquivo de correção de ângulos da unidade (manual J01-en, seção 1.4)Ponto de referência indicado no manual: a origem do sistema de coordenadas do IMU, usada para a calibração extrínseca (seção 1.4)
CâmeraDistância focal, centro da imagem e distorção da lenteMesma transformação rígida, vista do outro lado
Quem fazFabricante (LiDAR); integrador (câmera)Integrador, com os sensores montados
Quando refazerRaramenteSempre que o suporte, o sensor ou a câmera mudar de posição
Fonte: JT128 User Manual (J01-en), seção 1.4; descrição geral de calibração LiDAR-câmera da documentação técnica da MathWorks. Texto explicativo geral; revisar com a engenharia.

O que o manual do Hesai JT128 diz sobre eixos e pontos de referência?

Antes de calibrar, é preciso saber de onde o sensor mede. O manual do JT128 define estes pontos, e eles aparecem em qualquer cálculo de extrínseca:

  • Eixo Z: é o eixo de rotação do sensor. O azimute 0° está no eixo Y, e por padrão o sensor gira no sentido horário visto de cima;
  • Origem do sistema de coordenadas do LiDAR: o ponto vermelho da figura 5 do manual. É a referência mais adequada para os algoritmos de nuvem de pontos;
  • Centro óptico: a distância e a elevação de cada canal são medidas em relação a ele, e ele muda de posição à medida que o sensor gira. O Apêndice D do manual traz a correção do deslocamento do centro óptico para a origem;
  • Origem do sistema do IMU: o IMU do sensor mede em relação a esse ponto, e o manual diz que ela é usada na calibração extrínseca.

Na prática, isso significa que a transformação LiDAR-câmera precisa dizer qual ponto do LiDAR é a referência. Se o seu software usa os dados brutos do sensor, confirme se a correção do centro óptico para a origem já foi aplicada pelo driver ou se é você quem aplica.

Como é o processo de calibração, passo a passo?

Não existe um único método. O que a documentação técnica de calibração LiDAR-câmera descreve com mais frequência é a calibração com alvo: uma placa com padrão de tabuleiro (checkerboard) ou similar, vista pelos dois sensores. O fluxo geral é este:

  1. Calibre a câmera primeiro (intrínseca), porque a extrínseca pressupõe uma câmera com parâmetros conhecidos;
  2. Fixe os dois sensores no suporte definitivo. Se o suporte mudar depois, a calibração perde a validade;
  3. Sincronize o tempo entre LiDAR e câmera. O JT128 aceita PTP ou GNSS (PPS + NMEA); veja o guia PTP em LiDAR;
  4. Capture várias poses do alvo, em distâncias e ângulos diferentes, com o sensor e o alvo parados quando possível;
  5. Detecte o alvo nas duas fontes: os cantos da placa na imagem e a superfície plana da placa na nuvem de pontos;
  6. Estime a rotação e a translação que alinham as duas detecções e valide o resultado projetando a nuvem sobre a imagem.

Por que o JT128 exige atenção ao tempo e ao movimento na fusão?

O JT128 é mecânico: o sensor gira, e cada ponto de uma volta é medido em um instante diferente. A 10 Hz, uma volta leva 0,1 s; a 20 Hz, 0,05 s. A câmera, por outro lado, captura a imagem toda de uma vez. Se o robô se mexe durante a volta, o ponto da frente e o de trás foram medidos em momentos distintos, e a projeção na imagem sai deslocada.

Por isso, calibre com o sensor parado, e depois trate o movimento no pipeline de fusão. O manual do JT128 afirma que, em aplicações de precisão, os deslocamentos de tempo de disparo de cada canal (Apêndice B.4) devem entrar na compensação de movimento. O post sobre sincronização de tempo explica o ponto em detalhe.

Nuvem de pontos 3D gerada por LiDAR Hesai, do tipo que o integrador projeta sobre a imagem da câmera após a calibração extrínseca
Nuvem de pontos de LiDAR Hesai: após a calibração extrínseca, cada ponto pode ser projetado na imagem da câmera.

O que do Hesai JT128 importa para a fusão com câmera?

A tabela reúne os números do sensor que mais pesam quando o objetivo é alinhar a nuvem com uma imagem. Todos são valores típicos de fábrica sob condição de teste.

ParâmetroValor do Hesai JT128Por que importa na fusão
FOV horizontal × vertical360° × 95° (−4,4° a 90,5°)A câmera cobre só uma fatia; o integrador escolhe a região de sobreposição
Resolução horizontal0,4° (10 Hz) · 0,8° (20 Hz)Define quantos pontos caem em cada região da imagem
Taxa de quadros10 / 20 HzUma volta leva 0,1 s ou 0,05 s: relevante para a sincronia com a câmera
Alcance @10%40 m (todos os canais)Limita até onde existe ponto para projetar sobre o objeto
Exatidão / precisão de distância±3 cm / 2 cm (típico)Erro de medida que se soma ao erro da calibração
Sincronia de tempoPTP ou GNSS (PPS + NMEA)Base para alinhar cada ponto no tempo com o quadro da câmera
Peso · consumo< 265 g · 8,4 W (típico)Leve o bastante para dividir o mesmo suporte com a câmera em robôs pequenos
Fonte: JT128 User Manual (J01-en), seção 1.5 e Apêndice B; página do Hesai JT128 em hesaitech.com.br. Alcance sempre @10% de refletividade; consulte o manual para as condições de teste.

O alcance de 40 m @10% vale para todos os canais, mas a nuvem fica mais esparsa com a distância: com 0,4° de resolução horizontal, o espaçamento entre pontos cresce à medida que o alvo se afasta.

Como saber se a calibração está boa?

  • Projete a nuvem sobre a imagem e veja se as bordas de objetos nítidos (postes, caixas, quinas de parede) coincidem com as bordas na imagem;
  • Confira em distâncias diferentes. Um erro de rotação pequeno quase não aparece perto, mas desloca bastante os pontos distantes;
  • Repita com o robô em movimento lento e compare. Se o erro cresce com a velocidade, o problema é de tempo, não de extrínseca;
  • Verifique de novo depois de choque, troca de suporte ou desmontagem. A calibração é válida enquanto a geometria é a mesma.

O manual do JT128 recomenda fixar bem o sensor, de modo que ele não saia da posição sob forças externas (colisões, vento forte, impacto de pedras). Isso vale também para a calibração: um suporte que se deforma muda a extrínseca. Este texto não define uma tolerância de erro; ela depende da aplicação e deve ser definida pelo integrador.

Qual é o papel do integrador e qual é o da Hesai?

A Hesai fornece o sensor, o manual, o modelo 3D do suporte, o arquivo de correção de ângulos e os drivers para ROS e ROS 2. O integrador escolhe a câmera, projeta o suporte, sincroniza o tempo, executa a calibração e a valida na sua aplicação. A TrackFY, distribuidora oficial no Brasil, apoia a especificação e a integração; confirme com a engenharia os detalhes do seu projeto.

Para subir o driver e ver a nuvem, use o guia de integração do JT128 com ROS 2 e, para escolher o modelo, a comparação de mini LiDAR para robô entre JT128, JT64P e JT32.

Vídeo do canal oficial Hesai Technology: “First Look at Kosmo, Hesai’s New Spatial Intelligence AI Hardware” (em inglês; não é um tutorial de calibração, mostra um hardware da Hesai de percepção espacial).

Onde estão o manual e os arquivos do Hesai JT128?

O manual do usuário do JT128 (J01-en, PDF) está em Materiais, junto com o modelo 3D para o projeto do suporte e o arquivo padrão de ângulos (CSV). Para ver o JT128 ao lado de outros modelos, use o comparador ou a tabela de especificações. Para a parte conceitual de calibração, a MathWorks mantém uma página técnica sobre calibração LiDAR-câmera, e o driver oficial fica no repositório HesaiLidar_ROS_2.0.

Perguntas frequentes

O que é calibração extrínseca LiDAR-câmera?

É a transformação (rotação e translação) que relaciona o sistema de coordenadas do LiDAR com o da câmera. Com ela, o sistema projeta os pontos do LiDAR na imagem e funde as duas fontes.

A Hesai entrega o LiDAR já calibrado com a câmera?

Não. A calibração extrínseca depende de onde você monta a câmera e o sensor, e por isso fica com o integrador. O JT128 traz um arquivo de correção de ângulos da unidade para a calibração interna, e o manual indica a origem do IMU para a calibração extrínseca.

Preciso calibrar de novo se trocar o suporte?

Sim. A calibração vale enquanto a posição relativa dos dois sensores não muda. Troca de suporte, choque ou reposicionamento pedem nova calibração e nova validação.

Quanto o movimento do robô atrapalha a calibração?

Atrapalha, porque o JT128 gira e mede cada ponto em um momento diferente. Calibre com o sensor parado e, na fusão, use a sincronia de tempo e os deslocamentos de disparo do manual. O texto não define um valor de erro aceitável: ele depende do projeto.

Posso fazer a calibração sem alvo?

Existem métodos sem alvo que usam a estrutura da cena. A qualidade depende da cena e da validação feita pelo integrador. A Hesai não publica, nas fontes consultadas, uma ferramenta oficial de calibração; confirme com a engenharia.

Como solicitar o JT128 no Brasil?

Pela TrackFY, distribuidora oficial da Hesai no Brasil, pelo formulário de orçamento ou pelo WhatsApp. Este texto não informa preço, prazo ou estoque.


Hesai Brasil — Distribuidor Oficial (TrackFY)

Nota fiscal brasileira, garantia de fábrica registrada, manutenção credenciada e suporte de engenharia em português, da especificação à integração.

👉 Conheça todos os sensores em hesaitech.com.br · Solicitar orçamento do JT128 · Falar no WhatsApp

Continue lendo

LiDAR Hesai em ação

Veja os sensores funcionando

Demonstrações de nuvem de pontos, projetos reais e integrações registradas pelo canal oficial da Hesai Technology.

Ver galeria completa

Evento

Cerimônia de abertura da Hesai na Nasdaq

Projeto

LiDAR Hesai aplicado a segurança patrimonial e proteção

Tecnologia

Cinco fatos que as fabricantes de LiDAR não contam

WhatsApp