TJ3Bにm5stck UnitV AI Cameraをつなぐ（暫定版）

-

 


とりあえず、UnitV AI Cameraを買ってみました。

なぜか。カメラは欲しいけど、Pixyの（たぶん）値段がネックになって？なかなかカメラが普及しないからです。

このUnitVは旧型が2千円ちょっと（現品限りの製造停止品）、新型でも3千円ちょっとで買えます。
※上記は記事作成当時、今(2023.3.29)は５千円超えてます

今回試してるのは旧型です。これと、M5Atom Matrixもいっしょに買いました。こちらも面白いデバイスでいろいろ遊べます。

私はOpenMVとか何にも知らなかったんですが、このCameraを使って色追従しているデモ動画を見つけて、手の出る値段だったのでロボカップジュニアで使えるんではないかと期待して購入してみました。

これと確実につながるM5stack製品でロボット作るのも面白そうだと思いました。

結果、このカメラ本体にI2C slaveのプログラムを記載して、TJ3Bから色の位置データを受信することに成功しました。

まだまだ課題がありますが、とりあえず動いたので、暫定版記事として公開します。

UnitVは、最初どう使うかまったくわからなくて、Firmwareの書き込みソフトとかいろいろ説明すっとばして、いきなり本命のMaixpyというソフトをダウンロードしてUnitVをPCに繋げたら動きました。これについてはいろいろ記事があるんで参考に進めてください。

参考ページ：　
UnitV Docs（M5STACKのUnitVのページ）

MaixPyダウンロード（0.2.5）

Firmwareは新しいもののほうが安定するらしいです。結局後からFirmwareも書き込みしましたので古いままで問題あるのかどうかはわかりません。テストぐらいならそのままできました。（2022/05/10 購入後そのままでもMaixPyに接続して動作はしました。）

この時点で、サンプルプログラムを動かして、色設定を変えたら、けっこうちゃんとオレンジボールを認識することを確認。


簡単にここまで行けてしまって、結構すごい。ただ、色の設定はちょっと特殊だけど、オレンジはやってしまえばほぼ同じ設定でいける。
このあと、m5AtomをUIFlowで動かしてV-Function使ってUnitVをつないだりいろいろやってて、何か間に挟めばI2Cでデータを送受信することは余裕なことはイメージできました。

でも、ものが増えれば増えるほど、コストも手間もメンテもかかってめんどうなので、直接このUnitVをTJ3Bにつなげたらいいな、と思いました。

まずはMaixpyでの、I2Cのslaveのサンプルを発見したので、これを参考に。


とりあえず、slaveにはなれました。あとはカメラ処理と並列して動かして値が送信できればOKです。

はじめはPixyの通信をまねて、C-STYLEのGUIで出そうかと思ったんですが、パケット解析が面倒だったので、Pixyの真似はやめて、この記事を参考にしました。

UnitVはI/O[1]になってもらい、TJ3Bからは、slaveのTJ3B　I/O[1]がいるように見せ、代わりにUnitVに応答させることにします。


TJ3Bには手を入れず、他のTJ3Bにさしても動くようにしたいので、C-STYLE上で編集さえすれば動くように、こんなイメージでつなぎます。





TJ3B側のプログラム

002: I/O[1]（カメラ）の変数に値が代入されると、カメラが撮影し、I/O[1]（カメラ）側のCN1に検出X軸座標とCN2に検出範囲の大きさの値を格納する
003: 100ms待つ（カメラ処理のため）
004: TJ3BからCN1のデータを取得する
005: TJ3BからCN2のデータを取得する
006: CN1：検出X軸座標とCN2：検出範囲の大きさをセンサモニタに表示する

MaixpyでカメラをモニタしながらTJ3Bを実行して正しく動いているかを確認できます。
これを実行すると確かにカメラがオレンジボールを認識し、それをTJ3Bに送り受信できていることが分かります。

I/O[1]に成り代わって応答するUnitVのプログラムです。

試行錯誤でソースがぐちゃぐちゃですが、整理しようと思おうと時間がかかりそうなのでとりあえず動いたということで暫定版として記載しておきます。
コードのきれいさはともかく、このまま入れれば誰でも動かせるとは思います。

UnitVのプログラム（とりあえず動いてる版）　MaixPy IDE0.2.4で作成、テスト
# i2c slave test - By: tomoa - 火 1 25 2022
import time
from modules import ws2812
from fpioa_manager import *
fm.register(8)
class_ws2812 = ws2812(8,100)
  
a = class_ws2812.set_led(0,(5,0,0))
a = class_ws2812.display()

debug = 0

from machine import I2C
I2C_SLAVE_ADDR = 0x18
count=0

register = [1,0,2,0,3,0,4,0,5,0,1,0,2,0,3,0,4,0,5,0,0,0,1,1]
cmdreg = [0,0,0,0,0,0,0,0]
def i2c_on_receive (data):
    global count
    cmdreg[count]=data
    count = count + 1
    #if debug : print  ("on_receive:", data)

def i2c_on_transmit ():
    global count
    if cmdreg[1] == 129:
        a= cmdreg[2]
        if a==10:
            a = 0
        else:
            pass
        ret = register[a*2+count]
        #if debug : print  ("on_transmit, send:", ret,"cmd",a)
        count = count + 1
    else:
        ret=1
    return ret

def i2c_on_event (event):
    global count
    count = 0
    #if debug : print("on_event:", event)

#if debug : print  ("starting i2c")
i2c = I2C(I2C.I2C1, mode = I2C.MODE_SLAVE, scl=34, sda=35,
            freq = 100000, addr = I2C_SLAVE_ADDR,
            addr_size = 7,
            on_receive = i2c_on_receive,
            on_transmit = i2c_on_transmit,
            on_event = i2c_on_event)



import sensor
import image
import lcd
import utime
from Maix import GPIO

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.set_windowing((320,120))             #FPSを上げるため上下をカット
sensor.set_vflip(0)                         #カメラ上下反転
sensor.set_hmirror(0)                       #カメラ左右反転
sensor.set_auto_gain(0)                     #検出安定化のためオートゲインオフ
sensor.set_auto_whitebal(0)                 #検出安定化のためオートホワイトバランスオフ
sensor.run(1)

color = 1
#ターゲットに合わせてRGB(565)LABカラーベースで閾値調整が必要
target_lab_threshold1 =(0, 100, 13, 79, 16, 70) #オレンジ
target_lab_threshold2 =(0, 100, 13, 79, 16, 70) #青
target_lab_threshold3 =(0, 100, 13, 79, 16, 70) #黄
target_lab_threshold = target_lab_threshold1

def color_trace (color):
    img=sensor.snapshot()
    blobs = img.find_blobs([target_lab_threshold],
            x_stride = 2, y_stride = 2, pixels_threshold = 100,
            merge = True, margin = 20)
    if blobs:
        max_area = 0
        target = blobs[0]
        for b in blobs:
            if b.area() > max_area:
                max_area = b.area()
                target = b
        s1 = (target[5]-160)*3+511   #UnitVとM5stackVではカメラ取付向きが違うためｘセンター位置を320pix/2,ｘ軸パラメータをtarget[6]→[5]へ変更
        s2 = round(target.area()**0.5)*4
        tmp=img.draw_rectangle(target[0:4])
        tmp=img.draw_cross(target[5], target[6])
        c=img.get_pixel(target[5], target[6])
    else:
        s1 = 0
        s2 = 0
    #if debug : print(s1, s2)
    x = s1.to_bytes(2,'little')
    register[0]=x[0]
    register[1]=x[1]
    x = s2.to_bytes(2,'little')
    register[2]=x[0]
    register[3]=x[1]
    #utime.sleep_ms(100)


a = class_ws2812.set_led(0,(5,5,5))
a=class_ws2812.display()

while True:
    if cmdreg[1] == 22:
        utime.sleep_ms(1)
        cmdreg[1] = 0
        color_trace(1)
    utime.sleep_ms(5)

※注意１　このプログラムはTJ3BなしでMaixPyだけで動かしてもソフト上のカメラのモニタは動きません。TJ3BのI2Cの通信をトリガにカメラを動作させるからです。
※注意２　閾値設定がオレンジはそのままで動きますが、青と黄は、オレンジと同じになっています。こちらはご自分で環境に合わせて設定する必要があります。

I2CとかOpenMVとかとても勉強になりました。
ただ、今の環境だと、センサーのデータ読み出しが遅くて10fpsが限界といったところです。
TJ3Bのwait_ms(100)を減らすと、I2Cに応答できない可能性があり、通信が失敗して止まってしまいます。TJ3Bからするとカメラの映像が0.1秒遅れる、ということなので、プログラムでは先を予測してロボットに命令を出す必要がありそうです。衛星みたいですね。

UnitVのFirmwareをカスタマイズすることで、20fpsぐらいは行けるらしいのでソースをきれいにするのと合わせてぜひ試してみたいです。

とりあえずこれがあれば、TJ3Bに気軽にカメラが搭載できるようになると思うので、ぜひカメラは高いから、と言わずに試してみてほしいです。

とりあえず適当に書いたボールを追いかけるプログラムのTJ3B
ちゃんとPixy同様とは言いませんが、追いかけられることが確認できました。










コメント

コメントを投稿

このブログの人気の投稿

センサー自作のための参考情報

-
イメージ
現在、クラブで使用しているTJ3Bの増設用センサーの部品情報を公開します。 TJ3Bの黒マイコン（2023秋以降購入品）では、マイコン内の抵抗値が違うのか、それ以前のマイコンと同じ動作をしてくれないセンサーがあります。 これは、新しいマイコンが悪い、と言うわけではなく、ここで作っているものは当時のTJ3Bでさえ動けばいい、と言う考えで作っているからです。そのままでは動かないものも、テストをし回路を変更するなど改良すれば使えるようになるはずです。 2024/6/15  ボールセンサーがTJ3B（黒マイコン）でうまく動作しない場合がある対策について追記しました。 2024/9/4  超音波センサーがTJ3B（黒マイコン）でうまく動作しない場合がある対策について追記しました。 自分で作れば、その分ロボットを安く改造できますので、2個、3個とセンサーが必要になってきたら自作の価値はあります。型番の部品を探して自作してみてください。 ※この情報は自分で調べた以外に、いろいろな方から聞いたりしたことも含まれます。 ※この部品が最高である、という意味ではなく、あくまで、この部品であれば使えるものが作れたよ、ということです。これよりもっと良いセンサーが売り出されているかもしれません。気になるセンサーがあれば自分でも動くか試してみると良いと思います。 ※メンターの方へ　こちらの情報を使用する場合、ぜひ部品調達に関して子供たちの助けになってあげてください。部品が用意できたら、あとはできるだけ子供たちに作成させてみてください。やらせてみると思ったよりできるものです。最初は壊してもいいように、部品は予備を含めて購入しておくと安心です。 TJ3Bには10個までセンサーをつなぐことができる拡張ポートがついています。 最初はタッチセンサー含めて5つのセンサーがつながっていますので、残り5つつなげますが、CN9とCN10はLEDがつながっているので、０％～３０％ぐらいまでしか値が上がりません。できればそれ以外のポートにつなぎましょう。 CN1のボールセンサーとCN2のラインセンサーはそのまま使うことも多いですが、タッチセンサーが不要であれば、はずしてしまえばCN3～CN5も使うことができます。基盤のセンサーポートの端子にXHコネクタという3ピンの白い部...
続きを読む

ロボカップジュニア郡上交流会2025夏

-
イメージ
郡上ノード主催、ロボカップジュニア交流会を開催します。 他ノードの選手、ＯＢ、大人も歓迎します！ ぜひ、ロボットを持参のうえ、参加ください。 午前のみ、午後のみの参加も可能です。 日時：８月３０日（土）１０：３０～１６：００ 　　　（自由交流１７：００まで場所使用可） 場所：郡上八幡青少年センター 　　　〒501-4221 岐阜県郡上市八幡町小野８丁目５−２ 　　　 https://maps.app.goo.gl/7RD7MhiV57qD5uNw9 参加費：不要 リーグ：ロボカップジュニア 　　　　サッカー　ライトウェイト 　　　　サッカー　エントリー 内容（予定）： 　　　10:00～10:30　会場準備 　　　10:30　　　　開始 　　　10:30～12:30　午前の部　技術交流会 　　　13:30～16:00　午後の部　サッカービッグフィールド 　　　16:00　　　　終了 　　　16:00～17:00　自由交流（任意参加） 　　　17:00～17:30　片付け、解散 対象：　選手だけでなく、ＯＢ、大人の参加も歓迎します！ 参加登録：以下のフォームから登録をお願いします。 　　　　　・登録の無い飛び込みの参加も可能ですが、 　　　　　　人数把握のため理由がない限りは事前登録をお願いします。 　　　　　・都合がつかなくなった場合などキャンセルの場合はメールでご連絡ください。 申し込みフォーム：　 https://forms.gle/7DC71eD6KQE2EyQv5 　　　　 【参考情報】公共交通機関の場合 　岐阜バス高速岐阜八幡線の利用が便利です 　最寄りのバス停　郡上高校前から徒歩15分（1.1km） 　岐阜駅→　郡上高校前　１０：０１着 　郡上高校前１７：４０発　→　岐阜駅 ・その他不安な点がありましたら（gujorobo@gmail.com）宮崎までお気軽にお問い合わせください。 メールアドレスは緊急時の変更、中止の際の連絡に使用しますので有効なアドレスで登録ください。  
続きを読む