Sipeed MAix Bit with MIC Maixduino(Arduino) で マイクのお試し #2

1. Sipeed MAix Bit 側の Arduino プログラムです。

1) I2S でPC へ送るデータは、
  Sampling Rate: 16000
  Monoral   16bit

2) Serial1
   Baud Rate : 921600 * 1.6

3) int i2s_on_irq(void *ctx) で、I2S の DMA 受信完了割り込みを受けます。
I2S の 1フレーム(TUNK) を受信したら、
xQueueSend(queue, (void *)&message, 0)
で、task0() へ知らせます。

4) void task0(void* arg) は、別タスクで、
xQueueReceive(queue, (void *)&message, 1000 / portTICK_PERIOD_MS)
でメッセージキューが来たら、I2S 1 TUNK データを、Serial1 で、PC へ送信します。
ここで、 I2S データの 32bit Stereo  ->  16bit Monoral へ変換します。
PC へ送るデータは、
16000*2(バイナリデータ)+\r\n の固定長データ

5) i2s_setup() が10回コールされる毎に、LED_GREEN(pin12) をON/OFF させています。
もしブリンクが止まっていたら、ハングぞね!!

REV2 - Semaphore を使わない処理のアップデート版です。(2020.3.20)
/* * i2s_k210_arduino_event * REV2 update 2020.2.30 * main.cpp * https://www.arduino.cc/en/Reference/I2S * https://github.com/kendryte/kendryte-doc-standalone-programming-guide/blob/master/en/I2S.md * https://github.com/kendryte/kendryte-standalone-demo/blob/develop/i2s_dma/main.c * FREERTOS * https://github.com/kendryte/kendryte-freertos-sdk/issues/40 */ #include <Arduino.h> #include <I2S.h> #include <stdio.h> #include <string.h> #include <FreeRTOS.h> #include <task.h> #include <semphr.h> #include <queue.h> #define DMA_IRQ 1 // I2S SAMPLE_RATE #define SAMPLE_RATE 16000 //#define SAMPLE_RATE 38640 // I2S CHUNK size //#define FRAME_LEN 256 // CHUNK = 256(Monoral) / 512(Stereo) #define FRAME_LEN 512 // CHUNK = 512(Monoral) / 1024(Stereo) // Serial1 BAUD_RATE //#define BAUD_RATE 115200 //#define BAUD_RATE 921600 #define BAUD_RATE 1474560 // 921600 * 1.6 Max Speed //#define BAUD_RATE 921600*2 #define REV2 //uint32_t rx_buf[1024]; //uint32_t rx_buf[FRAME_LEN*2]; typedef struct{ #ifdef REV2 char full_f; // buffer pool full #else int cnt; // pool counter #endif int max_cnt; // int i_next; // next input pool number int o_next; // next output pool number uint32_t rx_buf[4+1][FRAME_LEN*2]; // rx_buf[0] - rx_buf[3] 受信バッファ // rx_buf[4] -> 受け捨てバッファ } I2S_DAM_POOL; I2S_DAM_POOL is2_dma_pool; int32_t lp; #define LED_ON 0 #define LED_OFF 1 int ledPinG = 12; // LED connected to digital pin 12 / LED_G int ledPinR = 13; // LED connected to digital pin 13 / LED_R int ledPinB = 14; // LED connected to digital pin 14 / LED_B int led_valG = LED_OFF; int led_valR = LED_OFF; int led_valB = LED_OFF; // 0 - not ready / 1 - ready / 2 - resend char ready_f; /* * Seral1 I2S Sound data + '\r\n' Record */ typedef struct { //uint8_t dt[FRAME_LEN*2*2]; uint8_t dt[FRAME_LEN*2]; uint8_t crlf[2]; } SER_BLOCK_DT; SER_BLOCK_DT ser_block_dt; typedef struct _index_t { uint32_t r_index; uint32_t t_index; } index_t; index_t g_index_t; #define QUEUE_MAX 4 static QueueHandle_t queue; #define SEMAPHORE_BINARY #ifdef SEMAPHORE_BINARY static SemaphoreHandle_t xSemaphore = NULL; #else static SemaphoreHandle_t xSemaphore = NULL; #endif typedef struct _msg_t { uint32_t id; } msg_t; void io_mux_init(){ // MAIXPY code sample //fm.register(20,fm.fpioa.I2S0_IN_D0) //fm.register(19,fm.fpioa.I2S0_WS) //fm.register(18,fm.fpioa.I2S0_SCLK) // Reffer to Sipeed_Maix-BIT_Specifications_EN_V2.0.pdf Page 5 fpioa_set_function(20, FUNC_I2S0_IN_D0); fpioa_set_function(19, FUNC_I2S0_WS); fpioa_set_function(18, FUNC_I2S0_SCLK); } void check_ready(){ uint8_t rd; size_t lng; //Serial.printf("ready_f2=%d\r\n",ready_f); while(1){ if (ready_f != 0) break; lng=Serial1.readBytes((uint8_t *)&rd,1); if (lng ==1 && rd == 's') ready_f = 1; else if(lng ==1 && rd == 'r') ready_f = 2; } //Serial.printf("ready_f3=%d\r\n",ready_f); } /* * write_dtx_blk(uint32_t *dt,size_t buf_len) * Serial1 block write * Stereo 32bit -> Monoral 16bit */ void write_dtx_blk(uint32_t *dt,size_t buf_len){ //Serial.printf("ready_f=%d\r\n",ready_f); int j=0; // I2S 32bit stereo data and 1 channel active -> 16bit monoral data for (size_t i = 0; i < buf_len;i+=2){ uint32_t k = dt[i]; //uint8_t d0,d1,d2,d3; //d0 = (uint8_t)(k >> 24 & 0x000000ff); //d1 = (uint8_t)(k >> 16 & 0x000000ff); //d2 = (uint8_t)(k >> 8 & 0x000000ff); //d3 = (uint8_t)(k & 0x000000ff); ser_block_dt.dt[j*2]=(uint8_t)(k >> 8 & 0x000000ff); ser_block_dt.dt[j*2+1]=(uint8_t)(k & 0x000000ff); j++; } while(1){ if (ready_f != 1) check_ready(); // 1ブロックで送ってみます。 Serial1.write((uint8_t *)&ser_block_dt,sizeof(ser_block_dt)); ready_f=0; check_ready(); if (ready_f == 1) break; else ready_f=1; } } /* * write_dtx(uint32_t *dt,size_t buf_len) * 1 バイト毎送ります。 * Stereo 32bit -> Monoral 16bit */ void write_dtx(uint32_t *dt,size_t buf_len){ //Serial.printf("ready_f=%d\r\n",ready_f); while(1){ if (ready_f != 1) check_ready(); // 1個1個送った方が、データ抜けが無いかもしれない。 for(int i=0;i<buf_len;i+=2){ uint32_t k = dt[i]; //unsigned char d0,d1; unsigned char d2,d3; //d0 = (unsigned char)(k >> 24 & 0x000000ff); //d1 = (unsigned char)(k >> 16 & 0x000000ff); d2 = (unsigned char)(k >> 8 & 0x000000ff); d3 = (unsigned char)(k & 0x000000ff); //Serial1.printf("%02x",d0); //Serial1.printf("%02x",d1); //Serial1.printf("%02x",d2); //Serial1.printf("%02x",d3); //Serial1.print(","); Serial1.write(d2); Serial1.write(d3); } Serial1.print("\r\n"); ready_f=0; check_ready(); if (ready_f == 1) break; else ready_f=1; } } /* * write_dtx_dump(uint32_t *dt,size_t buf_len) * デバッグ用のダンプを送ります。 */ void write_dtx_dump(uint32_t *dt,size_t buf_len){ //Serial.printf("ready_f=%d\r\n",ready_f); while(1){ if (ready_f != 1) check_ready(); // 1個1個送った方が、データ抜けが無いかもしれない。 for(int i=0;i<buf_len;i++){ uint32_t k = dt[i]; unsigned char d0,d1; unsigned char d2,d3; d0 = (unsigned char)(k >> 24 & 0x000000ff); d1 = (unsigned char)(k >> 16 & 0x000000ff); d2 = (unsigned char)(k >> 8 & 0x000000ff); d3 = (unsigned char)(k & 0x000000ff); Serial1.printf("%02x",d0); Serial1.printf("%02x",d1); Serial1.printf("%02x",d2); Serial1.printf("%02x",d3); Serial1.print(","); } Serial1.print("\r\n"); ready_f=0; check_ready(); if (ready_f == 1) break; else ready_f=1; } } #ifdef REV2 /* * int i2s_on_irq(void *ctx) REV2 * I2S Event Routine */ int i2s_on_irq(void *ctx){ int i; int ok=1; static signed portBASE_TYPE xHigherPriorityTaskWoken; digitalWrite(ledPinB,LED_OFF); //digitalWrite(ledPinR,LED_ON); msg_t message = { 0 }; //Serial.print('.'); i= is2_dma_pool.i_next+1; if(i >= is2_dma_pool.max_cnt){ i=0; } if(i != is2_dma_pool.o_next){ is2_dma_pool.i_next=i; ok=1; i2s_data_t data = (i2s_data_t){ .rx_channel = DMAC_CHANNEL0, .rx_buf = is2_dma_pool.rx_buf[i], .rx_len = FRAME_LEN * 2, .transfer_mode = I2S_RECEIVE, }; plic_interrupt_t irq = (plic_interrupt_t){ .callback = i2s_on_irq, .ctx = &g_index_t, .priority = 1, }; //digitalWrite(ledPinR,LED_OFF); i2s_handle_data_dma(I2S_DEVICE_0, data, &irq); digitalWrite(ledPinB,LED_ON); } else{ is2_dma_pool.full_f=1; // I2S 受信バッファ満杯 Serial.print('x'); } if(ok==1){ UBaseType_t qc =uxQueueMessagesWaiting(queue); if(qc < QUEUE_MAX){ message.id = 1; xHigherPriorityTaskWoken = pdFALSE; if (xQueueSend(queue, (void *)&message, 0) != pdTRUE) { //if(xQueueSendFromISR( queue, (void *)&message, &xHigherPriorityTaskWoken ) != pdTRUE){ Serial.print('m'); } } } return 0; } #else /* * int i2s_on_irq(void *ctx) * I2S Event Routine */ int i2s_on_irq(void *ctx){ int i; int ok=1; #ifdef SEMAPHORE_BINARY static signed portBASE_TYPE xHigherPriorityTaskWoken; #endif digitalWrite(ledPinB,LED_OFF); digitalWrite(ledPinR,LED_ON); msg_t message = { 0 }; //Serial.print('.'); #ifdef SEMAPHORE_BINARY xHigherPriorityTaskWoken = pdFALSE; if(xSemaphoreTakeFromISR(xSemaphore, &xHigherPriorityTaskWoken) == pdTRUE){ #else if( xSemaphoreTake( xSemaphore, 100 ) == pdTRUE ){ #endif is2_dma_pool.cnt++; //　今回のイベントで取り込まれました。 // 空き is2_dma_pool 設定 if(is2_dma_pool.cnt > is2_dma_pool.max_cnt){ is2_dma_pool.cnt--; ok=0; // I2S 受信バッファ満杯 Serial.print('x'); i=is2_dma_pool.max_cnt; // 受け捨てバッファ へ受信 } else{ i=is2_dma_pool.i_next; is2_dma_pool.i_next++; if(is2_dma_pool.i_next >= is2_dma_pool.max_cnt){ is2_dma_pool.i_next=0; } } digitalWrite(ledPinR,LED_OFF); #ifdef SEMAPHORE_BINARY xHigherPriorityTaskWoken = pdFALSE; xSemaphoreGiveFromISR( xSemaphore, &xHigherPriorityTaskWoken ); #else xSemaphoreGive(xSemaphore); #endif } else{ Serial.print('r'); } i2s_data_t data = (i2s_data_t){ .rx_channel = DMAC_CHANNEL0, .rx_buf = is2_dma_pool.rx_buf[i], .rx_len = FRAME_LEN * 2, .transfer_mode = I2S_RECEIVE, }; plic_interrupt_t irq = (plic_interrupt_t){ .callback = i2s_on_irq, .ctx = &g_index_t, .priority = 1, }; //digitalWrite(ledPinR,LED_OFF); i2s_handle_data_dma(I2S_DEVICE_0, data, &irq); digitalWrite(ledPinB,LED_ON); if(ok==1){ UBaseType_t qc =uxQueueMessagesWaiting(queue); if(qc < QUEUE_MAX){ message.id = 1; if (xQueueSend(queue, (void *)&message, 0) != pdTRUE) { Serial.print('m'); } } } return 0; } #endif /* * i2s_setup() */ void i2s_setup(){ // MAIXPY code sample //i2s_init(i2s_device_number_t device_num, i2s_transmit_t rxtx_mode, uint32_t channel_mask); //rx = I2S(I2S.DEVICE_0) //rx.channel_config(rx.CHANNEL_0, rx.RECEIVER, align_mode = I2S.STANDARD_MODE) i2s_init(I2S_DEVICE_0, I2S_RECEIVER, 0x3); Serial.println("I2S init OK"); // align_mode -> STANDARD_MODE / LEFT_JUSTIFYING_MODE / RIGHT_JUSTIFYING_MODE i2s_rx_channel_config(I2S_DEVICE_0, I2S_CHANNEL_0, RESOLUTION_16_BIT, SCLK_CYCLES_32, TRIGGER_LEVEL_4, LEFT_JUSTIFYING_MODE); uint32_t sample_rate_act; //uint32_t i2s_set_sample_rate(i2s_device_number_t device_num, uint32_t sample_rate); sample_rate_act = i2s_set_sample_rate(I2S_DEVICE_0, SAMPLE_RATE); Serial.printf("sample_rate_act=%d\r\n",sample_rate_act); // I2S Event Routine Register i2s_data_t data = (i2s_data_t){ .rx_channel = DMAC_CHANNEL0, .rx_buf = is2_dma_pool.rx_buf[is2_dma_pool.i_next], .rx_len = FRAME_LEN * 2, .transfer_mode = I2S_RECEIVE, }; is2_dma_pool.i_next++; plic_interrupt_t irq = (plic_interrupt_t){ .callback = i2s_on_irq, .ctx = &g_index_t, .priority = 1, }; i2s_handle_data_dma(I2S_DEVICE_0, data, &irq); digitalWrite(ledPinB,LED_ON); } #ifdef REV2 /* * task0(void* arg) REV2 */ void task0(void* arg) { msg_t message = { 0 }; char f; int i; while (1) { if (xQueueReceive(queue, (void *)&message, 1000 / portTICK_PERIOD_MS) == pdTRUE) { f=1; while(f==1){ // 取り込み I2S CHUNK Data がります。 if(is2_dma_pool.o_next != is2_dma_pool.i_next){ write_dtx_blk(is2_dma_pool.rx_buf[is2_dma_pool.o_next],FRAME_LEN * 2); // Seilal1 block Tramsfer is2_dma_pool.o_next++; if(is2_dma_pool.o_next >= is2_dma_pool.max_cnt){ is2_dma_pool.o_next=0; } } else f=0; } // i2s_on_irq() is stopping. if(is2_dma_pool.full_f != 0){ i= is2_dma_pool.i_next+1; if(i >= is2_dma_pool.max_cnt){ i=0; } if(i != is2_dma_pool.o_next){ is2_dma_pool.full_f = 0; is2_dma_pool.i_next=i; i2s_data_t data = (i2s_data_t){ .rx_channel = DMAC_CHANNEL0, .rx_buf = is2_dma_pool.rx_buf[i], .rx_len = FRAME_LEN * 2, .transfer_mode = I2S_RECEIVE, }; plic_interrupt_t irq = (plic_interrupt_t){ .callback = i2s_on_irq, .ctx = &g_index_t, .priority = 1, }; i2s_handle_data_dma(I2S_DEVICE_0, data, &irq); digitalWrite(ledPinB,LED_ON); } } } } } #else /* * task0(void* arg) */ void task0(void* arg) { msg_t message = { 0 }; char f; while (1) { if (xQueueReceive(queue, (void *)&message, 1000 / portTICK_PERIOD_MS) == pdTRUE) { f=1; while(f==1){ if(is2_dma_pool.cnt > 0){ write_dtx_blk(is2_dma_pool.rx_buf[is2_dma_pool.o_next],FRAME_LEN * 2); // Seilal1 block Tramsfer //write_dtx_dump(is2_dma_pool.rx_buf[is2_dma_pool.o_next],20); // For Debug Dump if( xSemaphoreTake( xSemaphore, 100 ) == pdTRUE ){ is2_dma_pool.cnt--; if(is2_dma_pool.cnt < 0){ is2_dma_pool.cnt=0; } is2_dma_pool.o_next++; if(is2_dma_pool.o_next >= is2_dma_pool.max_cnt){ is2_dma_pool.o_next=0; } xSemaphoreGive(xSemaphore); } else{ Serial.print('q'); } } else{ f=0; } } } } } #endif /* * setup() */ void setup() { // code from https://github.com/kendryte/kendryte-standalone-demo/blob/develop/i2s_dma/main.c //sysctl_pll_set_freq(SYSCTL_PLL0, 320000000UL); //sysctl_pll_set_freq(SYSCTL_PLL1, 160000000UL); //sysctl_pll_set_freq(SYSCTL_PLL2, 45158400UL); lp=0; ready_f=0; #ifdef REV2 is2_dma_pool.full_f=0; #else is2_dma_pool.cnt=0; #endif is2_dma_pool.max_cnt=4; is2_dma_pool.i_next=0; is2_dma_pool.o_next=0; ser_block_dt.crlf[0]=0x0d; ser_block_dt.crlf[1]=0x0a; pinMode(ledPinG, OUTPUT); // sets the digital pin 12 as output/ Green pinMode(ledPinR, OUTPUT); // sets the digital pin 13 as output/ Red pinMode(ledPinB, OUTPUT); // sets the digital pin 14 as output/ Blue digitalWrite(ledPinG,led_valG); // 0 -> ON / 1 -> OFF digitalWrite(ledPinR,led_valR); // 0 -> ON / 1 -> OFF digitalWrite(ledPinB,led_valB); // 0 -> ON / 1 -> OFF // put your setup code here, to run once: Serial.begin(115200); //Serial1.begin(115200,rx,tx); Serial1.begin(BAUD_RATE, 17, 15); while (!Serial) { ; // wait for serial port to connect. Needed for native USB port only } Serial.println("Start i2s_k210_arduino_event"); while (!Serial1) { ; // wait for serial port to connect. Needed for native USB port only } Serial.println("Start Serial1"); // wait for 's' from Serial1 check_ready(); io_mux_init(); #ifndef REV2 #ifdef SEMAPHORE_BINARY xSemaphore = xSemaphoreCreateBinary(); configASSERT(xSemaphore); xSemaphoreGive(xSemaphore); #else xSemaphore = xSemaphoreCreateMutex(); configASSERT(xSemaphore); #endif #endif queue = xQueueCreate(QUEUE_MAX, sizeof(msg_t) ); configASSERT(queue); xTaskCreate(task0, "Task0", 1000, NULL, 1, NULL); i2s_setup(); vTaskStartScheduler(); // ここには、制御は戻って来ません。なので、loop()に制御は行きません。 } void loop() { }

2. PC 側の Python Script は、前回のと同じです。

3. 結果
どうやら、 I2S のフレーム(TUNK) の取りこぼしは、出ていないようです(たまに出るみたい)。
80cm 程離れて、普通に話してもマイクには拾えますが、
大きな声だと、ビリつきます。
「ハローハロー」と大きめに話しても、ビビリ音になります。
また、かなりエコーが掛かっているようです。
1.2 M位が良いのか?

感度が良すぎるのか、まだプログラムに不具合があるのか?
何か、改善策はあるのだろうか?

将来は、CNN での Sound Classify を Bit(k210) で走らせたいなと思っちょりますが、
これほど音が、ビリツクと、正しく判定出来ないのでは?
Bit に　I2S DAC(Head phone) を繋げて、Sample Rate 44,100 の音を、ヘッドホーンで
確認してみる事も必要でしょうか。

4. Bit の方でまだ、ハングするみたいです。今、原因を調査中です。(2020.3.19)

5. 割り込みルーチン(i2s_on_irq()) の中で、xSemaphoreTake(),xSemaphoreGive() を使うのは拙いみたいです。
その代わり、xSemaphoreTakeFromISR(), xSemaphoreGiveFromISR() を使うとの事です。
これで、Bit 側のハングは解消できそうです。
早速、改修版を、アップデートしました。
ただ、もう少し様子みですが、xSemaphoreTake(), xSemaphoreGivee() 版の方が、動作が軽い(音が軽い)気がします。

xSemaphoreTakeFromISR(), xSemaphoreGiveFromISR() は、マクロ展開で、実際の中は、
xQueueReciveFromISR(),xQueueSendFromISR() みたいなので、
少しオーバーヘッドが出ているのかもしれません。

同じ割り込みルーチンの中で、２回の Queue 送信、1回の Queue 受信 するのは、いただけません。
ここは、改善の余地がありそうです。(202.3.20)

6. REV2 版   Semaphore を使わない処理に改めました。  (202.3.20)
音も元の様に軽くなったみたいです。
しかし、大きな音だと直ぐに、ビリつきます。これが限界か!!