我們已經介紹過在ESM7100主板上支持多路模擬攝像頭的方案,詳細資料可以參考《Linux主板多通道視頻采集方案》。在很多工業現場中還會使用到網絡攝像頭,它的優點是可以通過網絡獲取數據,沒有距離的限制,只需要提供一個常用的普通網絡接口就可以進行通訊,非常靈活。但是網絡攝像頭傳輸的數據都是通過了編碼(現在常見格式有 H.264、MPEG-4、MJPEG)的,在接收到數據后,如果要在主板上進行處理和顯示,就需要對數據進行解碼。實現解碼功能需要硬件的支持,依靠軟件解碼會消耗大量的CPU資源,而且性能也不理想,所以如果要連接網絡攝像頭,就只能夠使用擁有硬件編解碼功能的ESM6802這一款核心板。
ESM6802的處理器為雙核Crotex-A9,主頻1GHz的i.MX6DL,CPU內部集成了一個擁有編解碼功能的VPU(Video Processing Unit),通過VPU進行解碼不會消耗過多的CPU資源,而ESM6802內部的VPU可以支持多種格式的解碼,包括了常見的H.264、MPEG-4、MJPEG等格式,能夠支持的最大分辨率為1920x1088,同時最多可以處理4路攝像頭的數據。下面我們就以ESM6802為例,介紹如何使用在Qt界面中顯示網絡攝像頭的數據。
軟件上同樣還是使用gstreamer和Qt來實現,ESM6802的文件系統中已經集成了gstreamer和Qt5.8相關的庫和工具,并且包含了處理網絡攝像頭通訊協議rtsp和操作VPU編解碼的插件,而gstreamer能夠支持多種圖形系統包括Qt。所以利用gstreame能夠快速方便的獲取網絡攝像頭的數據并顯示到Qt界面中,關于gstreamer的詳細介紹,可以參考網站https://gstreamer.freedesktop.org/documentation/index.html?gi-language=c。
考慮到部分客戶可能對gstreamer不熟悉,英創公司在gstreamer提供的API函數基礎上重新封裝了一層,通過庫文件libemgst.so提供三個API函數和一個包含網絡攝像頭信息的結構體變量,利用這三個API函數,客戶就可以將視頻數據顯示在Qt實現的界面上,而不需要使用代碼對gstreamer單獨進行操作,客戶可以專注于Qt程序的開發。下面就詳細介紹libemgst.so的三個API函數和結構體變量:
/** * 初始化gstreamer * * 本函數在C的main函數中調用,將會初始化gstreamer庫 * * 參數說明: * 使用main函數的兩個參數填入,gstramer初始化時需要讀取main函數的兩個參數 * * 返回值說明: * 無返回值 * */ void init_emgst(int argc, char **argv); /** * 包含網絡攝像頭設備信息的結構體 * 訪問網絡攝像頭需要有ip地址,用戶名和密碼。如果是播放錄像文件,還需要填入 * 錄像文件的地址,如果是播放實時數據,路徑填寫為NULL即可。 * * 參數說明: * ip:指向網絡攝像頭ip地址的指針 * user:指向網絡攝像頭的用戶名的指針 * passwd:指向網絡攝像頭密碼的指針 * file:指向錄像文件路徑的指針,如果播放實時圖像,賦值為NULL * */ typedefstruct _Rtsp_config { char *ip; char *user; char *passwd; char *file; } Rtsp_config; /** * 配置gstreamer,并顯示到指定Qt窗口 * * 函數會配置gstreamer,顯示多個網絡攝像頭的數據到xwinid所指定的窗口,窗口的大 * 小通過參數width和height來確定,而網絡攝像頭的信息由指針rtsp_config傳入,listsize * 指定同時顯示的通道數量。因為要動態建立網絡攝像頭的連接,函數不會退出,所以 * 需要在線程中調用。 * * 參數說明: * xwinid:Qt窗口的id號,每一個窗口類中都包含這個成員變量。 * width:顯示視頻數據所使用的窗口控件的寬度,單位pixel * height:顯示視頻數據所使用的窗口控件的高度,單位pixel *rtsp_config:指向設備信息結構體的指針,通常是一組包含設備信息的結構體指針。 * 詳細解釋可以查看對結構體Rtsp_config的說明 * listsize:顯示的視頻通道數最多支持同時顯示4路。支持1,2,4這三個值,函數會按 * 照固定模式對顯示進行排列 * * 返回值說明: * 0表示正常退出gstreamer * -1 表示填入參數出現錯誤,啟動gstreamer失敗 * */ int config_emrtsp(unsignedint xwinid, int width,int height, Rtsp_config *rtsp_config, int listsize); /** * 關閉gstreamer,釋放資源 * * 函數會關閉gstreamer輸出,并釋放相關資源 * * 返回值說明: * 無返回值 * */ void release_emrtsp(void);
init_emgst函數進行gstreamer的初始化,在啟動gstreamer功能之前需要調用一次,客戶配合Qt使用時在main函數中調用即可:
int main(int argc, char *argv[]) { //初始化英創主板gstreamer功能 init_emgst(argc, argv); //Qt窗口初始化,由QtCreator自動生成 QApplicationa(argc, argv); MainWindow w; w.show(); return a.exec(); }
config_emrtsp函數會配置并啟動gstreamer,要將網絡攝像頭的數據顯示在指定的窗口中,客戶只要得到用來顯示視頻的窗口控件的id就可以了,在每一個Qt窗口控件類中都有對應的成員變量,可以很簡單的獲取到。通過rtsp_config填入網絡攝像頭的信息,包含網絡攝像頭的ip,用戶名,密碼和錄像文件路徑,如果只是播放實時圖像,錄像文件路徑填為NULL就行了,函數會動態監測網絡攝像頭的連接,只有當播放完成才會退出,比如錄像文件播放完畢或者手動關閉的情況,所以建議在線程中調用函數config_emrtsp。和網絡攝像頭的連接建立后,ESM6802主板會根據網絡攝像頭的編碼格式自行選擇合適的解碼方式,不需要客戶做任何設置,網絡攝像頭常用的H.264、MPEG-4、MJPEG編碼格式都可以支持。
config_emrtsp函數會根據width和height的值自動分配顯示區域,listsize指定同時顯示的通道數,支持的值為1、2、4,顯示的方式如下圖:
視頻數據顯示排列方式
函數調用后gstreamer會將對應通道數的視頻顯示在指定的Qt窗口控件中,每一個區域所顯示的網絡攝像頭數據是通過結構體指針rtsp_config指定的,下面是部分參考代碼,創建了一個線程,通過一個按鈕啟動,把將graphicsView控件的id傳給gstreamer,并顯示設置的網絡攝像頭數據:
//派生一個Qt線程類,用獲取config_emrtsp函數的參數,并在線程中啟動 class Rtsp_pThread :public QThread { Q_OBJECT public: void run(); //窗口控件的寬度 int width; //窗口控件的高度 int height; //顯示的通道數量 int num_of_chan; //窗口控件ID WIdxwinid; //包含網絡攝像頭信息的結構體指針 Rtsp_config *rtsp_config; }; void MainWindow::on_confirm_released() { //初始化結構體指針 rtsp_config = (Rtsp_config*)malloc(max_chan*sizeof(Rtsp_config)); //填入每一路網絡攝像頭的ip,用戶名和密碼,因為不是播放錄像文件,所以file一項填寫的NULL。示例是顯示了四路網絡攝像頭的數據,因為都是訪問的同一個攝像頭,所以填寫的信息是一致的 for(i=0; i<max_chan; i++){ //網絡攝像頭的ip地址 (rtsp_config+i)->ip = (char*)malloc(20*sizeof(char)); sprintf((rtsp_config+i)->ip, "192.168.201.84"); //網絡攝像頭的用戶名 (rtsp_config+i)->user = (char*)malloc(20*sizeof(char)); sprintf((rtsp_config+i)->user, "admin"); //網絡攝像頭的密碼 (rtsp_config+i)->passwd = (char*)malloc(20*sizeof(char)); sprintf((rtsp_config+i)->passwd, "******"); (rtsp_config+i)->file = NULL; } //將顯示區域的寬度,高度和等信息值賦給線程類的成員變量 rtsp_thread.width = ui->graphicsView->width(); rtsp_thread.height = ui->graphicsView->height(); rtsp_thread.num_of_chan = max_chan; rtsp_thread.rtsp_config = rtsp_config; //啟動線程 rtsp_thread.start(); } void Rtsp_pThread::run() { //在線程中調用函數config_emrtsp,啟動顯示 config_emrtsp(xwinid, width, height, rtsp_config, num_of_chan); } release_emgst函數會停止gstreamer輸出,并釋放資源,在程序退出或者需要切換顯示的時候調用,下面的代碼是通過檢測Qt按鈕控件的點擊事件,關閉顯示: void MainWindow::on_setting_released() { int i; //停止顯示,并釋放相關資源 release_emrtsp(); //退出線程 rtsp_thread.quit(); }
庫文件libemgst.so已經預裝在ESM6802主板的文件系統中了,客戶不需要針對主板再做任何設置。在開發程序的時候,Qt工程中需要將英創公司提供的emgst.h頭文件和libemgst.so庫文件添加進去。頭文件添加的方法十分簡單,增加一個新的頭文件即可。關于外部庫的添加,Qt的開發工具QtCreator提供了非常簡便的方法,客戶只需要將libemgst.so拷貝到工程目錄下,然后在QtCreator中的項目欄用鼠標右鍵單擊工程,選擇添加庫(外部庫),如下圖:
添加庫操作界面
選擇外部庫后,點擊下一步,按照下圖設置,在庫文件一欄中選擇到工程下的libemgst.so文件,如下圖:
選擇庫文件
這樣就完成了外部庫的設置,客戶可以在代碼中調用libemgst.so提供的API函數了。英創公司提供了一個通過按鈕切換顯示視頻通道數的例程,效果如下:
通過這種方式,英創公司希望能夠幫助客戶縮短開發周期,讓客戶可以專注于Qt程序的開發,而不用花時間去學習并在代碼中設置gstreamer。對于例程感興趣的客戶可以和工程師聯系,索取相關代碼。
成都英創信息技術有限公司 028-8618 0660