基于百度云AI开发车型识别车牌识别案例详解

作者 : 开心源码 本文共8429个字,预计阅读时间需要22分钟 发布时间: 2022-05-13 共272人阅读

关键字: 车牌识别 车型识别 百度AI SpringBoot Vue Java SDK

@[toc]

1.创立百度AI应用


进入百度AI官网https://ai.baidu.com/,点击右上角控制台,用百度账号登录。假如没有百度账号,需要首先创立一个百度账号。

在控制台可以看到各种百度提供的AI应用接口。找到需要的应用接口,点进去可以创立一个相应的应用。

图像识别提供一个组合API接口,支持多种垂类识别服务的灵活组合调用。

而后会提供给该应用一个API Key 和Secret Key,它是我们调用接口必需的两个参数。

以下是本次开发中用到的车型识别的应用。百度AI的车牌识别需要另外申请一个应用。需要注意的是不同的应用有不同的AppID等参数。

创立的一个应用

2.通过Access_token密码调用百度AI接口(车型识别)


车型识别功能检测图片中的车辆,识别具体车型,包括车辆品牌体型号、颜色、年份、位置信息。

车辆识别为例。它的请求url为: https://aip.baidubce.com/rest/2.0/image-classify/v1/car

调用方式肯定为POST。同时我们要在后面增加以下参数:

access_token:即前面获取的密码

在请求头中设置Content-Type参数

Content-Type:设置为application/x-www-form-urlencoded

在请求体Body中设置image图片的信息参数

1.image:图片信息参数,它是通过图片路径找到图片转为字节,而后经过Base64编码最后形成的字符串。如下代码

//获取图片的路径

String filePath = Path;

//将图片转为字节数组

byte[] imgData = FileUtil.readFileByBytes(filePath);

//将图片字节数组转为Base64编码的字符串换

String imgStr = Base64Util.encode(imgData);

//将经过Base64编码的图片字符串转为UTF-8编码的字符串。可以直接传给image参数

String imgParam = URLEncoder.encode(imgStr, “UTF-8”);

2.top_num:设置返回的信息的数量,默认5,由于车辆识别会得出多个结果,按几率得到,我们可以获取前n个的数据

3.baike_num:设置返回的百科的信息数,默认不返回

3.Java用户端AipImageClassifyClient调用AI接口


以上方法是采用接口直接调用,下面的方法是使用JAVA用户端进行访问。首先需要安装ImageClassify Java SDK,可以在官方网站下载Java SDK压缩工具包。

百度AI的SDK下载页

而后,新建AipImageClassifyClient,AipImageClassifyClient是图像识别的Java用户端,为使用图像识别的开发人员提供了一系列的交互方法。

客户可以参考如下代码新建一个AipImageClassifyClient,初始化完成后建议单例使用,避免重复获取access_token:

public class Sample {    //设置APPID/AK/SK    public static final String APP_ID = "你的 App ID";    public static final String API_KEY = "你的 Api Key";    public static final String SECRET_KEY = "你的 Secret Key";    public static void main(String[] args) {        // 初始化一个AipImageClassifyClient        AipImageClassifyClient client = new AipImageClassifyClient(APP_ID, API_KEY, SECRET_KEY);        // 可选:设置网络连接参数        client.setConnectionTimeoutInMillis(2000);        client.setSocketTimeoutInMillis(60000);        // 可选:设置代理商服务器地址, http和socket二选一,或者者均不设置        client.setHttpProxy("proxy_host", proxy_port);  // 设置http代理商        client.setSocketProxy("proxy_host", proxy_port);  // 设置socket代理商        // 调用接口        String path = "test.jpg";        JSONObject res = client.objectDetect(path, new HashMap<String, String>());        System.out.println(res.toString(2));            }}

在上面代码中,常量APP_ID在百度智能云控制台中创立,常量API_KEY与SECRET_KEY是在创立完毕应用后,系统分配给客户的,均为字符串,用于标识客户,为访问做签名验证,可在AI服务控制台中的应用列表中查看。

4.车型识别接口说明


识别图片中车辆的具体车型,可识别常见的3000+款车型(小汽车为主),输出车辆的品牌型号、颜色、年份、位置信息;支持返回对应识别结果的百度百科词条信息,包含词条名称、百科页面链接、百科图片链接、百科内容简介。

当前只支持单主体识别,若图片中有多个车辆,则识别目标最大的车辆。

百度官方文档提供了调用的示例,提交参数的方式有本地路径和二进制数组。

public void sample(AipImageClassify client) {    // 传入可选参数调用接口    HashMap<String, String> options = new HashMap<String, String>();    options.put("top_num", "3");    options.put("baike_num", "5");    // 参数为本地路径    String image = "test.jpg";    JSONObject res = client.carDetect(image, options);    System.out.println(res.toString(2));    // 参数为二进制数组    byte[] file = readFile("test.jpg");    res = client.carDetect(file, options);    System.out.println(res.toString(2));}

车型识别 请求参数介绍

参数名称能否必选类型默认值说明
image是mixed–本地图片路径或者者图片二进制数据
top_num否String5返回预测得分top结果数,默认为5
baike_num否String0返回百科信息的结果数,默认不返回

车型识别 返回数据参数介绍

字段能否必选类型说明
log_id是uint64唯一的log id,用于问题定位
color_result是string车身颜色
result是car-result()车型识别结果数组
+name是string车型名称,示例:宝马x6
+score是double置信度,取值范围0-1,示例:0.5321
+year是string年份
+baike_info否object对应识别结果的百科词条名称
++baike_url否string对应识别结果百度百科页面链接
++image_url否string对应识别结果百科图片链接
++description否string对应识别结果百科内容形容
location_result是string车辆在图片中的位置信息
+width是float车辆区域的宽度
+height是float车辆区域的高度
+left是float车辆区域离左边界的距离
+top是float车辆区域离上边界的距离

车型识别 返回示例

{  "log_id": 4086212218842203806,  "location_result": {    "width": 447,    "top": 226,    "height": 209,    "left": 188  },  "result": [{    "baike_info": {      "baike_url": "http://baike.baidu.com/item/%E5%B8%83%E5%8A%A0%E8%BF%AAChiron/20419512",      "description": "布加迪Chiron是法国跑车品牌布加迪出品的奢华超跑车。配置四涡轮增压发动机,420 公里每小时,有23种颜色的选择,售价高达260万美元。"    },    "score": 0.98793351650238,    "name": "布加迪Chiron",    "year": "无年份信息"  },  {    "score": 0.0021970034576952,    "name": "奥迪RS5",    "year": "2011-2017"  },  {    "score": 0.0021096928976476,    "name": "奥迪RS4",    "year": "无年份信息"  },  {    "score": 0.0015581247862428,    "name": "奥迪RS7",    "year": "2014-2016"  },  {    "score": 0.00082337751518935,    "name": "布加迪威航",    "year": "2004-2015"  }],  "color_result": "颜色无法识别"}

车型识别的错误码可见:https://ai.baidu.com/ai-doc/VEHICLE/Gk3hb3ifo

⚠ 车牌识别的调用方式和以上车型识别的方式大同小异,这里略过。

5.Java后台Controller层接收图片


本次开发的后台应用基于SpringBoot v2.4.1,Controller层的开发内容如下所示。

/** * @Author Jarrett Luo * @Date 2021/1/28 18:26 * @Version 1.0 */@RestController@RequestMapping(value = "/recognition")public class RecognitionController {        @Resource    RecognitionService recognitionService;        @CrossOrigin    @PostMapping    public ApiResult save(@RequestParam(value="file", required=false) MultipartFile multipartFile)            throws IOException {        byte[] imgBytes = multipartFile.getBytes();        if(imgBytes!=null){            return recognitionService.find(imgBytes);        }        else {            return ApiResult.error(201,"数据为空!");        }    }}

byte[] imgBytes = multipartFile.getBytes();将前台传递的数据转换为二进制数组,以便于后面进行调用。

必需进行非空判断后才能进入下一步,否则会出现没有返回值的错误。ApiResult是自己写的一个工具,用于返回结果,假如传入的空数据,则返回201的错误码。

6.Java后台Service层访问AI接口


根据百度AI控制页创立的应用,设置每个应用的APP_ID, API_KEY, SECRET_KEY。这里需要注意的是百度AI提交的不同接口需要创立不同的应用。

我们对文件的大小进行了限制,这里仅解决10MB以下的图片。

public ApiResult find(byte[] image) {        if(image.length>10048575) {            return ApiResult.error(201, "文件过大!");        }        // 初始化一个AipOcr        AipOcr client = new AipOcr(APP_ID, API_KEY, SECRET_KEY);        HashMap<String, String> options = new HashMap<String, String>();        JSONObject res = client.plateLicense(image, options);        String number;        if(res.has("words_result")) {            JSONObject jsonData = res.getJSONObject("words_result");            number = jsonData.getString("number");        }else {            number = null;        }        // 初始化一个AipImageClassify        AipImageClassify client1 = new AipImageClassify(APP_ID_1, API_KEY_1, SECRET_KEY_1);        // 传入可选参数调用接口        HashMap<String, String> options1 = new HashMap<String, String>();        options.put("top_num", "1");        // 参数为本地路径        JSONObject res1 = client1.carDetect(image, options1);        String color;        String name;        String year;        if(res1.has("result")) {            JSONArray jsonData = res1.getJSONArray("result");            JSONObject vehicle = jsonData.getJSONObject(0);//获取数组第一个元素            year = vehicle.getString("year");            name = vehicle.getString("name");            color = res1.getString("color_result");            if(year.equals("无年份信息")){                year = null;            }            if(name.equals("非车类")) {                name = null;            }            if(color.equals("无车辆颜色信息")) {                color = null;            }        }else {            year = null;            name = null;            color = null;        }        RecognitionDTO recognitionDTO = new RecognitionDTO(number,                name,                year,                color);        return ApiResult.success(recognitionDTO);    }

注意以上代码的ApiResult是自己写的一个结果转换的工具类。关于ApiResult的详细内容可以查看作者github的详细详情。

7.基于VUE的前台开发车牌识别和车型识别


根据开发需求,在页面中添加一个拍照自动识别按钮,客户点击按钮后可以选择拍照或者者相册中的照片。相应的HTML代码如下所示。

前台页面

        /**         * 图片拍照识别上传         * @author: 罗佳瑞         */        uploadFile() {            var that = this;            var inputDOM = that.$refs.imageInput;            var file = inputDOM.files;            var formData = new FormData();            formData.append('file', file[0]);            this.uploadImage(formData)            Indicator.open({                text: '识别中...',                spinnerType: 'fading-circle'            });            setTimeout(()=>{                Indicator.close();            },15000)        },

以下是采用异步方式提交数据到后端服务器,提交数据的函数时recorgnizeRequest。假如成功返回数据该函数将回调uploadImageResult,关于该回调函数下文将会详情。

/*** 异步提交数据到后端* @author: 罗佳瑞*/async uploadImage(formData) {      await vehiclePageRequest.recorgnizeRequest(formData)          .then(res => {          this.uploadImageResult(res)      })          .catch(err => {          Toast("" + err)      })},

采用axios提交数据到相应的URL。VUE中采用Promise提交数据,采用这种方式提交更好的看到提交成功和识别的结果。特别要注意,为了避免axios对formdata进行转换,因而最好加上tansformRequest。

function recorgnizeRequest(FormData) {    return new Promise((resolve, reject) => {        axios({            url: RECORGNIZE_URL,            method: 'POST',            headers: {                'Content-Type': "multipart/form-data",                // token: sessionStorage.getItem('token')            },            //这部分非常重要,否则formdata会被转格式            transformRequest: [function(){                return FormData;            }],            params: {},            data: FormData,        })        .then((res) => {            // 成功            resolve(res.data)        })        .catch((res) => {            // 失败            reject(res)        })    })}

后台返回的数据采用如下代码映射到表单中。因为返回的结果中可能没有识别到车辆,或者者图片中没有车辆信息,因而在这一步进行非空判断。

Indicator是前台框架的指示器,用于告知客户当前识别进度以及识别结果。

uploadImageResult(res) {    if(res.code==200) {        var recorgnizeResult = res.data        var rln = recorgnizeResult.licenseNumber        var rvb = recorgnizeResult.name        var rvc = recorgnizeResult.color;        var rvy = recorgnizeResult.year;        var resultStr = "";        if(rln!=null){            this.vehicleInfo.vehiclePlate = rln;            resultStr = resultStr + "车牌可能是:" + rln + ";\n"        }        if(rvb!=null) {            this.vehicleInfo.vehicleBrand = rvb;            resultStr = resultStr + "品牌可能是:" + rvb + ";\n"        }        if(rvc!=null) {            this.vehicleInfo.vehicleColor = rvc;            resultStr = resultStr + "颜色可能是:" + rvc + ";\n"        }        if(rvy!=null) {            var rvyFormat = rvy.substr(0,4)            resultStr = resultStr + "年代可能是:" + rvyFormat + "年;\n"        }        Indicator.close();        Indicator.open({            text: "识别成功\n" + resultStr,            spinnerType: 'fading-circle'        });        setTimeout(()=>{            Indicator.close();        },7500)    }else{        Toast({            message: "连接超时!"        })    }}

前台页面开发结果如下。客户点击拍照自动识别后,选择拍照或者者相册,提交照片等待返回结果。

服务器返回的结果会自动输入到下图中的车牌号,汽车品牌,车身颜色。

最终效果图

8.总结与展望


  • 本文从访问百度AI接口出发,详细阐述了后台如何调用百度接口,实现一次图片上传得到车牌识别和车型识别的结果。

  • 本文的前台开发作为示例,提供了一种思路,更多的如用户端,安卓,IOS应用等等都可以采用如此方法开发。

  • 采用百度AI提供的接口,可以拓展更多丰富的应用;多种接口的叠加让客户一次上传便得到多种结果。

  • 通过成熟的AI算法,识别的精确度和速度都比较令人满意。

  • 以上过程中存在的不足是,因为客户拍照后直接上传的图片是比较大的,导致在传输过程中比较慢,甚至会出现超时的情况,客户体验不够好。改进的方法是前台页面首先对大文件进行压缩后再上传。

  • 百度AI提供了组合调用AI的方式,前台可以采用该种方式发起请求。在此应用中需要保存客户的图片,因而没有采用该方式。

假如您觉得上面的内容对您有帮助欢迎点赞、评论、转发!
更多内容请查阅作者博客:https://jiaruiblog.com
或者者star作者github: Jarrettluo?tab=repositories

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 基于百度云AI开发车型识别车牌识别案例详解

发表回复