Распознавание предмета через камеру

Содержание:

Яндекс Алиса и другие приложения научились распознавать картинки и фото с камеры, и делать с ними различные полезные действия.

Сейчас уже существует довольно много мобильных приложений, которые распознают фотографии для получения некоторой полезной информации о людях или объёктах на нём. Одно из таких приложений – Facer, показывает на кого из знаменитостей вы похожи, используя алгоритмы на основе нейронных сетей.

Загружаете фото лица крупным планом и через пару секунд вы видите трёх знаменитостей, на которых вы похожи, с указанием процента сходства. Среди похожих на себя звёзд можно встретить российских и зарубежных музыкантов, актёров, блогеров или спортсменов. Приложение Facer можно скачать по ссылкам: на Android и iOS.

У компании Яндекс тоже есть функции распознавания изображений, они встроены в их голосового помощника. Алиса научилась искать информацию по фотографиям с камеры или любым другим картинкам, которые вы ей отправите. На основе загруженного изображения помощник может сделать некоторые полезные действия. Эти новыми функциями можно воспользоваться в приложении Яндекс и Яндекс.Браузер.

Содержание

Где скачать Алису с поиском по картинкам

Голосовой ассистент Алиса встроен в приложение под названием «Яндекс». Скачать приложение для Android и iOS можно по этим ссылкам:

Как включить поиск по картинкам в Алисе

  1. Чтобы открыть Алису нажимаем на красный значок приложения «Яндекс».
  2. Первый способ открыть функцию распознавания изображений: нажимаем на серый значок фотоаппарата с лупой в поисковой строке и переходим к шагу 4. Второй способ: нажимаем на фиолетовый значок Алисы или говорим «Привет, Алиса!» если у вас включена голосовая активация.
  3. Откроется диалог (чат) с Алисой. Нужно дать команду Алисе «Распознай изображение» или «Сделай фото». Также вы можете нажать на серый значок фотоаппарата с лупой.
  4. Приложение попросит доступ к камере вашего мобильного устройства. Нажимаем «Разрешить».
  5. Откроется режим съёмки. Здесь вы можете загрузить изображение из вашей галлереи или сделать новый снимок прямо сейчас. Нажмите на фиолетовый круг, чтобы сделать снимок.
  6. Алиса распознает объект на изображении.
  7. Давайте попробуем загрузить фотографию из памяти, т.е. галереи вашего iPhone или Android. Нажимаем на иконку с фотографией.
  8. Алиса попросит доступ к вашим фотографиям. Нажимаем «Разрешить».
  9. Выбираем фотографию.
  10. Через некоторое время фотография загрузится на сервера Яндекса и Алиса вам скажет, на что похоже загруженное изображение. В нашем случае мы загрузили фотографию умной колонки Amazon Echo Dot, и Алиса её успешно распознала.

Возможности Алисы по распознаванию изображений и список команд

Помимо общей команды «сделай фото», Алисе можно дать более точную команду по распознаванию объекта. Алиса умеет делать следующие операции с изображениями по соответствующим командам:

Читайте также:  Учет в животноводстве 1с

Узнать знаменитость по фото

  • Кто на фотографии?
  • Что за знаменитость на фотографии?

Алиса распознаёт фото знаменитых людей. Мы загрузили изображение актёра Константина Хабенского и Алиса успешно распознала его.

Распознать надпись или текст и перевести его

  • Распознай текст
  • Распознай и переведи надпись

Вы можете загрузить фотографию с текстом и Алиса распознает его и даже поможет его перевести. Для того, чтобы распознать и перевести текст с помощью Алисы необходимо:

— Загрузить фото с текстом.
— Прокрутить вниз.
— Нажать «Найти и перевести текст».

— Откроется распознанный текст. Нажимаем «Перевести».
— Откроется Яндекс.Переводчик с переведённым текстом.

Узнать марку и модель автомобиля

  • Определи марку автомобиля
  • Распознай модель автомобиля

Алиса умеет определять марки автомобилей. Например, она без труда распознаёт новый автомобиль Nissan X-Trail, в который встроена мультимедийная система Яндекс.Авто с Алисой и Яндекс.Навигатором.

Узнать породу животного

  • Распознай животное
  • Определи породу собаки

Алиса умеет распознавать животных. Например, Алиса распознала не только, что на фото собака, но и точно определила породу Лабрадор по фото.

Узнать вид растения

  • Определи вид растения
  • Распознай растение

Если вы встретили экзотическое растение, Алиса поможет вам узнать его название.

Узнать автора и название картины

  • Распознай картину
  • Определи что за картина

Если вы увидели картину и хотите узнать её название, автора и описание, просто попросите Алису вам помочь. Картину «Утро в сосновом лесу» художника Ивана Ивановича Шишкина Алиса определяет моментально.

Найти предмет в Яндекс.Маркет

  • Определи товар
  • Найди товар

Если вы увидите интересный предмет, который вы не прочь были бы приобрести – вы можете попросить Алису найти похожие на него товары. Найденный товар вы можете открыть на Яндекс Маркете и там прочитать его характеристики, или сразу заказать.

Распознать QR-код

  • Определи Кью Эр код
  • Распознай Кью Эр код

Алиса пока не так быстро и качественно распознаёт QR коды, нам потребовалось несколько попыток, чтобы успешно распознать QR код.

Попробуйте распознать с помощью Алисы какое-нибудь изображение и напишите о своём опыте и впечатлениях в комментариях.

Яндекс постоянно добавляет новые команды для Алисы. Мы сделали приложение со справкой по командам , которое регулярно обновляем. Установив это приложение, у вас всегда будет под рукой самый актуальный список команд:

Задание от ментора.

Написать приложение, которое используя камеру телефона определяет объект который ты навел. Т.е. твое приложение открывает камеру. Ты наводишь на предмет, оно в нотификации или еще как пишет предмет на который ты навел Например наводишь на машину пишет что это машина

До этого написал только приложение, которое по кнопке выводит HelloWorld. Посоветуйте что использовать, может алгоритм какой то подскажете, что почитать 🙂

4 ответа 4

Сходите на Vuforia API — там есть распознавание образов — не уверен, что бесплатно, поскольку образ надо все равно засылать на сервер Vuforia, где он и обрабатывается.

Поройтесь еще здесь — Google Cloud Vision API — также облачное распознавание.

Ну и на закуску соберите это приложение: Android Object Detection — и поройтесь в его исходниках — как он работает.

Я видел пару статей, в которых делали приложение под андроид с распознавание объектов с помощью TensorFlow.

Читайте также:  Бесконечный цикл c for

Ваш вопрос звучит примерно так: «Я знаю, как перемножить 2 числа. Пожалуйста, подскажите, как доказать гипотезу Пуанкаре.» Для начала, сделайте распознование рукописных цифр что ли (база данных MNIST). Вопрос слишком абстрактный. В текущей постановке задачи Вы никогда не решите проблему, так как даже не очерчен круг предметов, которые Вы хотите обнаруживать.

Если Вы хотите выделять машины в видео потоке, то можете почитать огромное количество статей на Хабре. Но ещё раз подчёркну: если Вы берётесь за область, связанную с нечёткими задачами, множествами, машинным обучением, то Вам нужно начинать с простых задач, с решения примеров, а не с задач высокго класса сложности.

«Ты наводишь на предмет, оно в нотификации или еще как пишет предмет на который ты навел»

В общем случае — нет, не реализовать 🙂 . Но вот распознавать конкретные классы объектов с хорошей долей вероятности в некоторых случаях реально.

Я бы посмотрел в следующие стороны :

  • соответвующие api. Вроде имелись у IBM в его Watson, Google и Microsoft — и наверняка я перечислил не всех.
  • (думаю, смартфоны не потянут, но — возможно — ошибаюсь) — ИНС, работающие как object detector-ы. Какие из них дают лучший результат я не скажу. Навскидку назову SSD (single shot multibox detector) и RCNN (вот тут могу ошибаться). Ну и как минимум — у первой — есть доступная «предобученная» конфигурация.

Ну и да — что до ИНС — возможно — сразу искал бы готовые реализации на tensorflow. Вроде у него есть версия для android.

Яндекс Алиса и другие приложения научились распознавать картинки и фото с камеры, и делать с ними различные полезные действия.

Сейчас уже существует довольно много мобильных приложений, которые распознают фотографии для получения некоторой полезной информации о людях или объёктах на нём. Одно из таких приложений – Facer, показывает на кого из знаменитостей вы похожи, используя алгоритмы на основе нейронных сетей.

Загружаете фото лица крупным планом и через пару секунд вы видите трёх знаменитостей, на которых вы похожи, с указанием процента сходства. Среди похожих на себя звёзд можно встретить российских и зарубежных музыкантов, актёров, блогеров или спортсменов. Приложение Facer можно скачать по ссылкам: на Android и iOS.

У компании Яндекс тоже есть функции распознавания изображений, они встроены в их голосового помощника. Алиса научилась искать информацию по фотографиям с камеры или любым другим картинкам, которые вы ей отправите. На основе загруженного изображения помощник может сделать некоторые полезные действия. Эти новыми функциями можно воспользоваться в приложении Яндекс и Яндекс.Браузер.

Содержание

Где скачать Алису с поиском по картинкам

Голосовой ассистент Алиса встроен в приложение под названием «Яндекс». Скачать приложение для Android и iOS можно по этим ссылкам:

Как включить поиск по картинкам в Алисе

  1. Чтобы открыть Алису нажимаем на красный значок приложения «Яндекс».
  2. Первый способ открыть функцию распознавания изображений: нажимаем на серый значок фотоаппарата с лупой в поисковой строке и переходим к шагу 4. Второй способ: нажимаем на фиолетовый значок Алисы или говорим «Привет, Алиса!» если у вас включена голосовая активация.
  3. Откроется диалог (чат) с Алисой. Нужно дать команду Алисе «Распознай изображение» или «Сделай фото». Также вы можете нажать на серый значок фотоаппарата с лупой.
  4. Приложение попросит доступ к камере вашего мобильного устройства. Нажимаем «Разрешить».
  5. Откроется режим съёмки. Здесь вы можете загрузить изображение из вашей галлереи или сделать новый снимок прямо сейчас. Нажмите на фиолетовый круг, чтобы сделать снимок.
  6. Алиса распознает объект на изображении.
  7. Давайте попробуем загрузить фотографию из памяти, т.е. галереи вашего iPhone или Android. Нажимаем на иконку с фотографией.
  8. Алиса попросит доступ к вашим фотографиям. Нажимаем «Разрешить».
  9. Выбираем фотографию.
  10. Через некоторое время фотография загрузится на сервера Яндекса и Алиса вам скажет, на что похоже загруженное изображение. В нашем случае мы загрузили фотографию умной колонки Amazon Echo Dot, и Алиса её успешно распознала.
Читайте также:  Gi 122 twin отзывы

Возможности Алисы по распознаванию изображений и список команд

Помимо общей команды «сделай фото», Алисе можно дать более точную команду по распознаванию объекта. Алиса умеет делать следующие операции с изображениями по соответствующим командам:

Узнать знаменитость по фото

  • Кто на фотографии?
  • Что за знаменитость на фотографии?

Алиса распознаёт фото знаменитых людей. Мы загрузили изображение актёра Константина Хабенского и Алиса успешно распознала его.

Распознать надпись или текст и перевести его

  • Распознай текст
  • Распознай и переведи надпись

Вы можете загрузить фотографию с текстом и Алиса распознает его и даже поможет его перевести. Для того, чтобы распознать и перевести текст с помощью Алисы необходимо:

— Загрузить фото с текстом.
— Прокрутить вниз.
— Нажать «Найти и перевести текст».

— Откроется распознанный текст. Нажимаем «Перевести».
— Откроется Яндекс.Переводчик с переведённым текстом.

Узнать марку и модель автомобиля

  • Определи марку автомобиля
  • Распознай модель автомобиля

Алиса умеет определять марки автомобилей. Например, она без труда распознаёт новый автомобиль Nissan X-Trail, в который встроена мультимедийная система Яндекс.Авто с Алисой и Яндекс.Навигатором.

Узнать породу животного

  • Распознай животное
  • Определи породу собаки

Алиса умеет распознавать животных. Например, Алиса распознала не только, что на фото собака, но и точно определила породу Лабрадор по фото.

Узнать вид растения

  • Определи вид растения
  • Распознай растение

Если вы встретили экзотическое растение, Алиса поможет вам узнать его название.

Узнать автора и название картины

  • Распознай картину
  • Определи что за картина

Если вы увидели картину и хотите узнать её название, автора и описание, просто попросите Алису вам помочь. Картину «Утро в сосновом лесу» художника Ивана Ивановича Шишкина Алиса определяет моментально.

Найти предмет в Яндекс.Маркет

  • Определи товар
  • Найди товар

Если вы увидите интересный предмет, который вы не прочь были бы приобрести – вы можете попросить Алису найти похожие на него товары. Найденный товар вы можете открыть на Яндекс Маркете и там прочитать его характеристики, или сразу заказать.

Распознать QR-код

  • Определи Кью Эр код
  • Распознай Кью Эр код

Алиса пока не так быстро и качественно распознаёт QR коды, нам потребовалось несколько попыток, чтобы успешно распознать QR код.

Попробуйте распознать с помощью Алисы какое-нибудь изображение и напишите о своём опыте и впечатлениях в комментариях.

Яндекс постоянно добавляет новые команды для Алисы. Мы сделали приложение со справкой по командам , которое регулярно обновляем. Установив это приложение, у вас всегда будет под рукой самый актуальный список команд: