На конференции Google I/O старший вице-президент Google Прабхакар Рагхаван
объявил о новых усовершенствованиях для инструмента поиска Lens, который позволяет искать с помощью изображения и пары слов.
Новый режим под названием «Рядом со мной» позволит по фото объекта находить совпадения поблизости. Как объяснил Рагхаван, вы сможете сфотографировать блюдо, а затем искать рестораны, где подают именно его. После этого Google отобразит список подходящих ресторанов поблизости. Чтобы реализовать эту функцию, Google сканирует соответствующие фотографии с веб-сайтов, а также фотографии, размещенные рецензентами, и затем сопоставляет их с загруженной вами фотографией. Функция «Near me» будет доступна на английском языке в конце этого года, а «со временем» ее расширят на другие языки.
«Ctrl+F для окружающего мира». Google анонсировал функцию Lens с поиском изображений по фразам и ближайшему местоположению.
Google также внедряет так называемое исследование сцены. Это позволит пользователям панорамировать камеру, а затем вводить поисковую фразу об объектах, находящихся перед ними. Объясняя эту функцию, Рагхаван привел пример попытки найти в супермаркете шоколадку без орехов. Вы сможете просканировать всю полку с шоколадными батончиками, а затем увидеть ярлыки, предоставляющие «полезную информацию», например, отзывы о каждом объекте. Рагхаван это назвал «Ctrl+F для окружающего мира».
Поисковый гигант впервые развернул функцию мультипоиска в апреле, но ее назначение было связано в основном с покупками и поиском инструкций. Например, вы можете сделать скриншот или фотографию понравившегося вам платья, а затем ввести название цвета. Мультипоиск Google покажет список результатов с похожими платьями этого цвета. Или вы можете сфотографировать определенный вид растения и найти соответствующую информацию по запросу «инструкции по уходу».
Но, как намекнул Лу Ванг, директор по управлению продуктами Google, во время релиза, функция мультипоиска Google может использоваться для гораздо большего, и похоже, что эта дополнительная функциональность начинает появляться.
Для включения мультипоиска нужно открыть приложение Google на Android или iOS, и нажать на значок Lens в правой части строки поиска. Здесь можно загрузить фотографию или снимок экрана из своей галереи или сфотографировать объект перед вами, чтобы начать поиск. Если провести пальцем вверх по экрану, появится «Добавить в поиск», где можно добавить соответствующие слово или фразу.
Источник 
