Browse Prior Art Database

Adding Appropriate Sound to Photographs Based on their Content 

IP.com Disclosure Number: IPCOM000236537D
Publication Date: 2014-May-01
Document File: 2 page(s) / 80K

Publishing Venue

The IP.com Prior Art Database

Related People

Benj Azose: AUTHOR

Abstract

When looking at images and pictures, people often use all of their senses to get into the mood and connect with the image. Some services are changing the way people look at the content of  images by adding appropriate moving content (e.g. automated snow in pictures, automated  movements, etc.), and this feature can brought to sounds as well. What is the audio equivalent  of moving content on the beach? The sound of crashing waves! What is the audio equivalent of  moving content at a birthday party? The “Happy Birthday” song! The idea described herein is to  use an appropriate stock of sounds and append this audio to images to add a dimension similar  to adding moving content to images. 

This text was extracted from a PDF file.
This is the abbreviated version, containing approximately 44% of the total text.

Page 01 of 2

Adding Appropriate Sound to Photographs Based on their Content 

When looking at images and pictures, people often use all of their senses to get into the mood  and connect with the image. Some services are changing the way people look at the content of  images by adding appropriate moving content (e.g. automated snow in pictures, automated  movements, etc.), and this feature can brought to sounds as well. What is the audio equivalent  of moving content on the beach? The sound of crashing waves! What is the audio equivalent of  moving content at a birthday party? The "Happy Birthday" song! The idea described herein is to  use an appropriate stock of sounds and append this audio to images to add a dimension similar  to adding moving content to images. Currently, the greeting card industry is attaching sounds to  their content, but this does not involve technology that looks at the content of an image to  determine the appropriate sound to accompany this image. 

The process for appending appropriate sounds to images begins with generating a set of  appropriate themes and sounds. For example, this could be still frames from a music video and  the underlying songs; or, it could be certain locations (e.g., the beach, library, hospital, birthday  party, etc.)  and their corresponding sounds (e.g., crashing waves, shushing, beeping, the  "Happy birthday" song, etc.). This system generated list will be viewable to the user who can edit  and change the list as the user deems appropriate. This allows the user to more accurately  attach the audio they believe should accompany certain images. This, in turn, allows the user to  make the audio and images more personal. 

When an image is uploaded to a social networking site or any site where one can upload and  share an image, its content and metadata will be examined to determine the type/theme of the  photograph. The system may use visual cues to determine the type of photo. For example, if a  user uploads a picture of the beach the system could use the existence of any of the following as  an indication that the photo is a beach photo: sand, a majority of the image is shades of rippling  blue, beach toys (e.g., pails, shovels, beach towels, starfish, etc.). In addition, the system may  use metadata clues to determine the type of photo. The system can use the metadata to  determine the location where the picture was taken and determine what is in the vicinity of this  location (e.g., water, mountains, hills, landmarks, etc.). The system can also use semantic cues  to deter...