Ok Glass, report an incident (1/2)

Here is a new article where we are going to continue our trip with Google Glass. If you missed the previous one, it’s this way (in french).

This time, we decided to explore the possibility to use Glass with a MBAAS (Mobile Backend As A Service). To complete this next trial of Glass capabilities we also wanted to be able to give direction with Glass and test its GPS tracking features. Here we chose to use Parse as our MBAAS one of the reason was the fairly easy use of geo-points to search in the database after they are saved.

In this article, we will work on an application that helps the user to report an incident around him. When a user encounters an incident, he can launch the application and choose the kind of problems he is meeting. In our case, we consider that an incident is something like a theft, a deterioration or a defacement. After he has made his choice, he is able to take a picture of the scene and add a first vocal report. Then the location is stored and a map indicates the incident location so the user can confirm it.

I have a terrible accent and a stuffy nose, so the two mixed together make it often nearly impossible for Glass to understand me. And don’t search for the car, it isn’t in the picture.

Scrolling through a set of types on Glass

Like all Glassware our application has a voice command as a launch trigger. Here the voice trigger is “Report an incident”. It is also possible to launch the application with the touchpad, just like in the previous video.

scrollView-first-encounter

The first step to report an incident is to specify its type. We limit the user to a certain set of types, so it eases the incident declaration. Given that, it appears that we couldn’t use the speech recognition.

Speech recognition gives to the user too much freedom, making it tricky to recognize the incident type we want. So, we decide to use a set of predefined cards grouped in a ScrollView that the user could interact with to browse through the set. The user navigates through the set by swiping to choose a card, and then use a tap interaction in order to select one.

private List<Card> mCards;
private CardScrollView mCardScrollView;

private AdapterView.OnItemClickListener mClickAdapter = new AdapterView.OnItemClickListener() {
	public void onItemClick(AdapterView<?> parent, View view, int position,
			long id) {
		Intent _toPictureActivity = new Intent(TypeAnIncidentActivity.this,
				PictureMainActivity.class);
		_toPictureActivity.putExtra(
				Poc_DeclareAnIncident_Constants.INCIDENT_TYPE,
				Poc_DeclareAnIncident_Constants.INCIDENT_TYPES
						.get(position));
		startActivity(_toPictureActivity);
	}
};

@Override
protected void onCreate(Bundle savedInstanceState) {
	super.onCreate(savedInstanceState);

	createCards(); //create cards to be displayed 
	mCardScrollView = new CardScrollView(this);
	IncidentTypeCardScrollAdapter adapter = new IncidentTypeCardScrollAdapter();
	mCardScrollView.setAdapter(adapter);
	mCardScrollView.setOnItemClickListener(mClickAdapter);
	mCardScrollView.activate();
	setContentView(mCardScrollView);
}

private void createCards() {
	...
}

private class IncidentTypeCardScrollAdapter extends CardScrollAdapter {

	@Override
	public int getPosition(Object item) {
		return mCards.indexOf(item);
	}

	@Override
	public int getCount() {
		return mCards.size();
	}

	@Override
	public Object getItem(int position) {
		return mCards.get(position);
	}

	@Override
	public int getViewTypeCount() {
		return Card.getViewTypeCount();
	}

	@Override
	public int getItemViewType(int position) {
		return mCards.get(position).getItemViewType();
	}

	@Override
	public View getView(int position, View convertView, ViewGroup parent) {
		return mCards.get(position).getView(convertView, parent);
	}
}

Our ScrollView is based on the exemple of the developer site for Google Glass. We added the click adapter so that it would meet our needs and pass an intent with the type of incident.

Save a picture and a report in Parse

Once the user has selected an incident type, he is prompted to take a picture of the scene to add it to the report. For this step we used the same code as for the bus schedule application. Thus, the user can preview the picture he will take and use the camera button to take it. But this time, we gave the possibility for the user to retake the picture if it didn’t meet is standard. When he is satisfied by the picture he can add a quick voice description of the incident to the report. For this we use the speech recognition activity embedded in Glass.

@Override
protected void onActivityResult(int requestCode, int resultCode, Intent data) {
	if (requestCode == SPEECH_REQUEST && resultCode == RESULT_OK) {
		List<String> results = data
				.getStringArrayListExtra(RecognizerIntent.EXTRA_RESULTS);
		String _report = results.get(0);

		mIncidentDescription.put(
				Poc_DeclareAnIncident_Constants.INCIDENT_DESCRIPTION,
				_report);

		voice = true;

		mInstructionView
				.setText(Poc_DeclareAnIncident_Constants.RECORD_REPORT);
	}
	super.onActivityResult(requestCode, resultCode, data);
}

private GestureDetector createGestureDetector(Context context) {
	GestureDetector gestureDetector = new GestureDetector(context);
	//Create a base listener for generic gestures
	gestureDetector.setBaseListener(new GestureDetector.BaseListener() {
		@Override
		public boolean onGesture(Gesture gesture) {
			if (gesture == Gesture.TAP && ending) {
				...

				Intent _speechIntent = new Intent(
						RecognizerIntent.ACTION_RECOGNIZE_SPEECH);
				_speechIntent.putExtra(RecognizerIntent.EXTRA_PROMPT,
						"Please speak your incident report");
				startActivityForResult(_speechIntent, SPEECH_REQUEST);

				releaseCamera();
				...
				return true;
			} else if (gesture == Gesture.SWIPE_LEFT) {
				if (voice) {
                voice = false;

                Intent _speechIntent = new Intent(
                      RecognizerIntent.ACTION_RECOGNIZE_SPEECH);
                _speechIntent.putExtra(RecognizerIntent.EXTRA_PROMPT,
                      "Please speak your incident report");
                startActivityForResult(_speechIntent, SPEECH_REQUEST);
             }
             return true;
			}
			return false;
		}
	});

	return gestureDetector;
}

/*
 * Send generic motion events to the gesture detector
 */
 @Override
 public boolean onGenericMotionEvent(MotionEvent event) {
    if (mGestureDetector != null) {
        return mGestureDetector.onMotionEvent(event);
    }
    return false;
 }

The embedded speech recognition activity is started with activity for result. The result is the first element of an array of strings in the result intent. Here we add gesture management to be able to restart the activity to record anew the report if needed.

speech_prompt_treat

In addition this time we need to save the picture and the report of the incident. It’s here that Parse will come in handy. Before we continue, I want to explain quickly what Parse is. Most of you might already know what it is, but that will help me explain what we were looking for by using Parse.

Parse is a MBAAS, a Mobile Backend As A Service, sometimes referred to as Backend as a Service (BaaS). Basically, it’s a cloud computing category that’s comprised of companies that make it easier for developers to setup, use and operate a cloud backend for their mobile, tablet and web apps.

With a MBAAS, you don’t need to setup either a physical infrastructure for your servers, nor all the software part for those servers. It also provides data management tools, so you do not need to build a database. All of those tools are meant to ease the work of developers, so to easily integrate those tools you have at your disposal SDKs. Parse also have embedded possibilities to help the developers manage location point. This will prove useful in the future and I will talk more about this feature later on.

/**
 * Callback function when the picture is saved in parse
 */
private SaveCallback mPictureSaved = new SaveCallback() {
	@Override
	public void done(ParseException e) {
		if (e == null) {
			mIncidentDescription.put(
					Poc_DeclareAnIncident_Constants.INCIDENT_PICTURE,
					mIncidentPicture);

			mIncidentDescription.saveInBackground(mIncidentSaved);
			mProgress.setMessage("Saving incident...");
		} else {
			Toast.makeText(PictureMainActivity.this,
					"Failed to save incident picture", Toast.LENGTH_SHORT)
					.show();
		}
	}
};

/**
 * Callback function when the incident is saved in parse
 */
private SaveCallback mIncidentSaved = new SaveCallback() {

	@Override
	public void done(ParseException e) {
		if (e == null) {
			String incidentId = mIncidentDescription.getObjectId();

			Intent locationIntent = new Intent(
					PictureMainActivity.this,
					com.glass.poc.poc_declareanincident.location_feed.IncidentLocationActivity.class);

			locationIntent
					.putExtra(Poc_DeclareAnIncident_Constants.INCIDENT_ID,
							incidentId);
			startActivity(locationIntent);
			mProgress.dismiss();
		} else {
			Toast.makeText(PictureMainActivity.this,
					"Failed to save incident report", Toast.LENGTH_SHORT)
					.show();
		}
	}
};

@Override
public boolean onGesture(Gesture gesture) {
	if (gesture == Gesture.TAP && ending) {
		if (ending && !voice) {
			...
		}

		if (ending && voice) {
			...
			mIncidentPicture.saveInBackground(mPictureSaved);
		}
		return true;
	} else if (gesture == Gesture.SWIPE_LEFT) {
		...
		return true;
	}
	return false;
}

Here we save asynchronously the picture, as a ParseFile, and the rest of the incident report with the saveInBackground function of Parse. (Here for more information)

Once we retrieved the picture and the vocal report, we save them along with other information into Parse. Then we can proceed to adding the incident location to those information.

Location on Glass

Before adding the incident location, we need to retrieve it. Glass can find its own location through Wi-Fi information or GPS one (Location on Glass developer guide). Actually, Glass uses the same mechanism as in Android and uses its API to retrieve location updates (Location update on Glass). Hence we have to create a criteria, a location manager and a location listener as in any Android application.

private Criteria mLocationCriteria;
private LocationManager mLocationManager;

private LocationListener mLocationListener = new LocationListener() {
	public void onLocationChanged(Location location) {

		// Called when a new location is found by the network location provider.
		double mIncidentLatitude = location.getLatitude();
		double mIncidentLongitude = location.getLongitude();

		mLocation = new ParseGeoPoint(mIncidentLatitude, mIncidentLongitude);

		ParseQuery<ParseObject> query = ParseQuery
				.getQuery(Poc_DeclareAnIncident_Constants.INCIDENT_LOCATION);

		query.getInBackground(mIncidentId, new GetCallback<ParseObject>() {
			public void done(ParseObject object, ParseException e) {
				if (e == null) {
					object.put(
						Poc_DeclareAnIncident_Constants.INCIDENT_Loc,
						mLocation);
					object.saveInBackground(new SaveCallback() {

						@Override
						public void done(ParseException e) {
							if (e == null) {
								Toast.makeText(
									IncidentLocationActivity.this,
									"Incident location saved Tap to dismiss",
									Toast.LENGTH_SHORT).show();

								end = true;
							} else {
								Toast.makeText(
									IncidentLocationActivity.this,
									"Failed to save incident location",
									Toast.LENGTH_SHORT).show();
								finish();
							}
						}
					});
				} else {
					Toast.makeText(
						IncidentLocationActivity.this,
						"Failed to retrieve incident",
						Toast.LENGTH_SHORT).show();
				}
			}
		});

		mMapView = new ImageView(IncidentLocationActivity.this);
		setContentView(mMapView);
			loadMap(mIncidentLatitude, mIncidentLongitude, 17);
		mLocationManager.removeUpdates(mLocationListener);
	}

	public void onStatusChanged(String provider, int status, Bundle extras) {
	}

	public void onProviderEnabled(String provider) {
	}

	public void onProviderDisabled(String provider) {
	}
};

When we get the location update, we can retrieve the corresponding incident from Parse and add the user current location as our incident location.

@Override
public void onCreate(Bundle savedInstanceState) {
	super.onCreate(savedInstanceState);
	setContentView(R.layout.location_immersion);

	mLocationCriteria = new Criteria();
	mLocationCriteria.setAccuracy(Criteria.ACCURACY_FINE);

	mLocationManager = (LocationManager) this
			.getSystemService(Context.LOCATION_SERVICE);

	...

	// Queue the location research runnable
	mHandler.post(mUserLocationRunnable);
}

private class UserLocationRunnable implements Runnable {

	private boolean mIsStopped = false;

	public void run() {
		if (!isStopped()) {
			String provider = mLocationManager.getBestProvider(
					mLocationCriteria, true);

			boolean isEnabled = mLocationManager
					.isProviderEnabled(provider);

			if (isEnabled) {
				// Register the listener with the Location Manager to receive location updates
				mLocationManager.requestLocationUpdates(
						LocationManager.NETWORK_PROVIDER, 10000, 0,
						mLocationListener);
			} else {
				String s = "No provider enable.";

				txtV.setText(s);
			}

			setStop(true);
		}
	}

	public boolean isStopped() {
		return mIsStopped;
	}

	public void setStop(boolean isStopped) {
		this.mIsStopped = isStopped;
	}
}

Do not forget to add the appropriate permission in the manifest.

Now we have our incident location. To confirm it is a valid one, we provide the user a map where the location is displayed. Here we had to use a static map because we couldn’t add play Services, and Google maps in particular, to a Google Glass project (Map image for Google Glass). The map loading  is done in the location listener, just after the location is saved in Parse.

/**
 * Template for a static map
 */
private static final String STATIC_MAP_URL_TEMPLATE = "https://maps.googleapis.com/maps/api/staticmap"
		+ "?center=%.5f,%.5f"
		+ "&zoom=%d"
		+ "&sensor=true"
		+ "&size=640x360"
		+ "&markers=color:red%%7C%.5f,%.5f"
		+ "&scale=1"
		+ "&style=element:geometry%%7Cinvert_lightness:true"
		+ "&style=feature:landscape.natural.terrain%%7Celement:geometry%%7Cvisibility:on"
		+ "&style=feature:landscape%%7Celement:geometry.fill%%7Ccolor:0x303030"
		+ "&style=feature:poi%%7Celement:geometry.fill%%7Ccolor:0x404040"
		+ "&style=feature:poi.park%%7Celement:geometry.fill%%7Ccolor:0x0a330a"
		+ "&style=feature:water%%7Celement:geometry%%7Ccolor:0x00003a"
		+ "&style=feature:transit%%7Celement:geometry%%7Cvisibility:on%%7Ccolor:0x101010"
		+ "&style=feature:road%%7Celement:geometry.stroke%%7Cvisibility:on"
		+ "&style=feature:road.local%%7Celement:geometry.fill%%7Ccolor:0x606060"
		+ "&style=feature:road.arterial%%7Celement:geometry.fill%%7Ccolor:0x888888";

/** Formats a Google static maps URL for the specified location and zoom level. */
private static String makeStaticMapsUrl(double latitude, double longitude,
		int zoom, double markLat, double markLong) {
	return String.format(STATIC_MAP_URL_TEMPLATE, latitude, longitude,
			zoom, markLat, markLong);
}

private ImageView mMapView;

Here we added a red mark at the incident location.

/** Load the map asynchronously and populate the ImageView when it's loaded. */
private void loadMap(double latitude, double longitude, int zoom) {
	double tlat = latitude;
	double tlong = longitude;
	String url = makeStaticMapsUrl(latitude, longitude, zoom, tlat, tlong);
	new AsyncTask<String, Void, Bitmap>() {
		@Override
		protected Bitmap doInBackground(String... urls) {
			try {
				HttpResponse response = new DefaultHttpClient()
						.execute(new HttpGet(urls[0]));
				InputStream is = response.getEntity().getContent();
				return BitmapFactory.decodeStream(is);
			} catch (Exception e) {
				Log.e(TAG, "Failed to load image", e);
				return null;
			}
		}

		@Override
		protected void onPostExecute(Bitmap bitmap) {
			if (bitmap != null) {
				mMapView.setImageBitmap(bitmap);
			}
		}
	}.execute(url);
}

location_first_encounter

Conclusion

Through this reporting application we have been able to put to the test the location providing features of Glass, alongside with the use of a MBAAS. We also got to use scrollViews and Glass cards. Oddly there seem to be only this to display scrollable content, the use of listViews being broken since a while (issue 484).

Next time, we will talk about resolving the incident we saved with the reporting application we talked about.

iD.apps à la Google I/O

Cette année la Google I/O, conférence des Développeurs utilisant les technologies Google, aura lieu le 26 Juin. iD.apps a une forte expertise dans le domaine d’Android, c’est donc en toute logique que nous avons souhaité y participer. La demande pour être présent à cet événement étant extrêmement importante, Google a mis en place un tirage au sort. Heureusement nous avons été chanceux et Jérémy d’iD.apps aura la chance de s’y rendre. Voyons quelles sont ses attentes.

Jérémy Samzun Lead Developer Android

Pourrais-tu rapidement te présenter et nous indiquer ton rôle chez iD.apps ? 

JS : Je m’appelle Jérémy Samzun, je suis Expert sur Android chez iD.apps. Je suis passionné de nouvelles technos et forcément par tout ce qui touche de près ou de loin à Google. Je m’intéresse bien entendu à la mobilité que ce soit chez Google, Apple ou encore Microsoft. Cela fait maintenant 5 ans que je développe sur Android ce qui me permet d’avoir un certain recul sur les futurs challenges techniques associés aux annonces divulguées à la Google I/O et donc aux futures demandes de nos clients.

Que représente pour vous la Google I/O? 

JS : La Google I/O est la conférence Google/Android/Chrome de l’année. Étant Développeur, il s’agit du rendez-vous à ne pas manquer que ce soit sur mon canapé devant la keynote ou au bureau pour les sessions. Durant cette conférence, nous aurons l’aperçu des problématiques sur lesquelles nous travaillerons au cours des deux prochaines années, voire plus (ainsi, quand Google a annoncé les fragments, cela a changé notre manière de développer depuis ce jour).

Quelles sont les annonces les plus attendues / espérées à la Google I/O côté consommateur ?

JS : Comme la WWDC pour iOS, la Google I/O est faite pour les Développeurs. Les annonces sont logicielles principalement. Nous attendons tout de même des annonces concernant une possible Nexus 8 et une montre Android Wear notamment. Elles permettent aussi de voir les prochaines évolutions liées à Android 4.5 ou 5.0.

Les annonces très intéressantes pour le consommateur sont l’arrivée d’Android Wear, l’évolution de Nest (domotique) et les prochaines évolutions d’Android. Il s’agit de rumeurs bien entendu! Mais sachant que l’Android Wear a été présentée sur l’Android Developpers Blog et des sessions ont été mises en place spécialement pour celle-ci, il est fort probable qu’elle soit donc présentée.

Concernant l’évolution de Nest, une session est planifiée sur ce sujet mais nous ne savons pas si ces évolutions seront majeures ou non.

Concernant l’évolution d’Android, des rumeurs indiquent qu’elle se nommerait Android 5.0 Lollipop, qu’il y aurait une refonte design pour coller au maximum au « flat design », l’intégration de Google Babel (unified chat service) ainsi qu’un un merge possible entre Chrome OS et Android.

Il n’y a pas qu’Android à la Google I/O, on peut donc espérer des annonces concernant aussi Chrome, Dart, l’arrêt des devices Nexus ou encore des robots.

En tant qu’Expert Android sur quoi se portent le plus tes attentes ?

JS : Étant Développeur Android, j’attends avec impatience l’Android Wear. Pour moi, cela sera l’annonce majeure de la Google I/O. En effet, cela positionnerait Android comme leader dans ce domaine en innovant sur un sujet très attendu par les consommateurs.

Les nouveautés Android auront aussi leur place même si je doute que les innovations sur ce sujet ne soient pas énormes. J’espère me tromper sur ce point.

Merci pour ton témoignage Jérémy!

iD.apps en route pour la WWDC

iD.apps envoie cette année deux de ses meilleurs Experts iOS à la fameuse WWDC d’Apple. Cette conférence est le point d’orgue de l’année pour les Développeurs iOS. On y attend à chaque fois des annonces importantes autant pour les utilisateurs des périphériques Apple que pour les créateurs d’applications.

Voyons qui sont ces Experts et quelles sont leurs attentes pour cette conférence.

F93B8C88-C174-46D1-AA80-07DFE0D09DE5  François-Xavier Payet      Architecte iOS iD.apps      Twitter

nBPdMR8_  David Douard      Lead Developer iOS     Twitter

Pourriez-vous rapidement vous présenter et nous indiquer votre rôle au sein d’iD.apps ? 

FXP : Je m’appelle François-Xavier Payet, et je suis Expert technique iOS chez iD.apps depuis la création de la société. Attiré très tôt par les nouvelles technologies, j’ai commencé à utiliser les produits Apple au début des années 80 avec l’Apple. Loin d’être cantonné aux technologies Apple, je m’intéresse à tout ce qui touche de près ou de loin à l’informatique, des objets connectés aux supercalculateurs.

DD : Je m’appelle David Douard, je suis Développeur sur iOS chez iD.apps. Je suis passionné de nouvelles technos et forcément de tout ce qui touche de près ou de loin à l’environnement Apple. Cela fait maintenant 4 ans que je développe sur iOS et loin d’avoir fait le tour de la techno, mon expérience me permet aujourd’hui de prendre du recul et de mieux appréhender les challenges techniques.

Que représente pour vous la WWDC ? 

FXP : La WWDC est depuis de nombreuses années l’occasion pour Apple de présenter de manière privilégiée ses nouvelles technologies logicielles aux Développeurs. Elle a en fait deux aspects :

  1. Une discussion avec les Développeurs, permettant d’avoir leurs retours sur les plateformes Apple, ainsi que de les former aux nouvelles technologies proposées par Apple. Cet aspect n’est bien sûr pas altruiste ; former au plus tôt les Développeurs permet à Apple de s’assurer que ces nouveautés seront très vite implémentées, dès la sortie des produits.
  2. Une keynote d’ouverture présentant au grand public les nouveautés logicielles, et dans certains cas matérielles, des mois à venir.

Le deuxième point à pris énormément d’importance depuis qu’Apple ne participe plus aux différents salons, y compris ceux réservés aux produits Apple. Ces keynotes ont été popularisées par Steve Jobs, l’ancien CEO et co-fondateur d’Apple, qui savait tenir en haleine son audience, et livrait un véritable One Man Show.
Bien que ces keynotes soient moins spectaculaires depuis que Steve Jobs a quitté la direction d’Apple, elles restent un moment attendu par tous les afficionados d’Apple. La keynote de la WWDC est traditionnellement, depuis 5 ans, dévolue à la présentation de la version d’iOS à venir pour la fin de l’été, ainsi que sur les nouveautés à venir dans OS X.

Le second point est directement lié au premier. En effet, à l’heure actuelle, nous ne connaissons pas la moité du contenu des sessions de formation qui seront proposées par Apple. Et pour cause, la majorité de ces sessions auront pour thème des nouveautés qui auront été présentées à la keynote d’ouverture le 2 juin.

La WWDC permet également aux Développeurs de rencontrer directement les ingénieurs Apple lors de labs, pour discuter avec eux de leurs problèmes spécifiques.

DD : La WWDC c’est un peu la grand-messe annuelle d’Apple. C’est un des moments qu’Apple choisit pour présenter ses nouvelles technos. Nouvelles machines, nouveaux OS, comme toujours on attend la “révolution”. Chaque année, c’est la même ferveur. On en attend tellement qu’on est souvent déçu malgré de véritables bonnes annonces! Pas évident pour Apple de changer le monde tous les ans 😉

La WWDC, c’est aussi une semaine de conférences et de labs pour en apprendre davantage sur les nouveautés annoncées et surtout pour les mettre en œuvre. C’est un moyen pour Apple de s’assurer de la présence de ces nouveautés sur les Stores d’applications dès leur sortie publique quelques mois plus tard.

Quelles sont les annonces les plus attendues/espérées à la WWDC côté consommateur ?

FXP : Il faut bien garder en mémoire que la WWDC concerne en majorité les nouveautés logicielles. Il est clair que ce que le consommateur attend le plus est la présentation d’un nouvel iPhone, plus grand. On peut dire avec certitude que ce nouvel iPhone ne sera pas présenté à la WWDC, il ne le sera qu’à la fin de l’été.
Les annonces très intéressantes pour le consommateur, selon les dernières rumeurs, devraient principalement porter sur HealthBook, un nouveau module d’iOS, ainsi que sur la domotique.
La présentation d’HealthBook est quasiment acquise à la vue du nombre de fuites ayant eu lieu depuis le début de l’année. HealthBook est en fait un passeport santé dans l’iPhone qui permettrait de suivre ses activités sportives, sa pression sanguine, son rythme cardiaque …
La présentation d’une solution de domotique est beaucoup moins certaine, étant donné que les rumeurs sur ce dossier sont assez faibles. Néanmoins une entrée d’Apple dans ce domaine aurait clairement du sens. Si Apple le fait aussi bien que tous ses autres produits, il est possible que, comme pour la micro-informatique dans les années 70, l’audio personnelle au début des années 2000, et la téléphonie à la fin des années 2000, Apple révolutionne encore un nouveau segment de marché!

Et il y aura bien sûr des annonces que personne ne peut attendre! Attention néanmoins à ne pas porter ses espoirs trop hauts : Apple ne peut pas révolutionner le monde tous les ans.

DD : Coté consommateur évidemment, tout le monde veut en savoir plus sur le prochain iPhone! On est quasiment sûr qu’il sera plus grand, plus large pour se rapprocher des derniers smartphones Android! Pour en utiliser régulièrement c’est vrai que les grands écrans des derniers Nexus sont un vrai confort. Alors il ne faut pas rêver, on ne saura rien ou presque sur le prochain iPhone 6. Ils sont habituellement annoncés courant septembre. Par contre il est quasiment acquis qu’iOS 8 sera annoncé et il sortira dans quelques mois, en même temps que le prochain iPhone. Nous pouvons donc espérer qu’en analysant les nouveautés du nouvel iOS on en apprenne plus sur le prochain smartphone!

En tant qu’Experts iOS sur quoi se portent le plus vos attentes ? Sur quels domaines souhaitez-vous renforcer votre expertise grâce à la WWDC ?

FXP : En tant que Développeur iOS, mes attentes portent bien sûr sur les nouvelles API qu’Apple pourrait présenter pour les Développeurs.
Il est évident que depuis quelques années, Apple a perdu l’avance qu’il avait sur les fonctionnalités fournies par Android. On reproche beaucoup la fermeture de l’écosystème Apple. Bien qu’il soit faux que l’écosystème soit fermé, ce qui est vrai est que l’OS en lui même est extrêmement verrouillé. Cet aspect a un avantage : il n’y a pas de virus sur iOS, et la plupart des failles critiques sont d’une part plus rares, et d’autre part moins graves que sur les systèmes concurrents.
En contrepartie, les utilisateurs eux-mêmes commencent à voir certaines limites de ce système. Ainsi, le système de partage sur les réseaux sociaux d’Android mériterait d’être copié sur iOS. On croise les doigts pour cette année.
Autre chose que j’attends avec impatience, même si les chances de le voir cette année sont extrêmement faibles, pour ne pas dire nulles, serait de pouvoir choisir ses applications par défaut (navigateur, client mail, …). Cette fonctionnalité amènerait beaucoup plus de poids aux applications que l’on développe.
Enfin, il y a une fonctionnalité que nous avons de grandes chances de voir, à savoir, la communication inter-applications. Aujourd’hui, à part certains cas très particuliers (comme l’audio ou l’échange de fichiers), il est très difficile pour deux applications de communiquer entre elles. Cela devrait changer cette année et je suis impatient de voir comment!

Au delà des nouveautés logicielles, le gros plus pour nous, Développeurs, est bien sûr les sessions de développement. Ayant déjà participé aux Tech Talks de Londres, je sais à quel point elles sont intéressantes, et qu’elles nous feront gagner énormément de temps sur l’apprentissage des nouvelles technologies. Les labs quant à eux nous permettront de répondre aux questions potentiellement bloquantes que nous avons.

DD : On sait qu’un nouvel OS pour les Mac va être annoncé, sûrement des nouveautés hardware, mais ce qui nous intéresse le plus c’est le prochain iOS, iOS 8 en l’occurrence. Après la petite révolution graphique d’iOS 7 qui nous a donné pas mal de travail l’année dernière, cette fois on s’attend surtout à des nouveautés fonctionnelles. Chaque sortie d’une nouvelle version d’iOS est un véritable évènement pour la communauté de Développeurs, souvent un challenge comme faire fonctionner une application sur deux ou trois OS différents, n’est pas simple mais c’est très stimulant.  Et c’est aussi cela qui fait que développer dans la mobilité et particulièrement sur iOS est passionnant. On a hâte de voir ce que le prochain système d’exploitation d’Apple sait faire! Durant cette semaine de conférences, différents ateliers pratiques vont nous permettre de mettre en œuvre les nouvelles API  afin d’explorer les nouvelles possibilités qu’offre l’OS. C’est un peu comme retourner à l’école pour une semaine : cour magistral, puis TP!

Le but de cette WWDC c’est aussi de confronter notre vision à celle des autres Développeurs et même à celle des ingénieurs Apple. Comme dans tous les métiers, on acquiert des automatismes, des habitudes, on ne se pose même plus la question sur la manière d’implémenter certaines choses et pourtant les autres font peut être différemment! Il y a forcement des choses auxquelles on ne pense pas des contournements et même carrément des API qu’on ne pense pas à utiliser et qui pourtant peuvent nous apporter beaucoup. J’espère me dire souvent lors de cette semaine de conférences : “Mais oui mais évidemment, pourquoi n’y ai-je pas pensé avant!”.

Comment comptez-vous faire profiter les collaborateurs iD.apps des informations et du savoir-faire technique acquis lors de cette conférence ?

FXP : Le contenu de la WWDC est très dense, et il n’est pas possible à deux, d’assister à toutes les sessions. Nous avons donc déjà mis en place des outils permettant de communiquer avec les équipes d’iD.apps pour choisir ce à quoi nous allons participer. Chaque Développeur d’iD.apps ayant le même poids, chacun vote pour les sessions qu’il ou elle souhaite que nous allions voir, et David et moi ferons notre emploi du temps en fonction. La plus grosse partie de l’emploi du temps sera bien sûr réalisée lundi après-midi, lorsque le contenu des sessions sera connu.

Nous avons également mis en place un tableur partagé afin de pouvoir regrouper les questions à poser aux ingénieurs Apple.

Nous partagerons ensuite au fur et à mesure des journées nos notes directement avec les collaborateurs, et organiserons une réunion de présentation à notre retour en France.

DD : Notre rôle là-bas va surtout être de faire du tri! Il sera impossible de tout suivre, certaines conférences ont lieu en même temps que d’autres, certains labs durent toute la journée etc…

Nous avons déjà demandé aux collaborateurs quelles étaient les conférences / labs qu’ils souhaitaient voir. Puis nous leur avons demandé de nous lister des questions, et des cas pratiques qui nous serviront de support lors des labs. Toutes les vidéos des conférences seront disponibles sur l’application de la WWDC, nous serons là pour dire : “regardez ça, c’est intéressant!”.

Parallèlement, nous partagerons nos prises de notes et nos exemples de code afin de synthétiser les points les plus importants pour mieux appréhender l’arrivée du nouvel OS en septembre.

Au delà de l’aspect technique, nous avons la chance d’aller à San Francisco! Croiser le gratin de la Silicon Valley, voir le lieu de naissance d’Apple, FaceBook, Google… on en profitera pour décrire un peu l’ambiance sur place, mettre quelques photos. Un voyage initiatique pour les Développeurs que nous sommes.

 A bientôt sur le blog alors ?  

DD : Si vous n’êtes pas à la WWDC, ce blog est “the place to be” 🙂

Ok Glass, when is the next Bus ?

iD.apps étudie depuis quelques temps déjà le développement pour les Google Glass.

Nul besoin de présenter les Google Glass (si c’est le cas aller voir ici), en revanche le développement sur les Glass est un peu moins connu. Nous vous proposons donc un exemple concret de développement sur les Glass. Pour comprendre tous les points techniques, des connaissances en développement Android sont conseillées.

Pour rappel, d’un point de vue technique, les Google Glass sont un smartphone Android embarqué dans un prisme équipé des principaux capteurs suivants :

  • Une caméra;
  • Un micro;
  • Un accéléromètre/gyroscope (pour le mouvement de la tête);
  • Un capteur de luminosité;
  • Une surface tactile : la branche droite des Google Glass.

Les Glass sont connectées à internet soit via la connexion de votre smartphone qu’elles exploitent par bluetooth, soit directement via wifi.

Cet article vous décrit la mise en oeuvre d’une application utilisant la reconnaissance vocale, la caméra et la connexion internet. Celle-ci permet de récupérer les horaires des prochains bus rennais d’un arrêt. Pour cela nous allons nous appuyer sur les données ouvertes qui fournissent en temps réel les temps d’attente aux arrêts. Enfin pour identifier les arrêts nous allons nous appuyer sur les QR Codes qui sont affichés dessus.

Concrètement, au lancement de l’application l’utilisateur est dirigé sur une vue affichant ce que capte la caméra. Cela, afin de lui permettre de viser le QR code à scanner. Sur cette vue,  l’utilisateur scanne le QR code en prenant une photo de celui-ci par une action de tap. Lorsqu’il a scanné le QR code, et que celui-ci est détecté, l’utilisateur est dirigé sur une LiveCard ajoutée à la timeline des Glass. Sur cette Livecard l’utilisateur voit les horaires des prochains bus.

Pour développer cette application, nous nous appuyons sur le site de développement Google Glass (Glass developpement overview) et sur les références Android.

Avant toute chose

Le développement sur Google Glass se fait dans un environnement Android. Il est donc nécessaire d’avoir un SDK à jour jusqu’à la version Android 4.4.2 (API19) ainsi que le Glass Development Kit Preview (cf. Quick Start). Lors de la création d’un projet pour Glass il faut régler la version cible du SDK et la version minimum de celui-ci sur la version 19 de l’API. C’est la seule supportant le GDK Preview. Ensuite, pour la compilation, il faut régler le paramètre de compilation sur GDK Preview. Il est aussi conseillé d’enlever toutes indications de thème.

Lancer une application sur Google Glass

Toute application sur Google Glass doit commencer par une commande vocale. La création de celle-ci permet aussi un accès à l’application via le menu principal des Glass accessible en utilisant le touch pad. Les commandes vocales utilisables sont limitées aux commandes officielles (VoiceTriggers). Si aucune des commandes ne correspond à ce dont vous avez besoin, il est possible d’en faire enregistrer une nouvelle mais cela prend du temps et elle doit être conforme à la checklist de Google (VoiceTrigger checklist). Il est donc conseillé d’entamer les démarches très tôt si vous voulez que votre GlassWare puisse être disponible sur le store MyGlass. Toutefois, il est aussi possible d’autoriser ses propres commandes dans le manifeste pour des besoins de développement ; c’est  ce que nous utilisons actuellement.

Pour ajouter une commande personnalisée, il faut d’abord ajouter une string en ressource pour définir le nom de la commande vocale.

<?xml version="1.0" encoding="utf-8"?>
<resources>
    <string name="glass_voice_trigger">When is the next bus ?</string>
</resources>

Ensuite, il faut créer une ressource xml dans res/xml/<ma_commande_vocale>.xml, dans laquelle on ajoute une composante trigger avec un attribut keyword référençant la ressource string définie plus tôt.

<?xml version="1.0" encoding="utf-8"?>
<trigger keyword="@string/glass_voice_trigger"/>

Si la commande vocale est une commande déjà enregistrée, correspondant à une Voice Triggers, l’attribut n’est plus keyword mais command (pour plus d’information cf. Starting Glassware). Ensuite, il faut enregistrer, dans le manifeste, l’intention associée à la commande vocale et autoriser la commande.

<activity | service ...>
        <intent-filter>
            <actionandroid:name=
                    "com.google.android.glass.action.VOICE_TRIGGER"/>
        </intent-filter>
        <meta-dataandroid:name="com.google.android.glass.VoiceTrigger"
            android:resource="@xml/ma_commande_vocale"/>
    </activity | service>
<uses-permission
     android:name="com.google.android.glass.permission.DEVELOPMENT"/>

When is the next bus ? icon

Une fois l’application installée sur les Glass, vous devriez voir une nouvelle commande vocale et une nouvelle application dans le menu d’applications.

Scanner un QR code avec des Google Glass

Maintenant que nous pouvons lancer notre application, nous devons pouvoir scanner le QR code présent sur l’arrêt de bus.

La prise de photo avec les Glass peut se faire de deux façons : soit avec l’activité native Google Glass qui ne permet pas d’aperçu, soit grâce à la Camera API d’Android qui permet de fonctionner de la même façon qu’une application photo sur un smartphone Android.

Ici, une preview nous semblait nécessaire et devait donner la possibilité à l’utilisateur de viser le QR code à scanner avec la caméra intégrée. Pour cela, on crée donc un SurfaceHolder pour afficher cette preview.

private final SurfaceHolder.Callback mSurfaceHolderCallback =
              new SurfaceHolder.Callback() {

	@Override
	public void surfaceCreated(SurfaceHolder holder) {
		try {
			mCamera.setPreviewDisplay(holder);
			mCamera.startPreview();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	@Override
	public void surfaceDestroyed(SurfaceHolder holder) {
		// Nothing to do here.
	}

	@Override
	public void surfaceChanged(SurfaceHolder holder, int format, int width,
			int height) {
		// Nothing to do here.
	}
};

Attention, lors de l’utilisation intensive de la caméra des Glass veillez à bien libérer celle-ci après avoir pris une photo pour éviter de bloquer les Glass.

private void releaseCamera() {
	if (mCamera != null) {
		if (mSurfaceHolderCallback != null) {
			mPreview.getHolder().removeCallback(mSurfaceHolderCallback);
			mCamera.release();
		}
	}
}

Ensuite, si vous souhaitez la réutiliser, il faut réinitialiser complètement la caméra.

Ici, nous avons besoin d’effectuer un zoom pour pouvoir scanner un QR code sans que l’utilisateur soit obligé de coller sa tête devant.

private void initCamera() {
	mCamera = getCameraInstance();
	mPreview.getHolder().addCallback(mSurfaceHolderCallback);
	Camera.Parameters parameters = mCamera.getParameters();
	int maxZoom = parameters.getMaxZoom();
	if (parameters.isZoomSupported()) {
		if (mCamera.getParameters().getZoom() >= 0
				&& mCamera.getParameters().getZoom() < maxZoom) {
			int i = maxZoom / 2;
			parameters.setZoom(i);
		} else {
			// zoom parameter is incorrect
		}
	}
	mCamera.setParameters(parameters);
}

Ainsi, après avoir initialisé la preview et saisi la caméra, nous pouvons effectuer un takePicture et définir les opérations de CallBack nécessaires à la prise de photo proprement dite. Nous n’avons utilisé que le CallBack JPEG dans lequel nous affichons le résultat de la prise de photo avant de scanner l’image à la recherche du QR code. Enfin nous démarrons la LiveCard permettant d’afficher les horaires des prochains bus.

private final PictureCallback mJPEGCallback = new PictureCallback() {

	@Override
	public void onPictureTaken(byte[] data, Camera camera) {

		mPreview.setVisibility(View.GONE);
		BitmapFactory.Options options = new BitmapFactory.Options();
		options.inSampleSize = 5;

		mPicture = BitmapFactory.decodeByteArray(data, 0, data.length,
				options);
		mImageTaken.setImageBitmap(mPicture);
		mImageTaken.setVisibility(View.VISIBLE);

		String result = scanQRCode(data);

		if (!TextUtils.isEmpty(result)) {
			Toast.makeText(ScanQrCodePictureActivity.this, result,
					Toast.LENGTH_SHORT).show();
			Intent startPublishIntent = new Intent(
					ScanQrCodePictureActivity.this,
					PublishScheduleIntoLiveCardService.class);
			startPublishIntent.putExtra(Poc_Horaires_Constants.URL, result);
			startService(startPublishIntent);
		} else {
			Toast.makeText(ScanQrCodePictureActivity.this,
					getString(R.string.detection_failed),
					Toast.LENGTH_SHORT).show();
		}
		releaseCamera();
		finish();
	}
};

Un scan avec le scanner Zbar ne se fait que sur une image au format Y800.

private String scanQRCode(byte[] data) {
	Bitmap imageRes = BitmapFactory.decodeByteArray(data, 0, data.length);
	String symbol = null;
	int width = imageRes.getWidth();
	int height = imageRes.getHeight();
	int[] pixels = new int[width * height];

	imageRes.getPixels(pixels, 0, width, 0, 0, width, height);
	Image qrcode = new Image(width, height, "RGB4");
	qrcode.setData(pixels);

	int result = mScanner.scanImage(qrcode.convert("Y800"));

	if (result != 0) {
		SymbolSet syms = mScanner.getResults();
		for (Symbol sym : syms) {
			symbol = sym.getData();
		}
	}
	return symbol;
}

Les horaires de bus dans une LiveCard

Le résultat du scan du QR code se présente sous la forme d’une URL de laquelle on extrait le numéro de l’arrêt. Celui-ci nous sert ensuite dans l’appel à l’API Keolis. Dans notre application, l’extraction, l’appel à l’API et l’affichage du résultat se font dans un service qui va mettre à jour une LiveCard au travers d’une RemoteView.

Une LiveCard est une carte Google Glass donnant des informations pertinentes dans l’instant. Les LiveCards se placent dans la Timeline à gauche de l’écran d’accueil des Glass et sont régulièrement mises à jour pour le temps où leur utilisation est pertinente.

private LiveCard mLiveCard;
private RemoteViews mLiveCardView;
...
public int onStartCommand(Intent intent, int flags, int startId) {
	if (mLiveCard == null) {
		
		URL = intent.getStringExtra(Poc_Horaires_Constants.URL);
		busStop = extractBusStop(URL);

		mLiveCard = new LiveCard(this, LIVE_CARD_TAG);
		mLiveCardView = new RemoteViews(getPackageName(),
				R.layout.service_live_card);
		...
		mLiveCard.publish(PublishMode.REVEAL);

		// Queue the update text runnable
        mHandler.post(mUpdateLiveCardRunnable);
	}
	return START_STICKY;
}

La mise à jour de notre LiveCard se fait via un thread qui va appeler l’API Keolis au travers de Retrofit toutes les minutes. Retrofit permet de transformer une interface java en objet permettant l’appel d’une API REST.

public interface KeolisApiCalls {
	@GET("/?cmd=getbusnextdepartures")
	void getHoraires(@Query("version") String version,
			@Query("key") String key, @Query("param[mode]") String mode,
			@Query("param[stop][]") String stop, Callback<OpenData> cb);
}

Interface permettant de faire appel à l’API Keolis dans notre application.

private RestAdapter mKeolisRestAdapter;
private KeolisApiCalls mKeolisApiCalls;
...
public void run() {
	if (!isStopped()) {

		mKeolisRestAdapter = new RestAdapter.Builder()
				.setEndpoint(KeolisApiCalls.ENDPOINT)
				.setConverter(new SimpleXMLConverter()).build();
		mKeolisApiCalls = mKeolisRestAdapter
				.create(KeolisApiCalls.class);

		Callback<OpenData> cb = new Callback<OpenData>() {
			@Override
				public void success(OpenData retour, Response qResponse) {
				String scheduleToDisplay = "";

				if (retour.getAnswer().getStatus().getCode() != 0) {
					scheduleToDisplay = ""
							+ retour.getAnswer().getStatus().getCode()
							+ " : "
							+ retour.getAnswer().getStatus()
									.getMessage();

					updateScheduleError(scheduleToDisplay);
				} else {
					updateSchedule(FormatBusSchedule
							.listSchedules(retour));
				}
			}
			...
		};

		mKeolisApiCalls.getHoraires(KeolisApiCalls.VERSION,
				KeolisApiCalls.API_KEY, Poc_Horaires_Constants.STOP,
				busStop, cb);

		// Queue another schedule update in 60 seconds.
		mHandler.postDelayed(mUpdateLiveCardRunnable, DELAY_MILLIS);
	}
}

Dans le thread de mise à jour de notre LiveCard, on initialise un objet de type RestAdapter implémentant l’interface Retrofit que nous avons définie. Cet objet permet d’appeler l’API Keolis. L’appel du WebService prend en paramètre une callBack dans laquelle nous récupérons le résultat de notre requête. Nous pouvons ensuite l’afficher dans notre LiveCard.

Et voilà, notre utilisateur sait quels sont les prochains passages de Bus à son arrêt.

Conclusion

Au travers de cette application, nous mettons en oeuvre un bon exemple de développement sur Google Glass.  On se familiarise ainsi avec l’utilisation de la caméra, des LiveCards, de Retrofit et enfin de Zbar. Vous pouvez constater que le développement sur Glass est très similaire à celui pour Android, du moins pour ce qui est du code, car pour les usages c’est une autre histoire que nous développerons dans de prochaines applications 😉