Buenas!
Para lo que quieres hacer, necesitas llamar a la función contar() cada vez que se marque un checkbox, para eso puede usar la funcion onClick()o en este caso también onChange()
http://www.w3schools.com/jsref/dom_obj_event.asp
También debes cambiar el alert por una linea que modifique el valor de una caja de texto, por ejemplo: document.formulario.nombreCajaTexto.value = cont;
Te recomiendo que le eches un vistazo a este tutorial del w3c sobre javascript:
http://www.w3schools.com/JS/
Te mando las modificaciones en el código que mandas para que funcione de la manera que comentas:
<html>
<head>
<title>Cuenta CheckBox</title>
<script language="javascript">
function contar() {
var checkboxes = form1.checkbox; //Array que contiene los checkbox
var cont = 0; //Variable que lleva la cuenta de los checkbox pulsados
for (var x=0; x < checkboxes.length; x++) {
if (checkboxes[x].checked) {
cont = cont + 1;
}
}
document.form1.cajaTexto.value = cont;
}
</script>
</head>
<body bgcolor="#FFFFFF" text="#000000">
<form name="form1" method="post" action="">
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 1
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 2
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 3
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 4
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 5
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 6
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 7
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 8
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 9
<input type="checkbox" name="checkbox" value="checkbox" onClick="contar();">
CheckBox 10
<input type="text" value="" id="cajaTexto">
</form>
</body>
</html>
Espero que te sirva de ayuda,
Un saludo