C'est normal, tsmuxer ne fait pas de réencodage vidéo, il change uniquement de conteneur, c'est à dire l'extension de fichier qui passe de mkv à m2ts.
Malheureusement le conteneur video m2ts occupe un espace disque plus important que le format matroska (MKV).
Plusieurs solutions :
1/ réencoder la vidéo à un bitrate inférieur pour réduire son espace disque .... c'est long !
2/ graver sur un DVD double couche mais bon tu auras beaucoup d'espace disque non utilisé, c'est dommage.
3/ voir si ta platine Blu-ray n'est pas compatible MKV , de nombreux modèles actuels le sont. Dans ce cas une simple gravure de ton mkv sur un DVDR suffira.
3/ pour ce genre de fichier provenant du côté obscur du web, investir dans un petit boitier multimedia capapble de lire le format MKV HD. Un boitier de ce type qui se négocie moins de 100€ et sur lequel on peut brancher n'importe quel disque dur ou clé usb :
http://www.wdc.com/fr/products/Products.asp?DriveID=735