Deux techniques principales sont utilisées dans les codecs, la modulation par code d’impulsion et la modulation delta. Les codecs sont souvent conçus pour mettre en valeur certains aspects du média à coder. Par exemple, une vidéo numérique (utilisant un codec DV) d’un événement sportif doit bien coder le mouvement mais pas nécessairement les couleurs exactes, tandis que la vidéo d’une exposition d’art doit bien coder la couleur et la texture de la surface.
Les codecs audio pour les téléphones portables doivent avoir une latence très faible entre le codage de la source et la lecture. En revanche, les codecs audio pour l’enregistrement ou la diffusion peuvent utiliser des techniques de compression audio à forte latence pour obtenir une plus grande fidélité à un débit binaire inférieur.
Il existe des milliers de codecs audio et vidéo, dont le coût varie de la gratuité à des centaines de dollars ou plus. Cette variété de codecs peut créer des problèmes de compatibilité et d’obsolescence. L’impact est moindre pour les anciens formats, pour lesquels des codecs gratuits ou quasi gratuits existent depuis longtemps. Cependant, les anciens formats sont souvent mal adaptés aux applications modernes, comme la lecture sur de petits appareils portables. Par exemple, l’audio PCM brut non compressé (44,1 kHz, 16 bits stéréo, tel que représenté sur un CD audio ou dans un fichier .wav ou .aiff) est depuis longtemps une norme sur de multiples plates-formes, mais sa transmission sur les réseaux est lente et coûteuse par rapport aux formats compressés plus modernes, tels que Opus et MP3.
De nombreux flux de données multimédia contiennent à la fois de l’audio et de la vidéo, et souvent certaines métadonnées qui permettent la synchronisation de l’audio et de la vidéo. Chacun de ces trois flux peut être traité par différents programmes, processus ou matériels ; mais pour que les flux de données multimédias soient utiles sous forme stockée ou transmise, ils doivent être encapsulés ensemble dans un format conteneur.
Les codecs à faible débit permettent à un plus grand nombre d’utilisateurs, mais ils présentent également plus de distorsion. Au-delà de l’augmentation initiale de la distorsion, les codecs à faible débit binaire atteignent également leurs faibles débits binaires en utilisant des algorithmes plus complexes qui font certaines hypothèses, comme celles concernant le support et le taux de perte de paquets. D’autres codecs peuvent ne pas faire ces mêmes hypothèses. Lorsqu’un utilisateur disposant d’un codec à faible débit binaire parle à un utilisateur disposant d’un autre codec, une distorsion supplémentaire est introduite par chaque transcodage.
L’AVI (Audio Video Interleave) est parfois décrit à tort comme un codec, mais l’AVI est en fait un format conteneur, tandis qu’un codec est un outil logiciel ou matériel qui code ou décode l’audio ou la vidéo dans ou à partir d’un certain format audio ou vidéo. L’audio et la vidéo codés avec de nombreux codecs peuvent être placés dans un conteneur AVI, bien que l’AVI ne soit pas une norme ISO. Il existe également d’autres formats de conteneur bien connus, tels que Ogg, ASF, QuickTime, RealMedia, Matroska et DivX Media Format. Le flux de transport MPEG, le flux de programme MPEG, le MP4 et le format de fichier multimédia de base ISO sont des exemples de formats de conteneur qui sont normalisés par l’ISO.