Al llegar a América, Pedro encontró la terrible injusticia de la esclavitud institucionalizada que había comenzado ya desde el segundo viaje de Colón el 12 de enero de 1510, cuando el rey mandó a emplear negros como esclavos. Se trata de una tragedia que envolvió a unos 14 millones de infelices seres humanos. Un millón de ellos pasaron por Cartagena. Los esclavos venían en su mayoría de Guinea, del Congo y de Angola. Los jefes de algunas tribus de esas tierras vendían a sus súbditos y sus prisioneros. En América los usaban en todo tipo de trabajo forzado: agricultura, minas, construcción.
Cartagena por ser lugar estratégico en la ruta de las flotas españolas se convirtió en el principal centro del comercio de esclavos en el Nuevo Mundo. Mil esclavos desembarcaban cada mes. Aunque se muriera la mitad en la trayectoria marítima, el negocio dejaba grandes ganancias. Por eso, las repetidas censuras del papa no lograron parar este vergonzoso mercado humano.
Pedro no podía cambiar el sistema. Pero si había mucho que se podía hacer con la gracia de Dios. Pero hacía falta tener mucha fe y mucho amor. Pedro supo dar la talla. En la escuela del gran misionero, el padre Alfonso Sandoval, Pedro escribió: "Ego Petrus Claver, etiopum semper servus" (yo Pedro Claver, de los negros esclavo para siempre". Así fue. San Pedro no se limitó a quejarse de las injusticias o a lamentarse de los tiempos en que vivía. Supo ser santo en aquella situación y dejarse usar por Jesucristo plenamente para su obra de misericordia. En Cartagena durante cuarenta años de intensa labor misionera se convirtió en apóstol de los esclavos negros. Entre tantos cristianos acomodados a los tiempos, él supo ser luz y sal, supo hacer constar para la historia lo que es posible para Dios en un alma que tiene fe.
A pesar de su timidez la cual tuvo que vencer, se convirtió en un organizador ingenioso y valiente. Cada mes cuando se anunciaba la llegada del barco esclavista, el padre Claver salía a visitarlos llevándoles comida. Los negros se encontraban abarrotados en la parte inferior del barco en condiciones inhumanas. Llegaban en muy malas condiciones, víctimas de la brutalidad del trato, la mala alimentación, del sufrimiento y del miedo. Claver atendía a cada uno y los cuidaba con exquisita amabilidad. Así les hacía ver que él era su defensor y padre.