במשך השנים נהג אביו של קהלני ששירת בצבא, לספר לו שטנקים הם דבר נורא ואיך היו מוציאים משם גופות עם שפכטל. ב-1962 התגייס קהלני לצה"ל, עם חלום להיות טייס, אך עקב בעיות שמיעה לא התקבל לקורס טיס ובעיית פלטפוס ברגל מנעה ממנו להתגייס לצנחנים. הוא חשש מגיוס לשריון משום שזכורים היו לו הסיוטים מבית אביו על "'הקופסאות האלה" -  אך קהלני גוייס לשריון בעל כורחו. במסגרת חיל השריון התקדם במהרה בסולם הדרגות: תחילה היה מפקד מחלקה. אחרי שמונה חודשים קיבל דרגה רשמית, ובשנת 1966 הפך למפקד פלוגה.

את דליה, אשתו לעתיד הכיר בחתונה משפחתית. היא התאהבה בו ממבט ראשון. ב-1967 כעבור שנתיים מיום היכרותם השנים נישאו במקום מיוחד - גדוד 77. קהלני מספר: "שנינו הגענו ממשפחות דלות אמצעים. להקת חיל השריון ניגנה בחתונה. פחדתי שאף אחד לא יבוא לחתונה שלנו בגלל שזה היה בבסיס צבאי". אך כולם התייצבו. הם לא יצאו מעולם לירח דבש, אלא רק לחופשה קצרה בת יומיים.

ב-5 ביוני 1967, יום פרוץ מלחמת ששת הימים, פקד סגן אביגדור קהלני על פלוגת טנקים. במהלך הלחימה הסתער בראש פלוגתו על מערכי חן-יוניס, רפיח, שיך זווד ואל ג'ירדי. כאשר נפגע הטנק שלו בפגיעה ישירה, החליף טנק והמשיך בלחימה. בהמשך הקרב על מערך אל ג'ירדי נפגע ונפצע אנושות. עם החלמתו הוענק לו עיטור המופת על לחימתו בצפון סיני.
בזמן השיקום בבית החולים ב-1968, נולד בנו הבכור דרור. אחרי הפציעה חזר לצבא, הפרופיל שלו ירד ל- 31 אבל הוא התעקש לעשות קורס צניחה. הוא המשיך לפו"מ ולאחר מכן התמנה לתפקידי סמג"ד ומג"ד 77.

במלחמת יום הכיפורים היה קהלני מג"ד 77 בחטיבה 7 בפיקודו של אביגדור (יאנוש) בן-גל, ונלחם בקרבות קשים ברמת הגולן, באזור שקיבל לאחר המלחמה את השם "עמק הבכא". קהלני הצליח לארגן טנקים מיחידות שונות, והוביל אותם לקרבות בלימה כנגד הסורים שהיו בעדיפות מספרית. הוא הסתער בראש הכוח בהיותו מחוץ לצריח (מעשה נדיר בזמן קרב) על מנת שחייליו ייטיבו לראותו, וכוח הטנקים בפיקודו הצליח לכבוש מחדש את העמדות השולטות ולהשמיד עשרות טנקים סורים. על חלקו בקרב זה הוענק לו עיטור הגבורה. במלחמה שכל קהלני את אחיו עמנואל ואת גיסו, אולם קהלני לא קיבל את ההודעה על כך עד לסיום הקרבות. כשקהלני כתב את הספר 'עוז 77' ב-1975, המגולל את סיפור קרב הבלימה הנועז שלו במלחמת יום כיפור, הוא שירת כמפקד בסיס צאלים.

בשנת 1988 פרש מהצבא. עם שחרורו, התמנה קהלני ליו"ר רשת "עמל". ב-1992, הצטרף קהלני  למפלגת העבודה ושנה לאחר מכן התמודד מטעם המפלגה לראשות עירית ת"א. לאחר שפרש ממפלגת העבודה, הקים ב-1995 את מפלגת "הדרך השלישית", שזכתה להצלחה מרשימה בבחירות שנערכו שנה לאחר מכן. קהלני מונה לשר לביטחון פנים בממשלת נתניהו וכיהן בתפקיד במשך שלוש שנים. אך מפלגתו התפצלה ודעכה, ובבחירות 1999 לא עברו את אחוז החסימה.

בשנת 2000 נחקר על ידי המשטרה בחשד כי קיבל טובות הנאה ממו"ל העיתון "מעריב", עופר נמרודי. הוא הואשם כי בעת שכיהן כשר לביטחון הפנים ולאחר שסיים את כהונתו, הדליף מידע מסווג לעופר נמרודי מתוך החקירה הסמויה שהתנהלה אז נגדו במשטרה. קהלני אף הואשם כי לאחר שנפתחה נגדו חקירה בעניין זה, ניסה לשבשה, דלה פרטים אודותיה, שוחח עם חבריו שנחקרו ואף תיאם עמדות. קהלני זוכה פעמיים, כשאחד הדברים שעזרו לו להחזיק מעמד היה הגיבוי שקיבל מצד חבריו ובני משפחתו.

במשך השנים השתתף קהלני בשלל פעילויות התנדבויות כשבין התפקידים שמילא במסגרת זו: יו"ר קרן ידידי לב"י,  נשיא העמותה למלחמה בסמים "הלום", חבר בוועד המתאם להצלת שארית הפליטה בתימן וחבר הנהלת האגודה לטיפול בחיילים משוחררים.